2017년 3월 3일 날씨 맑음
여기서는 빅데이터 플랫폼 구축에 관한 블로깅을 쭉 올리려 한다.
그 가장 첫 단추로 Oracle VirtualBox라는 툴을 이용해 윈도우 환경에서 리눅스를 설치하는 방법을 설명한다.
Oracle VirtualBox는 쉽게 말해 가상 환경을 지원하는 도구 정도로 이해하면 된다.
우리가 윈도우 환경을 쓰지만 그 위에 리눅스나 기타 OS등을 활용할 수 있도록 가상 환경을 제공하는 툴이다.
만약 이런 가상 환경이 없다면 다른 OS가 필요할 때마다 매번 OS를 재설치 해야 할텐데 재설치 없이 OS를 이용할 수 있도록 도와준다.
자 그럼 소개는 이정도로 하고 Virtualbox를 설치해보자
| VirtualBox 설치
Oracle VM VirtualBox 설치는 너무 간단하다. 아래 link로 들어가서 설치파일을 다운받고 설치를 하면 된다.
추가적으로 확장팩 설치 관련 문구가 있는데 확장팩도 같이 다운 받아 준다.
VirtualBox 5.1.14 Oracle VM VirtualBox Extension Pack All supported platforms
다운로드가 완료되었으면 설치파일을 클릭해 Oracle VM 을 설치한다.
설치가 완료되면 방금전에 다운 받은 확장팩을 추가해야 한다.
확장팩 추가는 파일 > 환경설정 > 확장에 들어가면 확장팩을 추가하는 버튼이 있는데 여기서 다운받은 파일을 선택하면 확장팩이 설치가 된다.
설치가 완료되면 이제 [새로 만들기]를 눌러 리눅스 환경을 세팅한다.
* 종류는 Linux
* 버전은 Ubuntu (64-bit)을 선택한다.
다른 종류의 OS를 다운 받아 설치하고 싶다면 해당 버전을 선택한다.
필자는 Ubuntu를 선택했을 뿐이다.
그리고 이름은 각자 알맞게 주면 되는데 필자는 ubuntu.14.04 버전을 깔 예정이기 때문에 ubuntu14로 명명하고 추가로 3대를 더 확장할 예정이라 뒤에 넘버링으로 01을 줬다. (하둡 플랫폼을 구축하려면 최소한 3대는 VM 환경을 만드는 것이 좋다)
참고로 하둡 플랫폼을 구축하기 위해서 Ambari라는 툴을 쓸 텐데, 글을 쓰는 현재 시점에서는 Ambari는 ubuntu14 버전까지만 안정성을 보장한다.
참고로 글쓰는 현재의 최신버전은 ubuntu 16.04 버전이다.
그리고 다음부터는 메모리와 storage등을 적절하게 선택하면 된다.
참고로 필자의 데스크탑은 32G 메모리 이기 때문에 좀 여유롭게 VM에 4G 정도 할당했다.
storage도 40G를 할당했는데 40G를 무조건 공간을 차지하게 하지 않으려면 동적 할당을 선택하면 된다.
이후부터는 아래 사진을 참고해 각자 설정에 맞게 추가한다.
| OS파일 다운로드 및 설치
자 여기까지 완료되면 이제 VM 구축을 위한 설정은 모두 끝이 났다.
이제는 OS 파일을 다운 받아야 한다.
위에서 언급한 대로 Ambari에서 필요로 하는 ubuntu14.04 버전을 다운 받는다.
세부 버전은 ubuntu-14.04.5-server-amd64.iso 이다.
다운 경로는 다음과 같다.
▶http://releases.ubuntu.com/trusty/
파일 다운로드가 완료되면 다시 VirtualBox로 돌아와 이전에 생성한 [ubuntu14-01] 가상환경을 더블 클릭해서 실행한다.
그러면 시동 디스크를 선택하라고 나오는데 방금전에 다운 받은 iso파일을 선택하면 설치가 진행된다.
설치 화면이 뜨면 언어를 한국어로 선택하고 ubuntu 설치를 클릭한다.
이후에는 보라색 바탕화면에 설치 내용이 드는데 자세한 설명은 생략하고 필자가 선택한 것들을 전부 캡쳐떠서 공유하니 참고해서 설치한다.
사실 위에 캡쳐 되지 않은 설정들은 그냥 OK를 눌러도 큰 상관은 없다.
설치를 진행하다보면 마지막에 관련 프로그램을 설치하라는 부분이 나오는데 추 후에 ssh 로 접근해서 작업을 해야 하기 때문에
다른것 보다도 OpenSSH Server는 반드시 클릭 하길 바란다.
선택은 space를 누르면 된다.
설치가 완료되면 로그인 창이 뜰 텐데 각자 설정한 계정으로 로그인을 한다.
참고로 처음 로그인을 할 때는 root 계정에 password가 없기 때문에 설정해줘야 한다.
설정하는 방법은 생성한 계정으로 로그인 한 후
sudo passwd root
명령어만 치면 password 설정하라는 내용이 나온다.
여기까지 완료되면 OS 설치는 완료된 것이다.
| 네트워크 설정하기
OS 설치가 완료되면 putty(http://www.putty.org/) 등의 터미널 프로그램에서도 접근이 잘 되도록 네트워크를 하나 더 잡아줘야 한다.
우선 가상 머신을 종료시킨다.
그리고 ubuntu14-01로 되어 있는 가상머신 명에 마우스 우 클릭후 설정 > 네트워크 > 어댑터2 탭으 로 들어가고
네트워크 어댑터 사용하기를 체크한다.
그리고 호스트 전용 어댑터를 선택한다.
이후 다시 가상머신을 부팅한다.
가상머신 부팅 후에 ifconfig -a 명령어를 치면 네트워크 카드가 잡혀 있는 내용이 나온다.
아마 정상적이라면 eth1 에는 ip가 할당되지 않은 것을 확인할 수 있다
우리는 eth1에 ip를 할당해야 하는데 다음 명령어를 쳐서 etn1의 설정 내용을 추가한다.
sudo vi /etc/network/interfaces
vi 에디터에 대한 활용 법은 본 블로깅 내용을 벗어나기 때문에 생략하고 추가한 내용만을 여기에는 적겠다.
auto eth1
iface eth1 inet static
address 192.168.56.201
netmask 255.255.255.0
network 192.168.56.0
broadcast 192.168.56.255
추가가 되었으면 sudo reboot 명령어로 재부팅 한번 한다.
사실 reboot 없이 네트워크 restart 명령어를 주기도 하는데 확실하게 설정을 잡아주기 위해 여기서는 그냥 reboot을 실행한다.
그리고 다시 ipconfig -a 명령어로 eth1의 ip 할당을 확인한다.
여기까지 완료되었다면 이제는 putty 등의 툴로 192.168.56.201 ip로 접근해 본다.
정상 접근 된다면 OS설치가 완료된 것이다.
| Java 설치하기
빅데이터 플랫폼에서 활용해야 할 Java를 설치한다.
Java 설치하는 방법은 많은 블로깅에 설명되어 있는데 여기는 쉽게 apt-get 명령어를 가지고 설치한다.
Java의 경우 open-jdk 보다는 oracle-jdk 를 추천한다.
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
설치가 다 완료되면 java -version명령어로 정상 설치가 되었는지 확인한다.
| 환경설정 파일 수정
Java 까지 설치가 다 되면 마지막으로 사용자 .bashrc 파일에 환경 설정을 해줘야 한다.
설정하는 방법은 간단하다.
로그인한 계정의 home 디렉토리에서
vi .bashrc
로 .bashrc 파일을 수정을 들어가서 다음의 두 줄을 하단에 추가한다.
JAVA_HOME=/usr/lib/jvm/java-8-oracle
PATH=${JAVA_HOME}/bin:$PATH
그리고 source .basrhc 명령어를 쳐서 적용한다.
| 정리
이제 빅데이터 플랫폼을 구축하기 위한 첫 단추를 채웠다.
사실 최소 3대의 서버 구성이 필요한데 나머지 2대는 오늘 만든 이미지를 가지고 복사해서 구축할 예정이다.
'Data 엔지니어링 > Big Data 운영' 카테고리의 다른 글
| [빅데이터 플랫폼 구축 #6] Sandbox를 이용한 하둡 실습환경 구축 :: Data 쿡북 (11) | 2017.09.06 |
|---|---|
| [빅데이터 플랫폼 구축 #5] ambari-server setup간 오류 정정 :: Data 쿡북 (11) | 2017.09.04 |
| [빅데이터 플랫폼 구축 #4] Ambari로 빅데이터 플랫폼 구축하기 :: Data 쿡북 (22) | 2017.03.05 |
| [빅데이터 플랫폼 구축 #3] Ambari 설치 :: Data 쿡북 (12) | 2017.03.04 |
| [빅데이터 플랫폼 구축 #2] VirtualBox 이미지 복제로 서버 늘리기 :: Data 쿡북 (11) | 2017.03.04 |
댓글