[빅데이터 플랫폼 구축 #6] Sandbox를 이용한 하둡 실습환경 구축 :: Data 쿡북

| 들어가며

빅데이터 처음 입문자들에게 가장 필요한 것은 일단 간단히라도 테스트 해볼 수 있는 환경이다.

처음부터 하둡 클러스터를 분산 환경에서 설치하는 것은 너무 가혹하다.

Hortonworks나 Cloudera 같은 빅데이터 유명 벤더사들은 자사의 하둡 패키지를 가상환경에서 테스트 할 수 있도록 Sandbox라는 이름으로 제공한다.

때문에 우리는 Sandbox를 가지고 그냥 가상환경에 올려놓고 테스트 함으로써 쉽게 하둡을 경험해 볼 수 있다.

이번 블로그에서는 hortonworks 사의 sandbox를 다운 받고 여기서 테스트 해보는 환경에 대해 얘기 하고자 한다.

| Sandbox 설치전 고려사항

Sandbox를 정상적으로 활용하려면 기본적으로 ram 8G 이상을 권장한다.

그 아래로는 sandbox 가 시작될 수는 있어도 정상적으로 테스트가 힘들다.

sandbox는 테스트 환경이고 single 머신에서 구동하도록 설정되어 있기 때문에 성능을 기대할 수는 없다.

| Sandbox 다운로드 및 설치

먼저 Sandbox를 다운 받아보자

다운로드 URL 

▶ https://ko.hortonworks.com/downloads/#sandbox

위 다운로드 사이트를 들어가면 각 버전에 맞는 sandbox를 다운 받을 수 있다.

필자는 oracle virtualbox를 기준으로 다운 받았다.

oracle virtualbox에 대한 소개는 아래 블로그 링크를 참고 바란다.

▶ [빅데이터 플랫폼 구축 #1] Oracle VirtualBox로 리눅스 환경 구축하기

다운로드 받았으면 oracle virtualbox를 열고 

파일 > 가상시스템 가져오기 

를 클릭한다.

그리고 다운로드 받은 이미지 파일을 지정한다.

파일업로드가 다 끝났으면 Oracle Virtualbox에 이미지를 더블클릭해 실행시킨다.

참고로 초기 로그인 root 계정과 비밀번호는

root / hadoop  이다. 

| Sandbox CLI 접속 하기

CLI(Command Line Interface) 에 접근하려면 Oracle Virtualbox로도 접근이 가능하지만 이는 상당히 불편하다.

때문에 터미널 프로그램인 putty를 활용해 접근해보자

putty를 다운 받는다.

다운로드 URL : https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

putty를 실행시켰으면 필자와 같이 Host Name에 입력해준다.

Host Name : 127.0.0.1  

port : 2222

Sandbox의 ssh 접근 포트는 기본 22가 아니라 2222로 변경되어 있다.

최초 접근을 하면 패스워드를 변경하라고 나오는데 약간 긴 패스워드로 적당히 입력해 준다.

| Ambari 접속하기

HDP에 설치 환경을 보기 위한 Ambari web에 접근해보자

Ambari에 대한 소개는 아래 URL을 참고 바란다.

▶[빅데이터 플랫폼 구축 #3] Ambari 설치, [빅데이터 플랫폼 구축 #4] Ambari로 빅데이터 플랫폼 구축하기

ambari web 접근 포트는 다음과 같다.

http://127.0.0.1:8080/

초기 접근 계정과 패스워드는 

계정 : maria_dev

패스워드 : maria_dev

admin 유저가 아니기 때문에 기능권한이 많이 막혀있다.

admin으로 들어가려면 sandbox admin password를 지정해야 하는데 명령어는 다음과 같다.

[root@sandbox ~]# ambari-admin-password-reset

위 문장을 실행시키면 패스워드 입력과 함께 ambari가 자동 재기동된다.

최종 접근 모습

| 마치며

Sandbox는 이처럼 쉽게 테스트 환경을 구축하도록 도와준다.

이제부터 Sandbox를 기준으로 다양한 하둡 에코들에 대해서 설명할까 한다.

도움되셨다면 공감버튼을