하둡 클러스터 구성

java 설치

sudo apt update
sudo apt install openjdk-8-jdk openjdk-8-jre
java -version # 1.8.0 확인

#환경변수 추가
sudo vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
source /etc/profile

유닉스 사용자 계정 생성

동일한 컴퓨터에서 수행되는 다른 서비스와 하둡 프로세스를 구분하려면 하둡 전용 사용자 계정을 생성하는 것이 좋다.

hdfs 는 자신을 실행시키는 계정에 superuser 권한을 준다.

useradd hadoop -G hadoop

(그러나 이번엔 ubuntu 로 그냥 해보기로 결정... 권한도 ubuntu 로 넣어줌)

ssh 연결해주기

hadoop 은 node들에 대한 관리를 ssh 통신으로 날림

자기자신의 ssh 도 뚫어줘야함

client 서버

ssh-keygen –t rsa
## ~/.ssh/id_rsa.pub 값을 복사
cat ~/.ssh/id_rsa.pub

원격서버

vi ~/.ssh/authorized_keys
#아까 복사한 key 값 복사해 저장

그리고 ssh@{server_name} 으로 접속하고싶으면 /etc/hosts 에 ip : name 추가

하둡 클러스터 구성

java 설치

유닉스 사용자 계정 생성

ssh 연결해주기

하둡 다운로드