04-1. 클라우데라 매니저 HDFS 에러 해결

 

 

앞서 ※ 4번째 포스팅에서, 클라우데라 매니저를 설치했는데 아래와 같은 오류가 났다...

설치와 동시에 HDFS에서 먹통이 일어난 것!

 

※ 4번째 포스팅 링크

04. 수집 요구사항 정의 + HDFS, 주키퍼 설치 및 실행

 

 

 

 

 

그래서 오류 해결을 하는 과정을 한번 포스팅에 담아보고자 한다!

 

찾아보니, 디스크공간부족, 하둡 네임 노드 통신에러, 권한 문제 등으로 인해 이렇게 나오는 것이라고 한다.

 

가장 유력한 원인은 하둡 네임 노드가 Safe Mode로 전환되어서라는데, 따라서 PuTTY 원격 접속 후 Safe Mode를 해제하고 HDFS를 재실행해볼 것이다.

 

(Safe Mode는 클러스터의 비정상 종료 등으로 인해 자동 전환되기도 한다고 한다.)

 

 

 

hdfs dfsadmin -safemode leave

❓❗ 추가적으로 발생될 수 있는 에러
safemode: Access denied for user root. Superuser privilege is required

만약 이 에러가 난다면, 아래와 같은 명령어로 재시도한다. (슈퍼유저 권한으로 명령)

sudo -u hdfs hdfs dfsadmin -safemode leave

 

 

 

 

이렇게 Safe Mode를 해제하고 나니, 차트에서 리소스를 모니터링해 현재 상태 값을 잘 보여주는 것을 알 수 있다!

 

 

그럼에도, 저 빨간 경고창이 나를 위협(?)하는 느낌이 들었다 ㅠㅠ

 

검색해보니, 클라우데라 매니저의 빨간 경고 창의 대부분은 파일럿 프로젝트 정도를 진행하는 데에서는 문제가 되지 않는다고 한다!

 

하지만 찝찝하므로... 사례를 찾아보았는데, 삭제 후 재설치를 하면 경고창이 말끔히 사라진다고 한다.

그래서 다시 한번 설치를 진행해보았다.

 

 

 

 

 

 

 

삭제 후 재설치를 했는데, 아직도 오류가 사라지지 않았고, 오히려 명확하게 오류 원인이 떴다.

 

 

구글링을 해보니, 이 원인은 swappiness의 기본 설정이 보통은 60인데, 클라우데라 매니저는 10이 최대라 그렇다고 한다.

따라서 PuTTY  창을 이용해 swapness를 낮춰주었다.

 

❓❗ 에러명
Cloudera Manager Server GC cpu usage is at 10% or more of total process time.

해결 코드
sysctl -w vm.swappiness=1
(옆 수치는 10이어도 좋고 1이어도 좋다. 10 안쪽이면 된다.)

 

 

이로써 클라우데라 매니저에 hdfs를 정상적으로 설치할 수 있게 됐다! 이런 모든 설정이 끝나면, 혹시 모르니 한번 재시작 버튼 누르는 것을 잊지 말자! 설치 끝!

 

 

---