<Linux Centos7환경 Nifi 설치>

Realese 된지 꽤 된 나이파이 이번에 회사에서 NIFI POC 준비를 하면서 본격적으로 NIFI를 만져보게 되었다. 생각보다 문서가 별로 없어서 시행착오를 많이 겪었지만 차근차근 요구 조건에 맞춰서 진행중이다. 보다 많은 사람들이 문서를 보고 Nifi를 쉽게 다룰 수 있었으면 좋겠다.

처음으로 설치부터 Kafka를 이용한 실시간 로그수집 RDB 복제 NIFI API를 활용한 호출, 스크립트를 활용한 DB 복제 자동화 까지 계속 글을 올릴 예정이다.

 

#1 Nifi 설치

1.1 사전 준비사항

   ① CDH 6.2↑클러스터

   ② JDK 1.8.0 Installed

   ③ Zookeeper Service installed

 

1.2 Get the CFM CSD Files

① Download CFM CSD Files

Link : http://archive.cloudera.com/CFM/csd/1.0.1.0/NIFI-1.9.0.1.0.1.0-12.jar

http://archive.cloudera.com/CFM/csd/1.0.1.0/ NIFICA-1.9.0.1.0.1.0-12.jar

http://archive.cloudera.com/CFM/csd/1.0.1.0 NIFIREGISTRY-0.3.0.1.0.1.0-12.jar

 

② /opt/cloudera/csd 디렉토리에 다운 받은 파일 Put

[root@ksw00 download]# mv NIFI* /opt/cloudera/csd/

[root@ksw00 csd]# ll
total 68
-rw-r--r-- 1 root root 29911 Feb 20 15:06 NIFI-1.9.0.1.0.1.0-12.jar
-rw-r--r-- 1 root root  9364 Feb 20 15:06 NIFICA-1.9.0.1.0.1.0-12.jar
-rw-r--r-- 1 root root 24012 Feb 20 15:06 NIFIREGISTRY-0.3.0.1.0.1.0-12.jar

③ Jar파일 권한 변경

[root@ksw00 csd]# chown cloudera-scm:cloudera-scm NIFI*.jar
[root@ksw00 csd]# chmod 644 NIFI*.jar
[root@ksw00 csd]# ll
total 68
-rw-r--r-- 1 cloudera-scm cloudera-scm 29911 Feb 20 15:06 NIFI-1.9.0.1.0.1.0-12.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm  9364 Feb 20 15:06 NIFICA-1.9.0.1.0.1.0-12.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 24012 Feb 20 15:06 NIFIREGISTRY-0.3.0.1.0.1.0-12.jar

 

1.3 클러스터 재시작

 

   ① CDH 클러스터 Stop

   ② Cloudera Management Service stop

   ③ Cloudera-manager-server restart

   ④ Cloudera Management Service restart,CDH Cluster Restart

 

 

   ③ Cloudera-manager-server restart

[root@ksw00 ~]# service cloudera-scm-server restart
Redirecting to /bin/systemctl restart cloudera-scm-server.service

[root@ksw00 ~]# systemctl status cloudera-scm-server
● cloudera-scm-server.service - Cloudera CM Server Service
   Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2020-02-20 15:30:31 KST; 1min 5s ago

 

1.4 Get the CFM Parcel

   ① Parcel Download

   ② Repository에 Parcel파일 Put

   ③ CM에서 Parcel File 인식

   ④ Nifi 설치 시작

 

① Parcel Download 

http://archive.cloudera.com/CFM/parcels/1.0.1.0/

CFM-1.0.1.0-el7.parcel

http://archive.cloudera.com/CFM/parcels/1.0.1.0/

CFM-1.0.1.0-el7.parcel.sha

http://archive.cloudera.com/CFM/parcels/1.0.1.0/

manifest.json

 

② Repository에 Parcel파일 Put

[root@ksw00 nifi]# ll
total 1694684
-rw-r--r--. 1 root root 1735344298 Feb 20 10:22 CFM-1.0.1.0-el7.parcel
-rw-r--r--. 1 root root         41 Feb 20 10:22 CFM-1.0.1.0-el7.parcel.sha
-rw-r--r--. 1 root root       3132 Feb 20 10:22 manifest.json
[root@ksw00 nifi]# pwd
/var/www/html/nifi

③ CM에서 Parcel File 인식

원격접속  Repository IP 입력

 

 

CFM Download -> Distributed -> Activatied

④ Nifi 설치 시작

설치 완료 및 접속

http://Nifi 설치 노드 ip:8080 접속