들어가기에 앞서 간단하게 서버 Architecture를 설명하면 Nifi cluster (120~126번 서버) 실시간 Log가 쌓이는 서버 (150번 서버)외부 Kafka cluster (181~183번서버)hdfs가 있는 Target 서버 (160번 서버) 즉 간단히 말하면 Nifi 클러스터 이외에는 전부 외부 원격지인 셈이다. Nifi 클러스터를 통하여 외부 원격지에서 또 다른 외부 원격지로 실시간 데이터 I/O 전송이 가능하다. 물론 Nifi cluster, 실시간 Log가 쌓이는 서버 Kafka cluster, HDFS가 있는 Target서버 간 네트워크 통신이 가능해야한다. #1 전체 Flow 실시간으로 발생하는 Log를 Depth별로 Kafka를 통해 수집 하여 HDFS file Direct..

Realese 된지 꽤 된 나이파이 이번에 회사에서 NIFI POC 준비를 하면서 본격적으로 NIFI를 만져보게 되었다. 생각보다 문서가 별로 없어서 시행착오를 많이 겪었지만 차근차근 요구 조건에 맞춰서 진행중이다. 보다 많은 사람들이 문서를 보고 Nifi를 쉽게 다룰 수 있었으면 좋겠다. 처음으로 설치부터 Kafka를 이용한 실시간 로그수집 RDB 복제 NIFI API를 활용한 호출, 스크립트를 활용한 DB 복제 자동화 까지 계속 글을 올릴 예정이다. #1 Nifi 설치 1.1 사전 준비사항 ① CDH 6.2↑클러스터 ② JDK 1.8.0 Installed ③ Zookeeper Service installed 1.2 Get the CFM CSD Files ① Download CFM CSD Files L..