#1 NIFI API 활용방안 (base) [root@nifi00 ~]# curl 'http://100.120:8080/nifi-api/processors/d7fd3033-4f3c-16f5-9747-d3e5909dfb1c' ##curl ‘http:// nifi설치된 ip :8080/nifi-api/ à 이부분까지는 고정 이 이후에는 https://nifi.apache.org/docs/nifi-docs/rest-api/index.html를 참고 Processor API를 실행하기위해 Processor ID를 확인합니다.(Processor ID는 고정값) #1.1 Nifi 호출할 수 있는 목록 #2 NIFI API를 활용하여 Processor 실행하기 (base) [root@nifi00 ~]# curl 'h..

목표 : 현재 Nifi클러스터는 120~126번 IP를 사용하고 있고, 외부 데이터베이스 (150번 서버 MariaDB)에서 복수의 테이블을 또 다른 외부 데이터베이스 (162번 서버 MariaDB)로 Shell Script(Creation하는 Shell은 180번 서버에 존재 creation하는 shell을 콜하는 Shell이 Nifi Cluster전체에 존재) 를 활용하여 복제 전제 조건 1.Nifi Cluster의 /etc/hosts 파일에 에대한 150,162,180번서버 정보가 있어야한다. 또한 위 서버는 서로 네트워크 통신이 서로 가능해야 한다. 2.Nifi 클러스터 모든 노드에 JDBC 드라이버가 설치 되어 있어야 합니다. #1 List tables (Source 테이블들 조회) Source..

#목표 : Nifi Cluster(120~126)를 활용하여 외부 데이터베이스 (150번 MariaDB)의 테이블을 또다른 외부 데이터베이트(162번 MariaDB)로 테이블 복제 #전제 조건 1.162번 MariaDB에 150번 MariaDB 에서 가져올 DB와 Table에 대한 스키마가 미리 정의 되어 있어야한다. 2. Nifi Cluster의/etc/hosts 파일에 150번 서버와 162번 서버에 대한 서버 정보가 있어야한다. 또한 NifiCluster , 150,162번 서버는 서로 네트워크 통신이 서로 가능해야 한다. 3.Nifi 클러스터 모든 노드에 JDBC 드라이버가 설치 되어 있어야 합니다. #1 QueryDatabaseTable property 1.Database Connection P..

들어가기에 앞서 간단하게 서버 Architecture를 설명하면 Nifi cluster (120~126번 서버) 실시간 Log가 쌓이는 서버 (150번 서버)외부 Kafka cluster (181~183번서버)hdfs가 있는 Target 서버 (160번 서버) 즉 간단히 말하면 Nifi 클러스터 이외에는 전부 외부 원격지인 셈이다. Nifi 클러스터를 통하여 외부 원격지에서 또 다른 외부 원격지로 실시간 데이터 I/O 전송이 가능하다. 물론 Nifi cluster, 실시간 Log가 쌓이는 서버 Kafka cluster, HDFS가 있는 Target서버 간 네트워크 통신이 가능해야한다. #1 전체 Flow 실시간으로 발생하는 Log를 Depth별로 Kafka를 통해 수집 하여 HDFS file Direct..

Realese 된지 꽤 된 나이파이 이번에 회사에서 NIFI POC 준비를 하면서 본격적으로 NIFI를 만져보게 되었다. 생각보다 문서가 별로 없어서 시행착오를 많이 겪었지만 차근차근 요구 조건에 맞춰서 진행중이다. 보다 많은 사람들이 문서를 보고 Nifi를 쉽게 다룰 수 있었으면 좋겠다. 처음으로 설치부터 Kafka를 이용한 실시간 로그수집 RDB 복제 NIFI API를 활용한 호출, 스크립트를 활용한 DB 복제 자동화 까지 계속 글을 올릴 예정이다. #1 Nifi 설치 1.1 사전 준비사항 ① CDH 6.2↑클러스터 ② JDK 1.8.0 Installed ③ Zookeeper Service installed 1.2 Get the CFM CSD Files ① Download CFM CSD Files L..