Nifi를 활용한 실시간 로그파일 Depth 별 수집 및 HDFS, AWS S3 저장

들어가기에 앞서 간단하게 서버 Architecture를 설명하면 Nifi cluster (120~126번 서버) 실시간 Log가 쌓이는 서버 (150번 서버)외부 Kafka cluster (181~183번서버)hdfs가 있는 Target 서버 (160번 서버) 즉 간단히 말하면 Nifi 클러스터 이외에는 전부 외부 원격지인 셈이다. Nifi 클러스터를 통하여 외부 원격지에서 또 다른 외부 원격지로 실시간 데이터 I/O 전송이 가능하다. 물론 Nifi cluster, 실시간 Log가 쌓이는 서버 Kafka cluster, HDFS가 있는 Target서버 간 네트워크 통신이 가능해야한다. #1 전체 Flow 실시간으로 발생하는 Log를 Depth별로 Kafka를 통해 수집 하여 HDFS file Direct..

2020.03.28