Nifi를 통하여 File형태를 AWS Redshift에 LOAD

전체 Flow

시나리오 설명 : DB의 Record값들이 갱신 될 때 그것을 SAM file 형태 로 내려받는 경우가 있다. 이 경우 File형태로 데이터가 쌓인것을 RedShfit로 옮겨야 하는 필요가 생긴다.

 

#1 ListFTP Properties

#1.1 ListFTP  Remote Path File 내용

 

 

#2 FetchSFTP

 

 

#3 ConvertCSVToAvro

 

#3.1 Record schema

{
 "name" : "myschema",
 "namespace" : "nifi",
 "type" : "record",
 "fields": [
 {"name" : "no" , "type" : "int"},
 {"name" : "userid" , "type" : "string"}
 ]
}

 

 

 

#4 PUT SQL

 

##중요 : Catalog Name, Schema Name, Table Name 필수로입력

 

 

Workbench 사용, AWS에서도 확인 가능

 

 

#4.1 Database Connection Pool

 

##Database Driver Class name 설정, Redshift 전용 driver 다운 및 위치설정

 

 

#5 Process 결과 확인

Data Load하기 전 상태

 

Process 실행하여 Data Load후의 상태