Nifi를 통하여 File형태를 AWS Redshift에 LOAD
시나리오 설명 : DB의 Record값들이 갱신 될 때 그것을 SAM file 형태 로 내려받는 경우가 있다. 이 경우 File형태로 데이터가 쌓인것을 RedShfit로 옮겨야 하는 필요가 생긴다. #1 ListFTP Properties #1.1 ListFTP Remote Path File 내용 #2 FetchSFTP #3 ConvertCSVToAvro #3.1 Record schema { "name" : "myschema", "namespace" : "nifi", "type" : "record", "fields": [ {"name" : "no" , "type" : "int"}, {"name" : "userid" , "type" : "string"} ] } #4 PUT SQL ##중요 : Catalog ..
2020.04.07