시나리오 설명 : DB의 Record값들이 갱신 될 때 그것을 SAM file 형태 로 내려받는 경우가 있다. 이 경우 File형태로 데이터가 쌓인것을 RedShfit로 옮겨야 하는 필요가 생긴다. #1 ListFTP Properties #1.1 ListFTP Remote Path File 내용 #2 FetchSFTP #3 ConvertCSVToAvro #3.1 Record schema { "name" : "myschema", "namespace" : "nifi", "type" : "record", "fields": [ {"name" : "no" , "type" : "int"}, {"name" : "userid" , "type" : "string"} ] } #4 PUT SQL ##중요 : Catalog ..

Scenario1 : Nifi Cluster 내의 USER_info2 Table을 그대로 RedShift에 복제 전제조건 : Local 서버의 MariaDB내에 레코드들이 있어야하고 RedShift에는 MariaDB와 동일한 스키마가 정의 되어 있어야한다. MariaDB Redshift #1 QueryDatabaseTable 설정 1. Database Connection Pooling Service 설정 2. Table Name 설정 (Source) #1.1 HUE_DBPCConnectionPool #2 PutDatabaseRecord Property 1.Catalog Name과 Schema Name 반드시 입력해야합니다. #2.1 Database connection Pooling 설정 #2.2 AWS에..