Nifi를 통하여 AWS RedShift Connection 및 load data

Scenario1 : Nifi Cluster 내의  USER_info2 Table을 그대로 RedShift에 복제

전제조건 : Local 서버의 MariaDB내에 레코드들이 있어야하고 RedShift에는 MariaDB와 동일한 스키마가 정의 되어 있어야한다.

 

 

MariaDB

 

Redshift

 

#1 QueryDatabaseTable 설정

 

1. Database Connection Pooling Service 설정

2. Table Name 설정 (Source)

 

#1.1 HUE_DBPCConnectionPool

#2 PutDatabaseRecord Property

 

1.Catalog Name과 Schema Name 반드시 입력해야합니다.

#2.1 Database connection Pooling 설정

 

#2.2 AWS에서 JDBC URL 확인

2.1에 입력될 값들은 AWS RedShift Clusters 항목에서 Properties - Connection details 항목에서 확인할 수 있다

 

#2.3 AWS RedShift 설정

 

#3 Process 실행 결과

Source 정보

Process 실행전

Process 실행 후