안녕하세요

PPAS copy시 파티셔닝 된 데이터가 증가될 수록 export가 느려 집니다.

apache sqoop을 사용해서 export  하고 있는데 파티셔닝이 증가 할 수록 데이터 등록이 느려 집니다.

원인을 잘 모르겠습니다. 현재 table은 index미 생성 후 파티션 데이터 등록 후 index를 생성 합니다.

o 등록시간
> 테이블 생성 후 첫번 째 등록

17/01/17 20:21:09 INFO mapreduce.ExportJobBase: Transferred 2.3928 GB in 77.3713 seconds (31.6682 MB/sec)
17/01/17 20:21:09 INFO mapreduce.ExportJobBase: Exported 28731971 records.

> 다섯번째 파티션 데이터 등록

17/01/17 20:33:11 INFO mapreduce.ExportJobBase: Transferred 2.6139 GB in 294.8649 seconds (9.0774 MB/sec)
17/01/17 20:33:11 INFO mapreduce.ExportJobBase: Exported 31360313 records.

o 테이블 

DROP TABLE TEST;
CREATE TABLE TEST(
  SEX_CD CHAR(1) DEFAULT 0,
  AGE_GROUP_CD CHARACTER VARYING(3) DEFAULT 0,
  PACKT_SECT_CD CHAR(4),
  BFEE_SECT_CD CHAR(4),
  SIDO_NM CHARACTER VARYING(20),
  GUN_GU_NM CHARACTER VARYING(30),
  CTGRY_LCTG_CD INTEGER,
  CTGRY_MCTG_CD INTEGER,
  CTGRY_SCTG_CD INTEGER,
  SEG_CD CHAR(5),
  UV_CNT INTEGER,
  PV_CNT DOUBLE PRECISION,
  PACKT_CNT DOUBLE PRECISION,
  BASE_DATE CHARACTER VARYING(8)
)
PARTITION BY LIST(BASE_DATE) SUBPARTITION BY LIST(SEG_CD)
(
    PARTITION p20161217 VALUES ('20161217') 
    (
        SUBPARTITION p20161217_SP01 VALUES ('SEG00'), 
        SUBPARTITION p20161217_SP02 VALUES ('SEG01'),
        SUBPARTITION p20161217_SP03 VALUES ('SEG02'), 
        SUBPARTITION p20161217_SP04 VALUES ('SEG03'),
        SUBPARTITION p20161217_SP05 VALUES ('SEG04'), 
        SUBPARTITION p20161217_SP06 VALUES ('SEG05'),
        SUBPARTITION p20161217_SP07 VALUES ('SEG06'),
        SUBPARTITION p20161217_SP08 VALUES ('SEG07'),
        SUBPARTITION p20161217_DEFAULT VALUES ('DEFAULT')
     )
)