정보처리기사 - 제3과목 데이터베이스 구축 / 데이터 전환

 제3과목 데이터 전환 

▷ 데이터 전환

> 데이터 전환

- 데이터 전환의 정의 : 운영중인 기존 정보 시스템에 축적되어 있는 데이터를 추출하여 새로 개발한 정보 시스템에서 운영가능하도록 변환한 후 적재하는 일련의 과정

- 데이터 전환 프로세스 : 체계적이고 통합적인 접근 필요, ETL : 추출(Extraction) -> 정제 -> 변환(Transformation) ->적재(Load) -> 검증 

- 데이터 전환 계획서 : 데이터 전환이 필요한 대상을 분석하여 데이터 전환작업에 필요한 모든 계획을 기록하는 문서

  주요항목 : 데이터 전환 개요, 데이터 전환 대상 및 범위, 데이터 전환 환경 구성, 데이터 전환조직 및 역할, 데이터 전환일정, 데이터 전환 방안, 데이터 정비 방안, 비상 계획, 데이터 복구 대책

 

> 데이터 전환계획서 작성

1) 데이터 전환 개요 : 데이터 전환 목표는 간단하고 명료하게 정의, 데이터 전환 작업을 위한 전제조건이나 제약 사항을 정확히 기술

2) 데이터 전환 대상 범위 : 단위업무별로 데이터 전환 대상 정보, 해당 업무에 사용되는 Table 수, 데이터 크기

3) 데이터 전환 환경 구성 : 원천시스템 구성도(원천시스템 서버, 스토리지, 네트워크), 목적 시스템 구성도(목적시스템 서버, 스토리지, 네트워크), 전환단계별 DISK 용량 산정

4) 데이터 전환 조직 및 역할 작성 : 데이터 전환을 수행하고 결과를 검증할 작업자와 작업자별 역할을 최대한 상세히 기술

5) 데이터 전환 일정 작성 : 데이터 전환 및 검증 작업별로 상세하게 일정을 수립하여 작성

 

> 데이터 전환 방안

- 데이터 전환 방안

1) 데이터 전환 규칙 : 데이터 전환 관정에서 공통적으로 적용해야할 규칙 기술(전환시 동시 수행 프로세스 수)

2) 데이터 전환 절차 : 데이터 전환 절차 수립시 작업의 이해를 위해 데이터 흐름도 작성, 전환준비-전환설계/개발-전환테스트-실데이터전환-최종전환-검증데이터 전환절차

3) 데이터 전환 방법 : 단위 업무별로 데이터 전환방법을 기술하되, 데이터 전환시 업무별로 요구되는 전제 조건도 함께 기술

  - 데이터 전환 방법(데이터의 형태에 따른 구분)

   정형 데이터(플랫파일, 테이블, 스프레드시트 등) : 파일 형태로 추출, DBMS Link 이용, 저장공간 확보필요, 전달 프로그램 필요

   비정형 데이터(이미지, 첨부파일) : 별도의 관리가능한 저장소 구축, 저장공간 확보 필요, 전달 프로그램 필요

   - 전환 환경 구축 : 원천 시스템 분석

   - 환경 분석을 위한 자료 목록

    원천 시스템 : 현행 시스템 상세 현황, HW/SW 구성도, 모형도, 운영 환경, 장비사양, 데이터베이스 현황, 데이터 용량 분석

    목적 시스템 : 원천시스템 + 목적 시스템 환경 구성, SW 구성도

    데이터 전환 개발 환경 : 개발환경 구성도, 서버와 클라이언트(전환작업용), 전환 도구, 전환 작업 모니터링 구축

4) 데이터 전환 설계 : 업무별로 전환 대상과 전환 제외 대상 기술

    데이터 전환 흐름 설계(logical mapping) : ETL과정을 흐름도(flowchart)로 설계, 업무의 변경 흐름까지 반영

  데이터 관계 설계(data mapping) : 데이터를 표준에 맞게 정의(표준화 작업 선행 필요)하고 매핑관계를 기술

    소스데이터 : 테이블, 플랫파일, 스프레드시트 등의 다양한 종류

    소스와 목적데이터의 관계정의(1:1, 1:M 등)

  코드데이터 전환관리 : 신,구의 코드 데이터 매핑 정보 정의, 효율성을 위해 별도 테이블에서 관리, 관리지점 표시 필요

5) 전환 프로그램 개발 및 테스트 계획 : 전환 프로그램은 목록별로 프로그램 입력정보, 중간 생성 정보, 출력 정보, 프로그램 위치, 담당자 등을 포함하여 작성

6) 데이터 전환 계획 : 데이터 전환 시간들을 단축하기 위해 일자별 거래내역, 일자별 근태내역과 같은 대략의 데이터 테이블은 사전에 전환

- 전환 시간 단축 계획 수립

- 데이터 정비

1. 데이터 정비 프로세스 

  a. 분석 b. 검토 c. 계획수립

2. 정비 시점별 방안

  a. 설계~구축(제외대상, 정합성(모순없는) 마비, 불필요한(손실된) 데이터, 맞지않는 데이터타입, 오류데이터 등을 사전에 파악, 정리) b. 테스트(테스트결과 발견된 오류데이터) c. 이행과정에서 정비

 

- 데이터 전환 시간 단축 방법

1. 데이터 추출 방식 조정

2. 이행 범위 조정

3. 전환 시나리오 최적화

  a. 시나리오 검증

  b. 목적시스템의 자원을 최대한 활용

  c. 주요 테이블 튜닝

  d. 가장 긴 시간이 소요되는 루트를 중점으로 최적화

4. 사전(미리)이행

7) 데이터 검증 방안 : 단계별 데이터 전환 검증 방안을 수립한 후 관련 내용 기술

 

> 데이터 검증 : 각 단계별 철저한 검증 후 다음단계 진행

- 데이터 검증 : 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정

- 검증방법에 따른 분류

    a. 로그검증 : ETL 로그작성으로 검증

   b. 기본항목검증 : 검증 프로그램을 이용하여 검증(프로그램x, 설문지같은 검사항목)

   c. 응용 프로그램 검증 : app을 통한 검증(프로그램o)

   d. 응용데이터 검증 : 사전에 정의된 업무 규칙을 통하여 검증

   e. 값검증 : 숫자의 합계, 코드의 범위, 속성 변경에 따른 값 검증

- 검증단계에 따른 분류 : ETL 단계별로 검증방법을 달리하여 실시, 추출, 전환, DB적재, DB적재 후, 전환 완료 후

 

> 오류데이터 측정 및 정제

- 오류데이터 측정 및 정제의 개요 : '데이터 품질분석-오류데이터 측정-오류데이터 정제' 순으로 진행

1) 데이터 품질 분석 : 원천 및 목적 : 원천 및 목적 시스템 데이터의 정합성 여부를 확인하는 작업

2) 오류데이터 측정 : 정상 데이터와 오류데이터의 수를 측정하여 오류 관리 목록을 작성하는 것

3) 오류 데이터 정제 : 원천 데이터를 정제하거나 전환프로그램을 수정하는 것, 오류데이터 분석(open(오류 보고o, 분석x), assigned(개발자 보고o), fixed(개발자 오류수정o), closed(오류발견x), deferred(오류 수정 연기), classified(관련자 오류x)),  심각도(상중하), 해결방안 확인 및 기재)

 

> 데이터 정제요청서 및 정제보고서

- 데이터 정제요청서의 개요 : 원천 데이터의 정제와 전환 프로그램의 수정을 위해 데이터 정제와 관련된 전반적인 내용을 문서로 작성하는 것

- 데이터 정제 요건 목록 작성 : 정제유형(완전성, 유효성, 일치성, 유일성, 기타)

- 데이터 정제요청서 작성 : 데이터 전환시 발생한 오류의 수정을 위한 정제요청의 전반적인 내용들을 작성

- 데이터 정제보고서의 개요 및 작성 : 정제요청데이터와 정제된 데이터 항목을 육안으로 직접 비교하여 확인, 오류 데이터 원인, 실제데이터 정제 건수, 향후 대응 방안 등을 포함