31. 데이터 전환
31.1 데이터 전환
운영 중인 기존 정보 시스템에 축적되어 있는 데이터를 추출(Extraction)하여 새로 개발할 정보 시스템에서 운영할 수 있도록 변환(Transformation)한 후, 적재(Loading)하는 일련의 과정
- ETL(Extraction, Transformation, Load),즉 추출, 변환, 적재 과정이라고도 함
- 데이터 이행(Data Migration) 또는 데이터 이관이라고도 함
31.2 데이터 전환 계획서
데이터 전환이 필요한 대상을 분석하여 데이터 전환 작업에 필요한 모든 계획을 기록하는 문서
- 주요 항목
- 데이터 전환 개요
- 데이터 전환 대상 및 범위
- 데이터 전환 환경 구성
- 데이터 전환 조직 및 역할
- 데이터 전환 일정
- 데이터 전환 방안
- 데이터 정비 방안
- 비상 계획
- 데이터 복구 대책
32. 데이터 검증
32.1 데이터 검증
원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정
- 검증 방법과 검증 단계에 따라 분류할 수 있음
32.2 검증 방법에 따른 분류
| 검증 방법 |
내용 |
| 로그 검증 |
데이터 전환 과정에서 작성하는 추출, 전환, 적재 로그를 검증 |
| 기본 항목 검증 |
로그 검증 외에 별도로 요청된 검증 항목에 대해 검증 |
| 응용 프로그램 검증 |
응용 프로그램을 통한 데이터 전환의 정합성을 검증 |
| 응용 데이터 검증 |
사전에 정의된 업무 규칙을 기준으로 데이터 전환의 정합성을 검증 |
| 값 검증 |
숫자 항목의 합계 검증, 코드 데이터의 범위 검증, 속성 변경에 따른 값 검증을 수행 |
32.3 검증 단계에 따른 분류
| 검증 단계 |
목적 |
검증 방법 |
| 추출 |
원천 시스템 데이터에 대한 정합성 확인 |
로그 검증 |
| 전환 |
- 매핑 정의서에 정의된 내용이 정확히 반영되었는지 확인
- 매핑 정의서 오류 여부 확인 |
로그 검증 |
| DB 적재 |
SAM 파일을 적재하는 과정에서 발생할 수 있는 오류나 데이터 누락 여부 등 확인 |
로그 검증 |
| DB 적재 후 |
적재 완료 후 정합성 확인 |
기본 항목 검증 |
| 전환 완료 후 |
데이텅 전환 완료 후 추가 검증 과정을 통해 데이터 전환의 정합성 검증 |
응용 프로그램 검증
응용 데이터 검증 |
33. 오류 데이터 측정 및 정제
33.1 오류 데이터 측정 및 정제
고품질의 데이터를 운영 및 관리하기 위해 수행
- 데이터 품질 분석 → 오류 데이터 측정 → 오류 데이터 정제
| 진행 과정 |
내용 |
| 데이터 품질 분석 |
오류 데이터를 찾기 위해 원천 및 목적 시스템 데이터의 정합성 여부를 확인하는 작업 |
| 오류 데이터 측정 |
데이터 품질 분석을 기반으로 정상 데이터와 오류 데이터의 수를 측정하여 오류 관리 목록을 작성 |
| 오류 데이터 정제 |
오류 관리 목록의 각 항목을 분석하여 원천 데이터를 정제하거나 전환 프로그램을 수정 |
33.2 오류 상태
| 종류 |
내용 |
| Open |
오류가 보고만 되고 분석되지 않은 상태 |
| Assigned |
오류의 영향 분석 및 수정을 위해 개발자에게 오류를 전달한 상태 |
| Fixed |
개발자가 오류를 수정한 상태 |
| Closed |
수정된 오류에 대해 테스트를 다시 했을 때 오류가 발견되지 않은 상태 |
| Deferred |
오류 수정을 연기한 상태 |
| Clarified/Classified |
보고된 오류를 관련자들이 확인했을 때 오류가 아니라고 확인한 상태 |
33.3 데이터 정제요청서
원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청사항 및 조치사항 등 데이터 정제와 관련된 전반적인 내용을 문서로 작성한 것
- 오류 관리 목록을 기반으로 데이터 정제 요건 목록을 작성하고 이 목록의 항목별로 데이터 정제요청서를 작성
33.4 데이터 정제보고서
데이터 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서로 작성한 것
- 정제 요청 데이터와 정제된 데이터 항목을 눈으로 직접 비교하여 확인
34. 데이터베이스 개요
34.1 데이터저장소
데이터들을 논리적인 구조로 조직화하거나, 물리적인 공간에 구축한 것을 의미
- 논리 데이터저장소는 데이터 및 데이터 간의 연관성, 제약조건을 식별하여 논리적인 구조로 조직화한 것
- 물리 데이터저장소는 논리 데이터저장소를 소프트웨어가 운용될 환경의 물리적 특성을 구려하여 실제 저장장치에 저장한 것을 의미
34.2 데이터베이스(Database)
여러 사람에 의해 공동으로 사용될 데이터를 중복을 배제하여 통합하고, 쉽게 접근하여 처리할 수 있도록 저장장치에 저장하여 항상 사용할 수 있도록 운영하는 운영 데이터
| 종류 |
내용 |
통합된 데이터
(Integrated Data) |
자료의 중복을 배제한 데이터의 모임 |
저장된 데이터
(Stored Data) |
컴퓨터가 접근할 수 있는 저장 매체에 저장된 자료 |
운영 데이터
(Operational Data) |
조직의 고유한 업무를 수행하는 데 반드시 필요한 자료 |
공용 데이터
(Shared Data) |
여러 응용 시스템들이 공동으로 소유하고 유지하는 자료 |
34.3 DBMS(DataBase Management System; 데이터베이스 관리 시스템)
사용자의 요구에 따라 정보를 생성해주고, 데이터베이스를 관리해주는 소프트웨어
- 기존의 파일 시스템이 갖는 데이터의 종속성과 중복성의 문제를 해결하기 위해 제안된 시스템
- DBMS의 필수 기능 세 가지
| 기능 |
내용 |
| 정의(Definition) 기능 |
데이터의 형(Type)과 구조에 대한 정의, 이용 방식, 제약 조건 등을 명시하는 기능 |
| 조작(Manipulation) 기능 |
데이터 검색, 갱신, 삽입, 삭제 등을 위해 인터페이스 수단을 제공하는 기능 |
| 제어(Control) 기능 |
데이터의 무결성, 보안, 권한 검사, 병행 제어를 제공하는 기능 |
34.4 데이터의 독립성
종속성에 대비되는 말로 논리적 독립성과 물리적 독립성으로 나뉨
| 종류 |
내용 |
| 논리적 독립성 |
응용 프로그램과 데이터베이스를 독립시킴으로써, 데이터의 논리적 구조를 변경시키더라도 응용 프로그램은 영향을 받지 않음 |
| 물리적 독립성 |
응용 프로그램과 보조기억장치 같은 물리적 장치를 독립시킴으로써, 디스크를 추가/변경하더라도 응용 프로그램은 영향을 받지 않음 |
34.5 스키마(Schema)
데이터베이스의 구조와 제약조건에 관한 전반적인 명세를 기술한 것
| 종류 |
내용 |
| 외부 스키마 |
사용자나 응용 프로그래머가 각 개인의 입장에서 필요로 하는 데이터베이스의 논리적 구조를 정의한 것 |
| 개념 스키마 |
- 데이터베이스의 전체적인 논리적 구조
- 모든 응용 프로그램이나 사용자들이 필요로 하는 데이터를 종합한 조직 전체의 데이터베이스로, 하나만 존재 |
| 내부 스키마 |
- 물리적 저장장치의 입장에서 본 데이터베이스 구조
- 실제로 저장될 레코드의 형식, 저장 데이터 항복의 표현 방법, 내부 레코드의 물리적 순서 등을 나타냄 |
35. 데이터베이스 설계
35.1 데이터베이스 설계
사용자의 요구를 분석하여 그것들을 컴퓨터에 저장할 수 있는 데이터베이스의 구조에 맞게 변형한 후 DBMS로 데이터베이스를 구현하여 일반 사용자들이 사용하게 하는 것
35.2 데이터베이스 설계 시 고려사항
| 항목 |
내용 |
| 무결성 |
삽입, 삭제, 갱신 등의 연산 후에도 데이터베이스에 저장된 데이터가 정해진 제약 조건을 항상 만족해야 함 |
| 일관성 |
데이터베이스에 저장된 데이터들 사이나, 특정 질의에 대한 응답이 처음부터 끝까지 변함없이 일정해야 함 |
| 회복 |
시스템에 장애가 발생했을 때 장애 발생 직전의 상태로 복구할 수 있어야 함 |
| 보안 |
불법적인 데이터의 노출 또는 변경이나 손실로부터 보호할 수 있어야 함 |
| 효율성 |
응답시간의 단축, 시스템의 생산성, 저장 공간의 최적화 등이 가능해야 함 |
| 데이터베이스 확장 |
데이터베이스 운영에 영향을 주지 않으면서 지속적으로 데이터를 추가할 수 있어야 함 |
35.3 데이터베이스 설계 순서
요구 조건 분석 → 개념적 설계 → 논리적 설계 → 물리적 설계 → 구현
| 단계 |
내용 |
| 요구 조건 분석 |
요구 조건 명세서 작성 |
| 개념적 설계 |
개념 스키마, 트랜잭션 모델링, E-R 모델 |
| 논리적 설계 |
목표 DBMS에 맞는 논리 스키마 설계, 트랜잭션 인터페이스 설계 |
| 물리적 설계 |
목표 DBMS에 맞는 물리적 구조의 데이터로 변환 |
| 구현 |
목표 DBMS의 DDL(데이터 정의어)로 데이터베이스 생성, 트랜잭션 작성 |
35.4 요구 조건 분석
데이터베이스를 사용할 사람들로부터 필요한 용도를 파악하는 것
- 데이터베이스 사용자에 따른 수행 업무와 필요한 데이터의 종류, 용도, 처리 형태, 흐름, 제약 조건 등을 수집
- 수집된 정보를 바탕으로 요구 조건 명세를 작성
35.5 개념적 설계(정보 모델링, 개념화)
정보의 구조를 얻기 위하여 현실 세계의 무한성과 계속성을 이해하고, 다른 사람과 통신하기 위하여 현실 세계에 대한 인식을 추상적 개념으로 표현하는 과정
- 개념적 설계에서는 개념 스키마 모델링과 트랜잭션 모델링을 병행 수행
- 개념적 설계에서는 요구 분석에서 나온 결과인 요구 조건 명세를 DBMS에 독립적인 E-R 다이어그램으로 작성
- DBMS에 독립적인 개념 스키마를 설계
35.6 논리적 설계(데이터 모델링)
현실 세계에서 발생하는 자료를 컴퓨터가 이해하고 처리할 수 있는 물리적 저장장치에 저장할 수 있도록 변환하기 위해 특정 DBMS가 지원하는 논리적 자료 구조로 변환(Mapping)시키는 과정
- 개념 세계의 데이터를 필드로 기술된 데이터 타입과 이 데이터 타입들 간의 관계로 표현되는 논리적 구조의 데이터로 모델화
- 개념적 설계가 개념 스키마를 설계하는 단계라면, 논리적 설계에서는 개념 스키마를 평가 및 정제하고 DBMS에 따라 서로 다른 논리적 스키마를 설계하는 단계
- 트랜잭션의 인터페이스를 설계
35.7 물리적 설계(데이터 구조화)
논리적 설계에서 논리적 구조로 표현된 데이터를 디스크 등의 물리적 저장장치에 저장할 수 있는 물리적 구조의 데이터로 변환하는 과정
- 물리적 설계에서는 다양한 데이터베이스 응용에 대해 처리 성능을 얻기 위해 데이터베이스 파일의 저장 구조 및 액세스 경로를 결정
- 저장 레코드의 형식, 순서, 접근 경로, 조회 집중 레코드 등의 정보를 사용하여 데이터가 컴퓨터에 저장되는 방법을 묘사
35.8 데이터베이스 구현
논리적 설계와 물리적 설계에서 도출된 데이터베이스 스키마를 파일로 생성하는 과정
- 사용하려는 특정 DBMS의 DDL(데이터 정의어)을 이용하여 데이터베이스 스키마를 기술한 후 컴파일하여 빈 데이터베이스 파일을 생성
- 응용 프로그램을 위한 트랜잭션을 작성
- 데이터베이스 접근을 위한 응용 프로그램을 작성
