[SQLD] 1과목: 데이터 모델링의 이해 - 데이터 모델과 성능

1과목 데이터 모델링의 이해

I. 데이터 모델과 성능

| 성능 데이터 모델링의 개요

• 성능 데이터 모델링 : DB 성능향상을 위한 정규화, 반정규화, 테이블 통합, 테이블 분할, 조인구조, PK, FK 등 여러 가지 성능과 관련한 사항이 데이터 모델링에 반영되도록 하는 것
• 수행시점 : 분석/설계 단계, 성능 데이터 모델링 시점이 늦어질 수록 재업무 비용이 증가한다. 즉, 사전에 할수록 저렴하다.
• 고려 사항 : 정규화 수행, DB 용량 산정과 트랜잭션 유형 파악등을 위한 반정규화 수행 여부 결정 -> 정규화는 반드시 해야한다.

- 성능 데이터 모델링 고려사항

1) 데이터 모델링을 할 때 정규화를 정확하게 수행한다.

2) 데이터베이스 용량산정을 수행한다.

3) 발생되는 트랜잭션의 유형을 파악한다.

4) 용량과 트랜잭션의 유형에 따라 반정규화를 수행한다.(선택사항)

5) 이력모델의 조정, PK/FK 조정, 슈퍼타입/서브타입 등등의 조정을 수행한다.

6) 성능관점에서 데이터 모델을 검증한다.

| 정규화와 성능 (도부이결다조)

• 관계형 데이터베이스에서 데이터를 구조화 하는 작업이다.
• 정규화의 목적은 데이터의 중복을 방지하고 보다 효율적으로 데이터를 저장하기 위해 데이터를 분리하는 과정이다.
• 정규화를 통해 삽입, 삭제, 갱신 이상(CRUD)의 발생 가능성을 줄일 수 있다.
• 정규화는 6가지가 있지만 실질적으로 제 1, 2, 3 정규화를 많이 활용한다.
• 그 이상으로 가야하면 그냥 테이블 엎고 다시 만들어라...
• 정규화는 입출력 데이터 양을 줄여 성능을 향상시킨다. 응집도를 높히고 결합도를 낮춰 유연성이 증가한다. 개념이 세분화됨으로 재활용성이 증가하고 데이터의 중복이 최소화된다.
• 정규화 조건은 이전 조건을 모두 누적적으로 충족해야한다.

1) 제 1 정규화

• 엔티티에서 하나의 속성이 복수의 값을 갖도록 설계되었을 때 하나의 속성이 단일 값을 갖도록 하는 것
• 즉 다중값을 가질 수 없다.
• 각 컬럼이 유일한 이름을 가져야한다.
• 칼럼의 순서가 상관이 없어야한다.

2) 제 2 정규화

• 주식별자가 아닌 속성 중에서 주식별자 전체가 아닌 일부 속성에 종속된 부분 종속을 제거해야한다.
• 모든 칼럼이 완전 함수 종속을 만족해야한다.(함수적 종속성 : 결정자와 종속자의 관계, 결정자의 값으로 종속자의 값을 알 수 있음)

3)제 3 정규화

• 주식별자가 아닌 속성들 중에서 종속 관계에 있는 속성을 찾아 제거하는 것
• 이행종속, 기본키가 아닌 모든 속성간에는 서로 종속될 수 없다.
• A->B, B->C일 때 A->C가 성립되면 이행종속이다.

4) BCNF(Boyce-Codd Normal Form)

• 제 3 정규형을 좀 더 강화한 버전이다.
• 제 3정규형을 만족하면서 모든 결정자가 후보키 집합에 속해야한다. 즉, 후보키 집합에 없는 컬럼이 결정자가 되어서는 안된다는 뜻이다.

5)제 4 정규화

• 다치종속성 분리

6)제 5 정규화

• 결합 종속 분리

 

- 정규화의 단점

• 릴레이션의 분해로 인해 릴레이션 간의 JOIN연산이 많아져 성능이 오히려 저하될 수 있다.
• 질의에 대한 응답 시간이 느려질 수도 있다. 데이터의 중복 속성을 제거하고 결정자에 의해 동일한 의미의 일반 속성이 하나의 테이블로 집약되므로 한 테이블의 데이터 용량이 최소화되는 효과가 있다. 
• 따라서 데이터를 처리할 때 속도가 빨라질 수도 있고 느려질 수도 있다.
• 만약 조인이 많이 발생하여 성능 저하가 나타나면 반정규화(De-normalization)를 적용할 수도 있다.

 

| 반정규화(Denormalization)와 성능 

• 반정규화 : 데이터 중복을 허용하여 조인을 줄이는 DB 성능 향상 방법, 데이터의 무결성을 희생하고 조회 성능 향상
• 반정규화를 할 때는 반정규화 말고도 현재의 성능문제를 해결할 수 있는 다른 방법을 충분히 고려하여야 한다. ex) 뷰, 클러스터링, 인덱스, 애플리케이션
• 반정규화 적용 순서 : 1. 반정규화 대상 조사 병합 2. 다른 방법 유도 3. 반정규화 적용
• 반정규화는 그 대상에 따라 테이블 반정규화, 칼럼 반정규화, 관계반정규화로 나뉜다.

- 테이블 반정규화

 

1) 테이블 병합 : 분리된 테이블의 JOIN 연산으로 성능이 저하되었던 것을 병합하여 성능을 놉힌다.

• 1:1 관계 테이블 병합 
• 1:m 관계 테이블 병합
• 슈퍼-서브타입 테이블 병합

2) 테이블 분할

•  수직 분할(테이블을 세로로 쪼갬) : 자주 사용하는 특정 컬럼을 분할한다. 디스크 I/O를 분산처리할 수 있다. EX) (일자, 사번, 부서, 코드, 전화번호) → (일자, 사번, 부서), (코드, 전화번호)
• 수평 분할(테이블을 가로로 쪼갬) : 자주 사용하는 특정 튜플(행)로 분할한다. EX) 1, 2, 3월 등 월별로 입고 정보 분류

3) 테이블 추가

• 중복테이블 추가 : 원격조인이나 다른 업무, 서버 간의 데이터 전송 시간을 줄이기 위해 동일한 데이터를 다른 위치에 중복 저장한다. EX) 서버 A의 테이블을 서버 B에서 자주 조회할 경우, 서버 B에 해당 테이블의 복사본을 생성하여 원격조인을 제거하고 성능을 개선할 수 있다.
• 통계테이블 추가 : 미리 계산된 집계값(EX: SUM, AVG 등)을 저장하여 집계 쿼리의 실행 시간을 줄인다 EX) 우러별 매출액, 일별 평균 판매량
• 이력테이블 추가 : 마스터 테이블의 변경 이력을 추적하기 위해 이력을 저장하는 테이블 추가. 데이터의 변경 이력을 추적하거나, 특정 시점의 데이터 상태를 복원해야하는 경우에 사용한다. EX) 고객 정보 변경 내역 저장
• 부분테이블 추가 : 큰 테이블을 여러 작은 테이블로 분할하여 데이터의 관리와 조회성능을 개선하는 방법이다. 특정 데이터를 자주 조회하거나, 데이터의 크기가 너무 큰 경우에 적용된다. EX) 10년치 거래 데이터 중 최근 1년치 데이터만 자주 조회하는 경우

 

4) 칼럼 반정규화

• 중복칼럼 추가 : 조인 연산을 줄이기 위해 다른 테이블의 칼럼 값을 현재 테이블에 중복 저장
• 파생칼럼 추가 : 계산 연산의 부하를 줄이기 위해 미리 계산된 값을 저장
• 이력테이블 칼럼 추가 : 대량의 데이터에서 특정 날짜의 조회나 최근 값을 빠르게 조회하기 위해 추가정보를 저장 EX)최근 값 여부, 시작 및 종료일자
• PK에 의한 칼럼 추가 : 복합의미를 갖는 기본키(PK)의 값을 단일 속성으로 변경하고 해당 값의 중복을 일반 속성으로 추가. 
• 오작동을 위한 칼럼 추가 : 잘못된 처리를 복구하기위해 이전 데이터를 임시로 중복 저장

 

5) 관계 반정규화

• 중복관계 추가 : 많은 조인 발생 시 성능저하를 방지하기 위해 추가적인 관계를 맺는다.
  
  

 

| 대량 데이터 발생에 따른 테이블 분할

오라클 데이터베이스에서 테이블의 행이 하나의 데이터 블록에 저장되지 못할 때  Row Chaining, Row Migration이 발생하는데 이로 인해 성능 저하가 발생한다.(데이터블록 : RDBMS에서 데이터를 저장하고 관리하는 가장 작은 단위)

 

- Row Chaining

• 정의 :하나의 행이 두 개 이상의 데이터 블록에 걸쳐 저장되는 현상을 의미한다. 
• 발생 원인 : 테이블의 행이 데이터 블록의 크기보다 클 때 발생한다. 예를 들어 데이터 블록의 크기가 8KB인데 테이블 행의 크기가 9KB라면 해당 행은 두 개의 데이터 블록에 걸쳐 저장된다. 
• 문제점 :  하나의 행을 읽기 위해 여러 데이터 블록에 접근해야하므로 성능 저하가 발생한다.

- Row Migration

• 정의 : 원래 저장되어 있던 데이터 블록에서 다른 데이터 블록으로 행이 이동하는 현상
• 발생 원인 : 테이블의 행이 원래 저장되어 있던 데이터 블록에 더 이상 공간이 없을 때 (EX : 업데이트로 인해 행의 크기가 증가한 경우) 발생한다. 이 때 해당 행은 다른 데이터 블록으로 이동하고 원래 데이터 블록에는 이동된 행에 대한 포인터만 남게 된다.
• 문제점 : 하나의 행을 읽기 위해 원래의 데이터 블록과 이동된 데이터 블록에 모두 접근해야하므로 성능저하가 발생한다. 

 

 

| PK에 의한 테이블 파티셔닝

**파티셔닝 하나의 테이블에 많은 양의 데이터가 저장되면 인덱스를 추가하고 테이블을 몇개로 쪼개도 성능이 저하되는 경우가 있다.  이 때 논리적으로는 하나의 테이블이지만 물리적으로는 여러 개의 테이블로 분리하여 데이터 액세스 성능도 향상시키고, 데이터 관리 방법도 개선할 수 있도록 테이블에 적용하는 기법이다.

 

1) Range 파티셔닝

• 데이터가 날짜 또는 숫자로 분리가 가능한 경우에 적용된다.
• SQL문을 실행할 때 내부적으로 구분된 테이블에서 처리하므로 성능이 개선되고 데이터 보관주기에 따른 테이블 관리가 용이하다.
• ex) 1년을 월별로 분리하여 12개의 파티션 테이블 만들기

2) List 파티셔닝

• 일련번호 등의 코드값으로 PK가 구성되어 있는 경우 
• EX) 전자제품 코드별로 파티션 테이블을 만든다.

3) Hash 파티셔닝

• 지정된 hash 조건에 따라 해싱 알고리즘이 적용된다.
• 설계자도 어떤 테이블에 어떤 데이터가 들어있는지 알 수 없다.

 

| 슈퍼타입과 서브타입

ERD(Entity-Relationship Diagram)에서 사용되는 개념이다. 슈퍼타입은 일반화된 엔터티를 나타내며, 서브타입은 특정한 범주 또는 클래스의 엔터티를 나타낸다. 이 구조는 데이터의 중복을 줄이고 더 효율적인 데이터 관리를 가증하게 한다. 이러한 슈퍼/서브타입 관계를 데이터베이스 테이블에 매핑할 때 여러가지 방법을 사용할 수 있다. 아래 변환 방법은 데이터의 양과 트랜잭션의 유형에 따라 선택한다.

 

1) One to One Type(1:1 타입)

• 슈퍼타입과 서브타입 간의 1:1관계를 갖는 테이블을 생성한다.
• 슈퍼타입 테이블의 기본 키를 서브타입 테이블의 외래 키로 사용한다.

2) Plus Type(슈퍼 + 서브 타입)

• 슈퍼타입 데이블에 공통 속성을 저장하고, 각 서브타입 테이블에는 특정 속성만을 저장한다. 
• 이 방식은 데이터 중복을 최소화하면서도 각 서브타입의 특징을 나타낼 수 있다.

3) Single Type(All in One 타입)

• 하나의 테이블에 슈퍼타입과 모든 서브타입의 속성을 포함한다.
• 이 테이블에는 엔터티 유형을 나타내는 추가적인 컬럼(ex) 타입코드)이 있을 수 있다.
• 이 방식은 조회 성능은 뛰어나지만, 데이터 중복의 가능성이 높아질 수 있다.

 

| 인덱스 특성을 고려한 PF/FK 데이터베이스 성능 향상

인덱스는 데이터베이스의 검색 성능을 향상시키기 위한 중요한 도구이다. 특히 관계형 데이터베이스에서 PK, FK를 사용하여 테이블 간의 관계를 정의할 때 인덱스는 필수적으로 고려해야한다. 테이블에 발생하는 트랜잭션의 조회 패턴을 분석하여 PK/FK 칼럼의 순서를 조정해야 한다.

 

- Primary Key

• 대부분의 데이터베이스 시스템에서는 PK는 자동으로 인덱싱된다.
• PK는 각 행을 고유하게 식별하기 때문에 빠른 검색이 가능하다.

- Foregin Key

• 외래키에 인덱스를 생성하면 조인 연산의 성능이 향상된다.
• FK를 사용하여 다른 테이블과 조인할 때, 인덱스가 없다면 전체 테이블 스캔이 발생할 수 있다. 이로 인해 성능저하가 발생할 수 있으므로 FK에 인덱스를 생성하는 것이 좋다.

 

 

| 분산 데이터베이스와 성능

분산테이터베이스 : 물리적으로 여러 곳으로 분산되어있는 데이터베이스를 하나의 가상 시스템으로 사용할 수 있게 하는 데이터베이스. (물리적으로 분리, 논리적으로 동일 시스템)

분산 데이터베이스는 데이터 접근성, 가용성 및 견고성을 증가시키기 위해서 설계되었다.

 

- 분산데이터베이스의 투명성 : 분산데이터 베이스는 아래 6가지 투명성을 만족해야 한다.

• 분할  : 하나의 논리적 릴레이션이 여러개로 분할되어 있다.
• 위치 : 사용하려는 데이터의 저장장소 명시가 불필요하다. System Catalog에 위치정보가 저장되어야 한다.
• 지역사상 : 지역 DBMS와 물리적 DB 사이의 Mapping을 보장한다. 각 지역시스템 이름과 무관한 이름을 사용한다.
• 중복 : DB 객체가 여러 시스템에 중복되어있는지 알 필요가 없다.
• 장애 : DBMS 또는 컴퓨터의 장애에 무관하게 트랜잭션의 원자성이 보장되어야한다.
• 병행 : 다수 트랜잭션을 동시에 수행해도 결과는 일관성이 있어야 한다.

 

- 분산데이터 베이스의 장단점

장점	단점
- 고가용성 : 한 서버에 문제가 발생하더라도 다른 서버에서 접근이 가능하다. - 병렬처리를 수행하여 빠른 응답이 가능하다.(부하 분산) - 시스템 용량 확장이 쉽다. - 각 지역 사용자들의 요구를 빠르게 수용한다.	- 설계, 관리가 복잡하고 유지 비용이 높다. - 데이터 무결성에 대한 위협이 있다. - 보안, 관리, 통제가 어렵고 오류 잠재성이 크다. - 응답속도가 불규칙적이다. - 분산 데이터베이스에서 복잡한 쿼리를 수행할 경우 더 복잡하고 시간이 오래걸린다.

 

- 분산데이터베이스를 고려해야 하는 경우

• 성능이 매우 중요할 때
• 공통코드, 기준정보, 마스터 데이터 등에 분산환경을 조성할 경우 성능 개선
• 실시간 동기화를 요구하지 않을 때
• 특정 서버에 부하가 집중될 경우
• 백업 사이트를 만들 때 

 

**GSI(Global Single Instance)는 통합된 한 개의 인스턴스 즉, 통합 데이터베이스 구조를 의미하므로,분산데이터베이스와는 대치되는 개념이다.