SQL개발자 - 제 2장. 데이터 모델과 성능

1. 성능 데이터 모델링

 분석/설계 단계에서 데이터베이스 처리 성능을 향상 시킬 수 있는 방법을 주도 면밀하게 고려해야 한다. 만약 어떤 트랜잭션이 해당 비즈니스 처리에 핵심적이고 사용자 업무처리에 있어 중요함을 가지고 있고 성능이 저하되면 안되는 특징을 가지고 있다면, 프로젝트 초기에 운영환경에 대비한 테스트 환경을 구현하고 그곳에 트랜잭션을 발생시켜 실제 성능을 테스트해 보아야 한다. 이 때 데이터 모델의 구조도 변경하면서 어떠한 구조가 해당 사이트에 성능상 가장 적절한 구조인지를 검토하여 성능이 좋은 모습으로 디자인 하는 전략이 요구된다.

 

2. 성능 데이터 모델링 수행 절차

 첫 번째, 데이터모델링을 할 때 정규화를 정확하게 수행한다.

 두 번째, 데이터베이스 용량산정을 수행한다.

 세 번째, 데이터베이스에 발생되는 트랜잭션의 유형을 파악한다.

 네 번째, 용량과 트랜잭션의 유형에 따라 반정규화(역정규화)를 수행한다.

 다섯 번째, 이력모델의 조정, PK/FK조정, 슈퍼타입/서브타입 조정등을 수행한다.

 여섯 번째, 성능관점에서 데이터 모델을 검증한다.

 

3. 성능데이터 모델링을 할 때 고려사항

 1) 정규화가 항상 조회 성능을 저하시킨다는 것은 잘 못된 생각이며 기본적으로 중복된 데이터를 제거함으로써 조회성능을 향상시킬 수 있음을 알아야 한다.

 2) 용량산정은 전체적인 데이터베이스에 발생되는 트랜잭션의 유형과 양을 분석하는 자료가 되므로 성능데이터 모델링을 할 때 중요한 작업이 될 수 있다.

 3) 물리적인 데이터 모델링을 할 때 PK/FK의 칼럼의 순서 조정, FK인덱스 생성 등은 성능 향상을 위한 데이터 모델링 작업에 중요한 요소가 된다.

 4) 이력데이터는 시간에 따라 반복적으로 발생이 되기 때문에 대량 데이터일 가능성이 높아 특별히 성능을 고려하여 칼럼 등을 추가하도록 설계해야 한다.

 

4. 반정규화
 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발(Development)과 운영(Maintenance)의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미한다.

 반정규화는 데이터를 중복하여 성능을 향상시키기 위한 기법이라고 정의할 수 있고 좀 더 넓은 의미의 반정규화는 성능을 향상시키기 위해 정규화된 데이터 모델에서 중복, 통합, 분리 등을 수행하는 모든 과정을 의미한다.

 데이터 무결성이 깨질 수 있는 위험을 무릅쓰고 데이터를 중복하여 반정규화를 적용하는 이유는 데이터를 조회할 때 디스크 I/O량이 많아서 성능저하가 예상되거나 칼럼을 계산하여 읽을 때 성능이 저하될 것이 예상되는 경우 반정규화를 수행하게 된다.

 

5. 반정규화를 고려할 때 판단요소

 1) 반정규화 정보에 대한 재현의 적시성으로 판단한다. 예를 들어, 빌링의 잔액(balance)은 다수 테이블에 대한 다량의 조인이 불가피하므로 데이터 제공의 적시적 확보를 위한 필수 반정규화 대상 정보이다.

 2) 다량 데이터 탐색의 경우 인덱스가 아닌 파티션 및 데이터 클러스터링 등의 다양한 물리 저장 기법을 활용하여 성능 개선을 유도할 수 있다. 다만, 하나의 결과셋을 추출하기 위해 다량의 데이터를 탐색하는 처리가 반복적으로 빈번하게 발생한다면 이 때는 반정규화를 고려하는 것이 좋다.
 3) 이전 또는 이후 위치의 레코드에 대한 탐색은 window function으로 접근 가능하다.

 4) 집계 테이블 이외에도 다양한 유형(다수 테이블의 키 연결 테이블 등)에 대하여 반정규화 테이블 적용이 필요할 수 있다.

 

6. 테이블의 반정규화

기법분류	반정규화 기법
테이블병합	1:1 관계 테이블병합
	1:M 관계 테이블병합
	슈퍼/서브타입 테이블병합
테이블분할	수직분할
	수평분할
테이블추가	중복테이블 추가
	통계테이블 추가
	이력테이블 추가
	부분테이블 추가

 

7. 칼럼의 반정규화

 1) 중복칼럼 추가

  조인감소를 위해 여러 테이블에 동일한 칼럼을 갖도록 한다.

 2) 파생칼럼 추가

  조회 성능을 우수하게 하기 위해 미리 계산된 칼럼을 갖도록 한다.

 3) 이력테이블 칼럼 추가

  최신값을 처리하는 이력의 특성을 고려하여 기능성 칼럼을 추가한다.

 4) PK에 의한 칼럼 추가

 5) 응용시스템 오작동을 위한 칼럼 추가

 

8. 반정규화 절차

 1) 반정규화 대상 조사

  (1) 범위처리빈도수 조사

  (2) 대량의 범위 처리 조사

  (3) 통계성 프로세스 조사

  (4) 테이블 조인 개수

 2) 다른 방법유도 검토

  (1) 뷰(VIEW) 테이블

  (2) 클러스터링 적용

  (3) 인덱스의 조정

  (4) 응용애플리케이션

 3) 반정규화 적용

  (1) 테이블 반정규화

  (2) 속성의 반정규화

  (3) 관계의 반정규화

 

9. 반정규화의 대상에 대해 다른 방법으로 처리

 1) 지나치게 많은 조인(JOIN)이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 뷰(VIEW)를 사용하면 이를 해결할 수도 있다.

 2) 대량의 데이터처리나 부분처리에 의해 성능이 저하되는 경우에 클러스터링을 적용하거나 인덱스를 조정함으로써 성능을 향상시킬 수 있다.

 3) 대량의 데이터는 Primary Key의 성격에 따라 부분적인 테이블로 분리할 수 있다. 즉, 파티셔닝 기법(Partitioning)이 적용되어 성능저하를 방지할 수 있다.

 4) 응용 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상시킬 수 있다.

 

10. 파티셔닝

 하나의 테이블에 많은 양의 데이터가 저장되면 인덱스를 추가하고 테이블을 몇 개로 쪼개도 성능이 저하되는 경우가 있다. 이 때 논리적으로는 하나의 테이블이지만 물리적으로는 여러 개의 테이블로 분리하여 데이터 액세스 성능도 향상시키고, 데이터 관리방법도 개선할 수 있도록 테이블에 적용하는 기법을 파티셔닝 이라고 한다.

 

11. 논리데이터모델의 슈퍼타입과 서브타입 데이터모델을 물리적인 테이블 형식으로 변환할 때

 1) 트랜잭션은 항상 전체를 대상으로 일괄 처리하는데 테이블은 서브타입별로 개별 유지하는 것으로 변환하면 Union 연산에 의해 성능이 저하될 수 있다.

 2) 트랜잭션은 항상 서브타입 개별로 처리하는데 테이블은 하나로 통합하여 변환하면 불필요하게 많은 양의 데이터가 집적되어 있어 성능이 저하될 수 있다.

 3) 트랜잭션은 항상 슈퍼+서브 타입을 함께 처리하는데 개별로 유지하면 조인에 의해 성능이 저하될 수 있다.

 4) 트랜잭션은 항상 전체를 통합하여 분석 처리하는데 슈퍼-서브타입이 하나의 테이블로 통합되어 있으면 하나의 테이블에 집적된 데이터만 읽어 처리할 수 있기 때문에 다른 형식에 비해 더 성능이 우수하다.(조인 감소)

 

12. PK순서를 결정하는 기준

 1) 인덱스 정렬구조를 이해한 상태에서 인덱스를 효율적으로 이용할 수 있도록 PK순서를 지정해야한다.

 2) 인덱스의 특징은 여러개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속성의 값이 비교자로 있어야 인덱스가 좋은 효율을 나타낼 수 있다.

 3) 앞쪽에 위치한 속성 값이 가급적 '=' 아니면 최소한 범위가 'BETWEEN' '<>'가 들어와야 인덱스를 이용할 수 있는 것이다.

 

13. 분산 데이터베이스 장단점

장점

 1) 지역 자치성, 점증적 시스템 용량 확장

 2) 신뢰성과 가용성

 3) 효용성과 융통성

 4) 빠른 응답 속도와 통신비용 절감

 5) 데이터의 가용성과 신뢰성 증가

 6) 시스템 규모의 적절한 조절

 7) 각 지역 사용자의 요구 수용 증대

단점

 1) 소프트웨어 개발 비용

 2) 오류의 잠재성 증대

 3) 처리비용의 증대

 4) 설계, 관리의 복잡성과 비용

 5) 불규칙한 응답 속도

 6) 통제의 어려움

 7) 데이터 무결성에 대한 위협