ADSP PART 2. 데이터 분석 기획 요약 정리

분석 대상과 방법

분석의 대상 (what)
known	unknown
optimization	insight	known	분석의 방법
solution	discovery	unknown

 

방법론의 적용업무의 특성에 따른 모델

1. 폭포수 모델 : 단계를 순차적으로 진행하는 방법, 이전 단계가 완료되어야 다음 단계로 진행가능

 

2. 프로토타입 모델 : 폭포수 모델의 단점을 보완하기 위해 점진적으로 시스템을 개발해 나가는 접근 방식, 일부분을 우선 개발하여 사용자에게 제공

 

3. 나선형 모델 : 반복을 통해 점증적으로 개발하는 방식 관리 체계를 효과적으로 갖추지 못한 경우 복잡도가 상승하여 프로젝트 진행이 어려울 수 있다.

 

 

KDD 분석 방법론

프로파일링 기술을 기반으로 데이터로부터 통계적 패턴이나 지식을 찾기 위해 활용할 수 있도록 체계적으로 정리한 데이터 마이닝 프로세스

 

1. 데이터 선택 : 비즈니스 도메인에 대한 이해와 프로젝트 목표 설정 필수 , 목표데이터를 구성하여 분석에 활용

 

2. 데이터 전처리 : 잡음과 이상치, 결측치를 식별하고 필요시 제거하거나 의미있는 데이터로 재처리

 

3. 데이터 변환 : 데이터 차원을 축소하고 학습용 데이터와 검증용 데이터로 분리

 

4. 데이터 마이닝 : 분석목적에 맞는 데이터 마이닝 기법을 선택하고 적절한 알고리즘 적용하여 데이터 마이닝 작업을 실행한다.

 

5. 데이터마이닝 결과 평가 : 결과에 대한 해석과 평가, 분석 목적과의 일치성을 확인한다

 

 

CRISP-DM 분석 방법론

주요한 5개 업체 (Daimler-Chrisler, SPSS, NCR, Teradata, OHRA)가 주도, 계층적 프로세스 모델로써 4개 레벨로 구성

 

 

CRISP-DM의 프로세스

6단계로 구성되어 있으며 각 단계는 단방향으로 구성되어 있지 않고 단계 간 피드백을 통하여 단계별 완성도를 높이게 되어 있다. 

 

1. 업무이해 : 목적과 요구사항을 이해하기 위한 단계 업무 목적파악; 상황파악, 데이터 마이닝 목표 설정

 

2. 데이터 이해 : 데이터를 수집하고 데이터 속성을 이해하기 위한 단계 ; 초기 데이터 수집, 데이터 기술 분석, 품질확인 

 

3. 데이터 준비 : 분석을 위하여 수집된 데이터에서 분석기법에 적합한 데이터를 편성하는 단계 ; 데이터셋 선택, 데이터 정제

 

4. 모델링 : 파라미터를 최적화해 나가는 단계; 모델링 기법 선택, 모델 테스트 계획 설계, 모델작성

 

5. 평가 : 프로젝트에 부합하는지 평가 ; 분석결과 평가, 모델링 과정 평가

 

6. 전개 : 실 업무에 적용하기 위한 계획을 수립하는 단계 ; 프로젝트 종류 보고서 작성, 프로젝트 리뷰

 

 

하향식 접근법

현황분석을 통해 기회나 문제를 탐색, 데이터 분석의 타당성 평가를 거쳐 분석과제를 도출하는 과정

 

1. 하향식 접근법 1단계

문제를 해결함으로써 발생하는 가치에 중점을 두는것이 중요

비즈니스 모델 캔버스의 9가지 블록을 단순화하여 업무, 제품, 고객 단위로 문제를 발굴하고 이를 관리하는 두 가지 영역인 규제와 감사, 지원 인프라 영역에 대한 기회를 추가로 도출하는 작업 수행

 

업무	내부 프로세스 및 주요 자원
제품	제품, 서비스를 개선하기 위한 관련 주제 도출; 제품 주요기능 개선
고객	제공하는 채널의 관점에서 관련 주제 도출; 영업점 위치 최적화
규제와 감사	규제 및 보안의 관점에서 주제 도출; 제공 서비스 품질의 이상징후 관리
지원 인프라	인력의 관점에서 주제 도출; 적정 운영 인력 도출

 

분석 기회 발굴의 범위 확장

 

1. 거시적 관점 : 사회, 기술, 경제, 환경, 정치

2. 경쟁자 확대 : 대체재, 경쟁자, 신규 진입자

3. 시장니즈 탐색 : 고객, 채널, 영향자들

4. 역량의 재해석 : 내부역량, 파트너 네트워크

 

 

2. 하향식 접근법 2단계

 

비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계, 정확하게 분석의 관점으로 문제를 재정의 할 필요가 있다.

 

3. 하향식 접근법 3단계

 

데이터분석 문제를 해결하기 위한 다양한 방안이 모색된다.

 

4. 하향식 접근법 4단계

 

비용대비 편익 분석 관점의 접근 필요, 데이터 존재여부, 분석 시스템 환경, 분석역량이 필요, 비즈니스 지식과 기술적 지식 요구

 

 

상향식 접근법

답을 미리내는 why 가 아닌 사물을 있는 그대로 인식하는 what 관점에서 보아야 한다.

상향식 접근방식의 데이터 분석은 비지도 학습 방법에 의해 수행된다.

 

프로토타이핑 접근법 : 일단 분석을 시도해 보고 그 결과를 확인해 가면서 반복적으로 개선해 나가는 방법, 문제 정의가 불명확하거나 이전에 접해보지 못한 새로운 문제일 경우 프로토타입을 이용하여 문제를 이해하고, 이를 바탕으로 구체화 하는데 도움을 받을 수 있다.

 

분석과제 관리를 위한 5가지 주요 영역

Data size	분석하고자 하는 데이터의 양을 고려한 관리 방안 수립 필요
Data complexity	해당 데이터에 잘 적용될 수 있는 분석모델의 선정 고려 필요
Speed	분석 모델의 성능 및 속도를 고려한 개발 및 테스트가 수행되어야함
Analytic complexity	해석이 가능하면서도 정확도를 올릴 수 있는 최적모델 찾는 방안 모색
Accuracy & Precision	accuracy와 precision간 트레이드 오프 고려

 

분석 프로젝트 관리방안

범위/시간/원가/품질/통합/조달/자원/리스크/의사소통/이해관계자

 

포트폴리오 사분면 분석을 통한 과제 우선순위 선정

현재 시급하고 난이도가 낮은 3사분면 가장 우선적인 과제적용이 필요

전략적 중요도가 현재는 상대적으로 낮지만 중장기적으로는 미치는 영향이 크지만 바로 적용하기 어려워 2사분면 꼴지

시급성 : 3-4-2

난이도 : 3-1-2 

 

조직의 성숙도 평가 도구

- CMMI 모델

 

분석관점에서의 사분면 분석

성숙도 낮 준비도 낮 : 준비형

성숙도 낮 준비도 높 : 도입형

성숙도 높 준비도 낮 : 정착형

성숙도 높 준비도 높 : 확산형

 

마스터플랜 수립 개요

 

우선 순위 고려요소	적용범위/ 방식 고려요소
1. 전략적 중요도 2. 비즈니스 성과/ROI 3. 실행용이성	1. 업무 내재화 적용 수준 2. 분석 데이터 적용 수준 3. 기술 적용 수준

 

ROI 관점에서 빅데이터의 핵심특징

크기/다양성/속도 -> 투자비용 요소

가치 -> 비즈니스 효과

 

 

단계적 구현 로드맵

1. 데이터 분석체계 도입 : 분석 기회를 발굴하여 분석과제로 정의하고 마스터 플랜 수립

2. 데이터 분석 유효성 검증 : 비즈니스 적인 유효성과 타당성을 검증하고 기술적인 실현가능성을 검증함

3. 데이터 분석 확산 및 고도화 : 빅데이터 분석 활용시스템을 구축하고 유관시스템을 고도화함

 

데이터거버넌스

모든 제이터에 대하여 정책 및 지침, 표준화, 운영조직 및 책임 등의 표준화된 관리체계를 수립하고 운영을 위한 프레임워크 및 저장소를 구축하는것을 말함

 

마스터 데이터, 메타 데이터, 데이터 사전은 데이터 거버넌스의 중요한 관리대상이다

 

데이터 거버넌수 구성요소

원칙/조직/프로세스

 

분석을 위한 3가지 조직 구조

집중구조 : 전략적 중요도에 따라 분석조직이 우선순위를 정해서 진행가능, 현업 업무부서의 분석업무와 이중화/ 이원화 가능성 높음

 

기능구조 : 별도의 분석 조직이 없고 해당 업무부서에서 분석 수행, 전사적 핵심분석 어려움

 

분산구조 : 분석가를 현업부서로 직접 배치하려 분석 업무 수행, 분석 결과에 따른 신속한 액션 가능