Coding Planet

1. 데이터 레이크란? 데이터 레이크는 모든 규모의 정형, 비정형 및 비정형 데이터를 저장할 수 있는 중앙 집중식 리포지토리입니다. 먼저 데이터를 구조화하지 않고도 데이터를 있는 그대로 저장할 수 있고(원시 데이터, raw data) 대시보드 및 시각화에서 빅 데이터 처리, 실시간 분석, 기계 학습에 이르기까지 다양한 유형의 분석을 실행하여 더 나은 의사 결정을 내릴 수 있도록 안내합니다. 원시 데이터란 데이터를 특정 목적을 위해 처리(스키마)하지 않고 원래 그대로 형태 그대로 저장한다는 뜻이다. 종류 형태 연산가능 예 정형 데이터 O O 엑셀’ 같은 스프레드시트에 저장되는 형태, 수치, 기호, 도형 등 반정형 데이터 O X 메일 등 통신 내용 기록 같은 로그 등 비정형 데이터 X X 인터넷 댓글, 영상..

데이터 코어 모듈은 Data manager, Data service broker, Data streaming broker, Ingest interface, Push agent, Admin UI, Dashboard 어플리케이션으로 구성된다. 1. Data manger :데이터 모델 관리, 데이터 셋 관리, 데이터 셋 플로우 관리, 데이터 접근데어 관리, 데이터 생애 주기 등의 데이터 거버넌스 담당 데이터셋 : 데이터의 모음. 일반적으로 비슷한 유형의 데이터가 모아져 있다. 이러한 데이터는 주제, 목적 또는 분석 목표에 따라 구성될 수 있으며 데이터의 패턴, 특성 또는 관계를 이해하고 정보를 추출하는 데 사용된다. 데이터 거버넌스 : 조직 내에서 데이터를 효과적으로 관리하고 제어하기 위한 전략, 정책, 프로..