[데이터허브] 데이터 흐름 톺아보기 - 데이터 코어 모듈(Data Core Module)

데이터 코어 모듈은
Data manager, Data service broker, Data streaming broker, Ingest interface, Push agent, Admin UI, Dashboard 어플리케이션으로 구성된다.

 

1. Data manger

:데이터 모델 관리, 데이터 셋 관리, 데이터 셋 플로우 관리, 데이터 접근데어 관리, 데이터 생애 주기 등의 데이터 거버넌스 담당

 

데이터셋

: 데이터의 모음. 일반적으로 비슷한 유형의 데이터가 모아져 있다. 이러한 데이터는 주제, 목적 또는 분석 목표에 따라 구성될 수 있으며 데이터의 패턴, 특성 또는 관계를 이해하고 정보를 추출하는 데 사용된다.

 

데이터 거버넌스

: 조직 내에서 데이터를 효과적으로 관리하고 제어하기 위한 전략, 정책, 프로세스 및 기술의 집합을 의미한다. 데이터 거버넌스는 데이터를 중요한 자산으로 인식하고, 데이터의 품질, 보안, 규정 준수, 접근 및 사용을 조직적으로 관리하여 데이터 자산의 가치를 극대화하고 데이터 관련 리스크를 최소화하는 것을 목표로한다.

 

 

2. Data Service Broker

: NGSI-LD API 인터페이스를 통한 데이터 수집 및 제공 담당

• 데이터 서비스 브로커는 데이터 소스와 데이터 사용자 간의 중개자 역할을 하는 시스템이다. 이 시스템은 데이터를 수집, 관리 ,그리고 필요한 곳에 제공하는 역할을 한다. NGSI-LD API 인터페이스를 통한 데이터 수집 및 제공을 담당한다.
• NGSI-LD API 인터페이스: IoT 환경에서 데이터를 교환하기 위한 표준 인터페이스이다. API는 소프트웨어 또는 시스템 간의 상호작용을 가능하게하는 도구와 규약의 집합이다. 따라서 NGSI-LD API 인터페이스는 IoT장치와 시스템 간의 데이터 교환을 위한 표준화된 방법을 제공한다.

 

3. Data Streaming Broker

:Apache Kafka 기반 메시지 큐로 데이터 셋 별 토픽 관리, 이벤트 메시지 및 통지 요청 메시지 토픽 관리. Ingest interface: 데이터 셋 별 수집 인터페이스를 제공, 데이터 셋이 사용하는 데이터 모델에 따른 데이터 검증 기능 제공, 외부 데이터 소스에 관한 인증 기능 제공

**Apache Kafka : 대용량의 실시간 데이터 스트리밍을 처리하기 위해 사용되는 오픈 소스 분산 스트리밍 플랫폼이다. Kafka는 메시지 큐 시스템의 한 형태로 메시지(데이터)를 순서대로 저장하고 필요에 따라 전달한다.

 

• 데이터 스트리밍 브로커는 실시간으로 데이터를 전송, 처리 및 관리하는 역할을 한다. 여기서 데이터 스트리밍은 지속적으로 데이터가 생성되고 그 뎅이터를 실시간으로 전송하고 처리하는 과정을 의미한다.
• 데이터 스트리밍 브로커는 Apache Kafka를 사용하여 메세지 큐 시스템을 구현한다. 
• Kafka에서 '토픽'은 메세지(데이터)를 구분하는 카테고리나 주제를 의미한다. 데이터 셋 별 토픽 관리는 각기 다른 데이터 세트를 서로 다른 토픽으로 분류하여 관리한다.
• 이벤트 메세지(시스템이나 애플리케이션에서발생하는 사건에 대한 정보)와 통지 요청 메세지(어떤 작업이나 이벤트에 대한 알림을 요청하는 메세지)를 별도의 토픽으로 관리한다는 것을 의미한다.

 

4. Push agent

: 데이터 구독 기반 NGSI-LD 통지 메시지 전송

• Push Agent는 데이터나 정보를 수신자에게 자동으로 전송하는 시스템 또는 소프트웨어 구성 요소를 의미한다. 이는 사용자나 다른 시스템이 명시적으로 요청하지 않아도 데이터를 자동으로 전송하는 '푸시'역할을 한다.
• 데이터구독 기반이란 데이터를 전송하는 방식이 구독자의 요구에 의해 결정된다는 것을 의미한다. 사용자 또는 다른 시스템이 특정 데이터에 대해 '구독'을 하면, 해당 데이터가 업데이트되거나 새로운 정보가 생길 때마다 자동으로 이를 받게 된다.
• 특정 데이터에 대해 구독한 사용자나 시스템에게 NGSI-LD 형식의 통지 메시지를 자동으로 보내는 '푸시 에이전트'의 역할을 한다.실시간 정보 통신과 자동화된 데이터 처리에 기여한다.