Apache Metron 기능적 테마

 

Telemetry Data Source Collection:

• Packet Capture – 세밀한 네트워크 데이터를 구성하는 네트워크 패킷과 프레임들은 통상적으로 매우 높은 속도와 용량을 가진다. Metron는 수집된 데이터 중 타당성을 위해 investigator가 흥미를 가진 PCAP만을 파싱한다.
• BRO – 침입 탐지 시스템. Metron은 주로 Deep Packet Inspection (DPI) 메타 데이터 생성기로 'Bro'를 사용한다. 메타 데이터는 애플리케이션 영역의 프로토콜 (DNS, HTTP, FTP, SSH, SSL)이 있는 layer 7 까지의 네트워크 활동 정보로 구성되어 있다.
• Snort – 오픈 소스 네트워크 침입 방지 시스템 (NIPS); 스트리밍 Snort 데이터는 alerts(경고)를 생산한다. 그 alerts는 커뮤니티 규칙에서의 시그니쳐에 기반하여 발생된다. Metron은 Snort에게 패킷 캡쳐의 출력을 수행하고, Snort alerts가 트리거될때마다 Metron은 Kafka topic에게 그 alerts를 송신하도록 Apache Flume을 사용한다.
• YAF (NetFlow) – 요약된 PCAP 데이터. Metron은 raw 패킷 대신에 IPFIX(NetFlow) 로 알려진 요약된 데이터를 생성시키는 데에 Yet Another Flowmeter (YAF)를 사용한다.
• Grok Framework – 새로운 parsing 토폴로지를 작성하지 않고도 Metron에게 새로운 데이터 source들을 추가할 수 있는 능력을 제공한다.

Real-time Data Processing

Metron은 바로 사용가능한 stream인 데이터 source 집합을 플랫폼으로 수집하고 파싱합니다.

이것들은 수집 및 차세대 분석을 수행하는 데 사용할 수 있는 가치있고 세분화된 데이터를 보여준다.

A set of Storm Topologies that comes out of the box for normalization, enrichment, and cross-reference with intel feeds, alerting and more

• Enrichment Services: Apache Metron has a framework that supports bulk load, as well as polling from streaming data. Here is an example of an enrichment service in Metron:
  • GeoIP: Add Tags on GeoIP to any external IP address. This can be applied both to alerts, as well as metadata telemetries to help map them to a geo location
  • Host: Enriches IP with Host Details
• Threat Intel Services
  • Soltra: Threat Intel Aggregator
  • Hail a Taxii: Repository of Open Source Threat Intelligence feeds in STIX format
• Alerting Services
  • Alerts can be fired via a Snort event or Intel Threat feed hit
  • Indexing Services via Elastic Search
• Storage Services
  • Persisting all enrichment telemetry data in HDFS and/or HBase

This real-time data processing gathers cybersecurity insights to detect patterns related to insider misuse, suspicious behavior, miscellaneous errors, web app attacks, Denial of Service Attacks, and cyber-espionage.

http://ko.hortonworks.com/apache/metron/#section_4