¡Hola, Mondo!

Spark Streaming - 스트림 처리 방식 : micro-batch- Kafka Receiver : Kafka Direct API- Fault-tolerance (장애 감내) Micro-batch: batch interval 마다 스트림 데이터를 나누어서 배치 처리하여 스트림을 배치 처리의 연속으로 처리하는 방식이다.끊임없이 들어오는 스트림 데이터를 지정한 배치 간격마다 데이터를 나누고, 나눠진 데이터를 배치 처리해서 배치 간격마다 결과가 출력된다.Spark Core는 배치 처리용으로 개발되었고, Spark Streaming은 Core에서 사용한 Operator를 그대로 활용하며, 스트림 데이터를 처리하기 위해 마이크로 배치 방식을 선택하였다.

[CentOS 7] 1. Node.js 설치 sudo yum install epel-releasesudo yum install nodejsnode --version 2. ThingPlug 회원가입 https://thingplugdev.sktiot.com 에 접속하여 회원가입시 디바이스 연동 프로토콜은 'HTTP'로 선택 3. SKT ThingPlug LoRa oneM2M Starter Kit 프로젝트 복사git clone https://github.com/SKT-ThingPlug/thingplug-lora-starter-kit.git Dependency 설치cd thingplug-lora-starter-kitnpm install config.js 수정cp config_1.js_sample config_1..

git clone --recursive https://github.com/apache/incubator-metron cd incubator-metron mvn clean package -DskipTests vagrant plugin install vagrant-hostmanager cd metron-deployment/vagrant/full-dev-platform vagrant up

Telemetry Data Source Collection: Packet Capture – 세밀한 네트워크 데이터를 구성하는 네트워크 패킷과 프레임들은 통상적으로 매우 높은 속도와 용량을 가진다. Metron는 수집된 데이터 중 타당성을 위해 investigator가 흥미를 가진 PCAP만을 파싱한다. BRO – 침입 탐지 시스템. Metron은 주로 Deep Packet Inspection (DPI) 메타 데이터 생성기로 'Bro'를 사용한다. 메타 데이터는 애플리케이션 영역의 프로토콜 (DNS, HTTP, FTP, SSH, SSL)이 있는 layer 7 까지의 네트워크 활동 정보로 구성되어 있다. Snort – 오픈 소스 네트워크 침입 방지 시스템 (NIPS); 스트리밍 Snort 데이터는 alert..

1. Apache Metron Apache Metron은 보안 리스크를 실시간으로 탐색하고 줄여주는 확장 가능 첨단 보안 분석 플랫폼을 공급하기 위해 인큐베이팅 중인 오픈 소스 아파치 프로젝트이다. Apache Metron은 사이버 보안 애플리케이션 프레임워크로써 사이버 이상징후를 감지하고, 사용자가 그것들에 빠르게 대응을 가능하게 하기 위해 다양한 보안 데이터를 받아 저장하고 처리하고, 수집하는 능력을 사용자에게 제공한다. 위 그림을 보면, Metron 프레임워크는 4가지 주요 기능을 제공한다. 1. 보안 Data Lake/Vault(저장소) - 이 플랫폼은 긴 기간동안 풍부한 Telemetry 데이터를 저장하는 비용 효율이 높은 방법을 제공한다. 이 데이터 Lake는 분석론 발견으로 나아가게 하는 엔..

*CentOS 7 0. Requirements Ansible 2.0.0.2 Vagrant 1.8.1 Virtualbox 5.0.16 Python 2.7.11 Maven 3.3.9 1. Virtual Box 설치 (5.0.16) yum install qt4-devel wget http://download.virtualbox.org/virtualbox/5.0.16/VirtualBox-5.0-5.0.16_105871_el7-1.x86_64.rpm rpm -Uvh VirtualBox-5.0-5.0.16_105871_el7-1.x86_64.rpm 2. Vagrant 설치 (1.8.1) wget https://releases.hashicorp.com/vagrant/1.8.1/vagrant_1.8.1_x86_64.r..

*Ubuntu14.04 0. Requirements Ansible 2.0.0.2 Vagrant 1.8.1 Virtualbox 5.0.16 Python 2.7.11 Maven 3.3.9 1. Virtual Box 설치 (5.0.16) wget http://download.virtualbox.org/virtualbox/5.0.16/virtualbox-5.0_5.0.16-105871~Ubuntu~trusty_amd64.deb dpkg -i virtualbox-5.0_5.0.16-105871~Ubuntu~trusty_amd64.deb 2. Vagrant 설치 (1.8.1) wget https://releases.hashicorp.com/vagrant/1.8.1/vagrant_1.8.1_x86_64.deb dpk..

gtk+ 3 install yum install gtk3-devel //centos apt-get install libgtk-3-dev //ubuntu Gtk application vi example-0.c#include static void activate (GtkApplication* app, gpointer user_data) { GtkWidget *window; window = gtk_application_window_new (app); gtk_window_set_title (GTK_WINDOW (window), "Window"); gtk_window_set_default_size (GTK_WINDOW (window), 200, 200); gtk_widget_show_all (window); } ..

*Ubuntu14.04 opensoc: 오픈소스 기반의 보안 분석 프레임워크. 비정상적인 데이터를 찾아내는 어노말리(anomaly) 탐지 및 보안사고 포렌식 플랫폼 등 다양한 기능을 갖추고 있다. 여러 오픈소스들을 통합시켜 활용하여서 패킷캡쳐 인덱스, 저장, 데이터 스트리밍 처리, 배치 처리, 실시간 검색, 집계등을 가능하게 한다.[필요사항]2 개의 네트워크 패킷 캡쳐 카드 (Napatech 사의 NT20E2-CAP 추천)아파치 Flume 1.4.0 +아파치 Kafka 0.8.1+아파치 Storm 0.9+아파치 하둡 2.X 아파치 하이브 12+ (13 권장)아파치 Hbase 0.94+Elastic Search 1.1+MySQL 5.6+ 1. opensoc-ui 1-1. LDAP 설치LDAP : 네트워크 ..