일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- MVC
- golang
- 리눅스
- django
- apache spark
- ThingPlug
- Notepad++
- centos
- Linux
- Docker
- GTK
- VNC
- IOT
- Windows 10
- Cisco
- Big-Data
- gns3
- Python
- OpenSOC
- HTML
- Apache Metron
- db
- ubuntu
- maven
- DBMS
- 그래픽카드
- 오버워치
- Today
- Total
¡Hola, Mondo!
Spark Streaming - 스트림 처리 방식 : micro-batch- Kafka Receiver : Kafka Direct API- Fault-tolerance (장애 감내) Micro-batch: batch interval 마다 스트림 데이터를 나누어서 배치 처리하여 스트림을 배치 처리의 연속으로 처리하는 방식이다.끊임없이 들어오는 스트림 데이터를 지정한 배치 간격마다 데이터를 나누고, 나눠진 데이터를 배치 처리해서 배치 간격마다 결과가 출력된다.Spark Core는 배치 처리용으로 개발되었고, Spark Streaming은 Core에서 사용한 Operator를 그대로 활용하며, 스트림 데이터를 처리하기 위해 마이크로 배치 방식을 선택하였다.
Json data -> Struct ( 혹은 interface{} ) : json 데이터를 struct로 변환할 때는 Unmarshal 메소드 혹은 Decode 메소드를 사용한다. Unmarshal vs Decode json.Unmarshal1. byte[] 를 입력으로 가질때 2. 메모리를 효율적으로 사용해야할 때 (Decode 메소드는 전체 json 데이터를 메모리에 버퍼링하기 때문에 비효율적) decoder.Decode1. io.reader (file, HTTP request) 를 입력으로 가질때 2. json 데이터가 stream 으로 들어올때 (여러개의 json 데이터 값이 붙어서 들어올때) JSON Parsing emp.json{ "employees":[ { "firstName":"John",..
[CentOS 7] 1. Node.js 설치 sudo yum install epel-releasesudo yum install nodejsnode --version 2. ThingPlug 회원가입 https://thingplugdev.sktiot.com 에 접속하여 회원가입시 디바이스 연동 프로토콜은 'HTTP'로 선택 3. SKT ThingPlug LoRa oneM2M Starter Kit 프로젝트 복사git clone https://github.com/SKT-ThingPlug/thingplug-lora-starter-kit.git Dependency 설치cd thingplug-lora-starter-kitnpm install config.js 수정cp config_1.js_sample config_1..