Spark Streaming

Spark Streaming

---

- 스트림 처리 방식 : micro-batch

- Kafka Receiver : Kafka Direct API

- Fault-tolerance (장애 감내)

Micro-batch

: batch interval 마다 스트림 데이터를 나누어서 배치 처리하여 스트림을 배치 처리의 연속으로 처리하는 방식이다.

끊임없이 들어오는 스트림 데이터를 지정한 배치 간격마다 데이터를 나누고, 

나눠진 데이터를 배치 처리해서 배치 간격마다 결과가 출력된다.

Spark Core는 배치 처리용으로 개발되었고, Spark Streaming은 Core에서 사용한 Operator를 그대로 활용하며, 

스트림 데이터를 처리하기 위해 마이크로 배치 방식을 선택하였다.