Kafka在0.10.0.0版本以前的定位是分布式，分区化的，带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm，Spark Streaming，Flink等流式处理框架。

file

Storm，Spark Streaming，Flink流处理的三驾马车各有各的优势.

Storm低延迟，并且在市场中占有一定的地位，目前很多公司仍在使用。

Spark Streaming借助Spark的体系优势，活跃的社区，也占有一定的份额。

而Flink在设计上更贴近流处理，并且有便捷的API，未来一定很有发展。

file

但是他们都离不开Kafka的消息中转，所以Kafka于0.10.0.0版本推出了自己的流处理框架，Kafka Streams。Kafka的定位也正式成为Apache Kafka® is a distributed streaming platform，分布式流处理平台。

实时流式计算

近几年来实时流式计算发展迅速，主要原因是实时数据的价值和对于数据处理架构体系的影响。实时流式计算包含了 无界数据 近实时 一致性 可重复结果 等等特征。a type of data processing engine that is designed with infinite data sets in mind 一种考虑了无线数据集的数据处理引擎。

1、无限数据：一种不断增长的，基本上无限的数据集。这些通常被称为“流式数据”。无限的流式数据集可以称为无界数据，相对而言有限的批量数据就是有界数据。

2、无界数据处理：一种持续的数据处理模式，应用于上面的无界数据。批量处理数据（离线计算）也可以重复运行来处理数据，但是会有性能的瓶颈。

3、低延迟，近实时的结果：相对于离线计算而言，离线计算并没有考虑延迟的问题。

解决了两个问题，流处理可以提代批处理系统：

1、正确性：有了这个，就和批量计算等价了。

Streaming需要能随着时间的推移依然能计算一定时间窗口的数据。Spark Streaming通过微批的思想解决了这个问题，实时与离线系统进行了一致性的存储，这一点在未来的实时计算系统中都应该满足。

2、推理时间的工具：这可以让我们超越批量计算。

好的时间推理工具对于处理不同事件的无界无序数据至关重要。

而时间又分为事件时间和处理时间。

还有很多实时流式计算的相关概念，这里不做赘述。

Kafka Streams简介

Kafka Streams被认为是开发实时应用程序的最简单方法。它是一个Kafka的客户端API库，编写简单的java和scala代码就可以实现流式处理。

优势：

  • 弹性，高度可扩展，容错

  • 部署到容器，VM，裸机，云

  • 同样适用于小型，中型和大型用例

  • 与Kafka安全性完全集成
  • 编写标准Java和Scala应用程序

  • 在Mac，Linux，Windows上开发

  • Exactly-once 语义

用例：

纽约时报使用Apache Kafka和Kafka Streams将发布的内容实时存储和分发到各种应用程序和系统，以供读者使用。

Pinterest大规模使用Apache Kafka和Kafka Streams来支持其广告基础架构的实时预测预算系统。使用Kafka Streams，预测比以往更准确。

作为欧洲领先的在线时尚零售商，Zalando使用Kafka作为ESB（企业服务总线），帮助我们从单一服务架构转变为微服务架构。使用Kafka处理 事件流使我们的技术团队能够实现近乎实时的商业智能。

荷兰合作银行是荷兰三大银行之一。它的数字神经系统Business Event Bus由Apache Kafka提供支持。它被越来越多的财务流程和服务所使用，其中之一就是Rabo Alerts。此服务会在财务事件时实时向客户发出警报，并使用Kafka Streams构建。

LINE使用Apache Kafka作为我们服务的中央数据库，以便彼此通信。每天产生数亿亿条消息，用于执行各种业务逻辑，威胁检测，搜索索引和数据分析。LINE利用Kafka Streams可靠地转换和过滤主题，使消费者可以有效消费的子主题，同时由于其复杂而简单的代码库，保持易于维护性。

Topology

Kafka Streams通过一个或多个拓扑定义其计算逻辑，其中拓扑是通过流（边缘）和流处理器（节点）构成的图。

file

拓扑中有两种特殊的处理器

  • 源处理器：源处理器是一种特殊类型的流处理器，没有任何上游处理器。它通过使用来自这些主题的记录并将它们转发到其下游处理器，从一个或多个Kafka主题为其拓扑生成输入流。
  • 接收器处理器：接收器处理器是一种特殊类型的流处理器，没有下游处理器。它将从其上游处理器接收的任何记录发送到指定的Kafka主题。

在正常处理器节点中，还可以把数据发给远程系统。因此，处理后的结果可以流式传输回Kafka或写入外部系统。

Kafka在这当中提供了最常用的数据转换操作，例如