一、Kafka 的工作原理

Kafka 通过以下五个核心功能实现流式事件处理：

1、发布

数据源可以将数据事件流发布到或放入一个或多个 Kafka 主题，或类似的数据事件分组中。例如，您可以从物联网设备（例如网络路由器）获取数据流，然后将其发布到进行预测性维护的应用中，以计算该路由器何时可能发生故障。

2、使用

应用可以订阅一个或多个 Kafka 主题，从中获取数据，并处理生成的数据流。例如，一个应用可以从多个社交媒体流中获取数据，并对其进行分析，以确定关于一个品牌的在线对话的基调。

3、处理

Kafka Streams API 可以作为流处理器，使用来自一个或多个主题的传入数据流，并生成向一个或多个主题发布的传出数据流。

4、连接

您还可以构建可重复使用的生产者或使用者连接，以关联 Kafka 主题与现有应用。目前已经有数百个可用的连接器，包括连接 Dataproc、BigQuery 等关键服务的连接器。

5、存储

Apache Kafka 可提供持久的存储服务。Kafka 可以作为“真实来源”，将数据分布在多个节点上，以实现单个数据中心内或多个可用区的高可用性部署。

二、Kafka 作为代管式服务

尽管 Kafka 具有许多优点，但要部署这项技术仍然很有挑战性。本地 Kafka 集群在生产过程中很难建立、扩容和管理。在搭建本地基础架构以运行 Kafka 时，您需要预配机器并配置 Kafka。您还必须设计分布式机器集群以确保可用性、确保数据的存储和安全、设置监控，并谨慎地为数据扩容以支持负载变化。然后，您必须维护基础设施，在机器出现故障时更换机器，并进行例行修补和升级。

另一种方法是将 Kafka 作为云中的代管式服务。第三方供应商负责预配、构建和维护 Kafka 基础架构。您负责构建及运行应用。这使您无需具备特定的 Kafka 基础架构管理专业知识就能轻松部署 Kafka，减少在管理基础架构上耗费的时间，把更多时间投入到创造业务价值上。

以上就是关于Kafka 的工作原理以及Kafka 作为代管式服务的全部内容了，希望对你有所帮助。

上一篇

机器翻译有哪些使用场景?

下一篇

什么是 OpenTelemetry?