Kafka使用介绍
kafka是什么？
kafka是一个分布式消息数据流平台，为处理实时数据提供一个统一、高吞吐、低延迟的平台。其本质是一个提供大规模分布式发布/订阅的消息队列，此外kafka还可以通过kafka connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams–一个Java的流式处理库。
它的2个大的应用： 1，构建实时的流数据管道，确保系统和应用之间数据传输的可靠 2，对应用之间的数据流进行转换和反应。
基本概念
- Topic kafka将消息分门别类，每一类消息称之为一个主题（Topic） 每个消息（也叫记录recode）是由一个key，一个value和时间戳构成
- Producer 发布消息的对象称之为主题生产者。
- Consumer 订阅消息的对象称之为主题消费者
- Broker 已发布的消息保存在一组服务器中，称之为Kafka集群，集群中每一个服务器都是一个代理（Broker），消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些发布的消息。
kafka的核心API
- Producer API：允许应用发布一个或多个kafka主题
- Consumer API：允许应用订阅一个或多个kafka主题
- Streams API：转换数据流，将一个或多个主题的数据流转换为一个或多个主题的数据流输出
- Connector API： 允许构建可以重复使用的生产者和消费者，将topic连接到现有的应用或数据系统上，例如，一个建立在数据库上的连接可以捕获表的每一次修改。
kafka的主题（Topic）和日志
topic可理解是一类消息的集合，在kafka中，topic是可以被多个订阅者来消费的 每个topic，kafka包含了一组分区数据，叫partition，如下：
每一个partition是一个有序、不可变的序列记录，每个记录都有一个唯一的序列ID叫offset。 当消息记录被Consumer消费后，这些记录不会被删除，kafka提供了一些配置，比如：按日期、按空间来定时删除记录。 kafka分区有两个目的，一是它便于扩展，不受单个服务器的限制，二是，它可以并行接受和处理多个任务。
分布式
每一个partition日志被分布在kafka的集群服务器上，并且可配置每个parition可重复的份数。 每个partition有一个leader，零个或多个follower，正常情况下leader负责所有的读写请求，而follower负责同步leader上的数据，当leader不可用时，follower会选举一个新的leader替代原来老的leader。
生产者
生产者负责选择一个topic发布消息，同时指定发布到哪一个partition上，最简单的方式是按照partition轮询，也可指定按权重指定。
消费者
消费者有叫一个组（group）的概念，比如多个消费者属于同一个组，那么他们将一起消费这个topic的数据，如下图：
一个kafka集群有两台服务器，4个partition，有两个分组A和B，A有2个消费者，B有4个消费者， 每个partition可以保证数据记录的顺序性，但客户端如果是并行处理，如groupA，C1同时消费P0、P3就可能照成数据顺序错乱的问题，如果要保证数据的一致性，那么顺序处理一个Topic的所有消息，那么就只提供一个分区。
kafka保证
- 生产者发送到topic的消息会按照他们发送的顺序保存，如果消息M1、M2被同一个producer发送，当M1被先发送，那么它的offset值将会小于M2的
- 消费者看到的数据也是根据他们保存的顺序
- 如果一个topic配置了复制因数N，kafka集群将最大允许N-1台服务器同步失败。
Kafka和传统的消息系统之间的区别
- 结合传统的优点：传统的消息系统分：队列和发布订阅两种模式，队列可以允许多个消费者同时瓜分数据，而发布订阅模式，会将消息通知到每一消费者。kafka结合了这两个模式的优点，当在kafka中，多个消费者的组ID设置为一样时，那么将采用队列的模式，如果组ID不同，则采用发布订阅模式。
- 更强的顺序性保证：kafka中引入分区功能，一个topic可有多个分区，分区中保证了顺序的一致性，如果启动多个消费者，kafka保证每个消费者只会读取一个分区中的数据，当有多于分区数的消费者，那么这个消费者将一直处于空等待，不会收到任何消息
kafka的存储性能
kafka作为一个消息存储器，他会将消息写入到磁盘，并通过复制镜像，来保证容错。kafka允许所有的写入操作完成后再继续操作。因为kafka中保持了一个指针的方式，在存储50KB和50TB，其性能都是一样的。kafka通过这种指针读取数据，所以数据的大小，不会影响其读写性能。
kafka的流处理
kafka不仅提供了读、写、存储，还提供了对数据流进行处理，比如：一个零售APP，kafka可以从输入topic读取数据，然后使用StreamAPI统计数量，调整价格然后输出到topic中，类似的操作还包括聚合计算、数据流连接等。