kafka采用Consumer消费者Pull主动拉取数据的方式,当Broker无数据时,消费者空转 。Kafka并不删除已消费的消息,各自独立的消费者可消费同一个Broker分区数据 。
消费流程1、消费者发起网络消费请求
- # 每批次最小抓取设置(推荐1字节)
- fetch.min.bytes
- # 每批次最大抓取大小设置(推荐500ms)
- fetch.max.bytes
- # 未达到大小的超时设置(推荐50M)
- fetch.max.wait.ms
- # 单次拉取最大消息条数设置(推荐500条)
- max.poll.records
2.2、拦截器处理(如:汇总统计记录)
3、数据的后续处理保存等的消费端动作 。
offset当一个消费者挂掉或重启后,是否还记得消费到的位置了?offset解决了此问题 。
对于每一个topic,都会维持一个分区日志,分区中的每一个记录都会分配一个Id来表示顺序,称之为offset,offset用来唯一的标识分区中每条记录,并将每次的消费位置提交到topic中 。消费者恢复启动后接着按序消费数据 。
自动提交
- # 开启自动提交
- enable.auto.commit = true
- # 每次提交间隔(推荐5秒)
- auto.commit.interval.ms = 5000
- # 同步提交,等提交完成才可下一次再消费
- .CommitSync
- # 异步提交,可直接进行下一个消费,也有可能提交失败
- .CommitAync
- # 按指定时间得出offset值
- .offsetsForTimes
- # 按指定offset值继续消费
- .seek