Kafka消息丢失-原因/解决方案/零丢失的配置

简介

本文介绍Kafka什么时候消息会丢失、保证消息不丢失的解决方案、消息零丢失的配置。

Kafka的消息丢失是消息异常中的一种。其他异常还有：消息重复、顺序性、消息堆积等。本文只介绍消息丢失这种消息异常。

Kafka消息在生产者、Broker、消费者 都可能丢失。

生产者丢失消息

情景1：消息太大

描述

消息大小超过Broker的message.max.bytes的值。此时Broker会直接返回错误；

解决方案 

1. 指定消息的大小

Producer的max.requests.size表示生产者发送的单个消息的最大值，也可以指单个请求中所有消息的总和大小。此值必须小于Broker的message.max.bytes。