Soy nuevo en kafka, he instalado kafka 10 con configuraciones predeterminadas en local. Ahora me enfrento a un problema. Estoy produciendo un mensaje del productor de la consola. Si el mensaje tiene alrededor de 4096 bytes. Luego, se consume bien por parte del consumidor de la consola. Pero cuando aumento el tamaño del mensaje de 4096 bytes, luego, al consumirlo, el mensaje se trunca a alrededor de 4096 bytes. No entiendo el problema.

Lo que está sucediendo ? a) El mensaje está publicado de forma incompleta. b) El mensaje se consume de forma incompleta.

Nota: No he realizado ningún cambio en la configuración predeterminada y estoy usando el productor y consumidor de la consola.

Por favor, alguien ayude

0
Ambika 14 dic. 2016 a las 22:38

2 respuestas

La mejor respuesta

Puede que el problema se deba a que está utilizando el productor de la consola y copiando el mensaje a la terminal (linux) pero la terminal trunca el mensaje largo a una longitud fija máxima.

4
Ambika 17 dic. 2016 a las 11:34

Probablemente necesite ajustar la configuración de su agente. Consulte esta página: https://kafka.apache.org/documentation/#brokerconfigs

Busque offset.metadata.max.bytes. El valor predeterminado es 4096. Establezca este valor en un valor superior a 4096. Si eso no funciona, busque otras configuraciones. Es probable que su problema no esté utilizando una configuración adecuada.

1
misterbaykal 17 dic. 2016 a las 11:04