Actualmente estoy ejecutando Prometheus, que escribe métricas en un punto final.

Estoy experimentando 429 problemas de memoria insuficiente y veo el siguiente mensaje de error:

server returned HTTP status 429 Too Many Requests: per-metric series limit (local limit: 0 global limit: 20000 actual local limit: 12000

Creo que esto se debe a que se sobrepasa el límite local. ¿Dónde se establece el límite local?

Intenté verificar la documentación de Prometheus y el gráfico de timón de Prometheus, sin embargo, ninguno tiene una referencia sobre cómo se establece el límite local y cómo haría para aumentarlo.

¿Dónde se determina el límite local?

¿Es posible aumentar esto de alguna manera?

1
fuzzi 23 feb. 2021 a las 00:54

2 respuestas

La mejor respuesta

Prometheus no debería informarlo. Como puedo encontrar, es probable que esté utilizando Cortex para almacenamiento a largo plazo, y se informa aquí:

https://github.com/cortexproject/cortex/blob/ff0d52e6d2a3b1be11c4111604fe5f79c892c967/pkg/ingester/limiter.go#L13

Y podría configurarse mediante el archivo de configuración aquí https://cortexmetrics.io/docs/configuration/ archivo de configuración /, organización con CLI -ingester.max-global-series-per-metric

2
PapEr 25 feb. 2021 a las 07:54

Probablemente desee verificar la configuración de su trabajo y el valor que tiene para sample_limit.
Puede encontrar la documentación aquí

Si tiene más muestra que el límite, se omitirá el scrape completo.

1
barny 25 feb. 2021 a las 12:24