Mi Logstash envía el registro a ElasticSearch, en el archivo de salida de Logstash veo que se envían nuevos registros, pero no se muestran cuando se hace clic en actualizar en la página Kibana Discover. La página Descubrir muestra registros de hace aproximadamente 1 hora.

¿Qué podría causar este problema? ¿Hay alguna forma de verificar si un registro está en ElasticSearch en lugar de usar Kibana?

La marca de tiempo en mi archivo de registro es así: [2020-09-02 13: 53: 07,392Z]

Aquí está el pipeline.yml que usa mi logstash:

input {
    #stdin {}
    beats {
        port => "5055"
    }
    # file {
}
filter {
    grok {
        patterns_dir => "C:\logstash-7.4.2\patterns"
        match => { "message" => "^\[%{TIMESTAMP_ISO8601:timestamp}\]\[%{LOGLEVEL:level}\]\[%{Thread:thread}\]\[%{JAVACLASS:class}\](\[\d*\])? %{GREEDYDATA:msg}" }
   }
   if "_grokparsefailure" in [tags] {
       drop{}
   }
}
output {
    file {
        path => "C:\logstash-7.4.2\logstash_output.txt"
    }
    elasticsearch {
        hosts => [ "localhost:9200" ]
        index => "ts_services-%{+YYYY.MM.dd}"
    }
}

Veo los registros más recientes después de eliminar el patrón de índice existente y crear uno nuevo. Pero no creo que esta sea la solución.

0
user1532146 24 ago. 2020 a las 01:13

1 respuesta

La mejor respuesta

Para seguir la discusión en los comentarios. El problema aquí es muy común.

El patrón de índice en Kibana fue muy específico:

ts_services-2020-08*

Entonces, los datos de septiembre fueron ignorados por Kibana, incluso si están en Elasticsearch.

Cambiar el patrón de índice de Kibana solucionará el problema:

ts_services*

Pero tendrá que corregir todas las visualizaciones personalizadas.

1
Jaycreation 3 sep. 2020 a las 06:23