logstash 过滤器选项中的指纹无法正常工作?

分享于2022年07月17日 elasticsearch elk filter fingerprint logstash 问答
【问题标题】:logstash 过滤器选项中的指纹无法正常工作?(fingerprint in logstash filter option not working properly?)
【发布时间】:2022-01-22 12:11:04
【问题描述】:

我使用了下面的代码,但它只向 ES 插入了一条记录。

filter {
  fingerprint {
    target => "document_id"
    method => "SHA256"
    key => "9ced3827c6a1c9dafac6da9abac41386ba1038ac95b3a865a0951bc2e948c58c"
  }
}

output {
  elasticsearch {
    host => localhost
    document_id => "%{document_id}"
  }
}

请指出下面的错误,我的 sql 中有大约 200k 记录,我正在导入到 ES。我想要使​​用此指纹的每条记录的唯一 ID。

  • 请不要在这里使用“lac”之类的印度词。还有其他地方的人,他们不会理解你的。
  • @AnjaliKushwaha 仅供参考,与其他网站不同,您无法在 SO 上 ping/标记其他用户

【解决方案1】:

fingerprint filter 的默认来源是 message 字段。你确定你有这个字段吗?