Logstash 怎样把 MySQL 数据送到 ES?
先说出你的答案
定义边界、关键机制、一个反例;P8题再补容量、失败与验证。
查看完整题解
参考回答
直接回答
JDBC input 定时执行 SQL,用 tracking_column 和 sql_last_value 记录水位,再把结果送入 ES output。用源表稳定主键作为 document_id,重复拉取才容易覆盖同一文档。先定义 ES mapping,避免自动推断错类型。
讲清原理
只按自增 ID 拉取能发现新增,发现不了老行更新和删除。更新时间水位还要处理相同时间、晚提交、时钟与事务边界;物理删除没有行可再拉。需要完整变更捕获时,应评估 binlog CDC,而不是把轮询当成等价替代。
例子与易错点
配置启用 last_run_metadata_path 持久保存进度,区分首次全量与后续增量。测试重复运行、更新、软删、失败重试和时区;重启进度丢失或 document_id 不稳,容易造成漏数据或重复文档。
和评分标准对照,你能独立回答到哪一步?
自评会安排下一次复习,不保存你的口述内容。
这道题,你掌握得怎么样?
掌握程度由你主动标记,阅读和收藏不会自动改变状态。