Java 后端面试题库 / 全部题解免费阅读理解原理,有条理地回答

Logstash 怎样把 MySQL 数据送到 ES?

先说出你的答案

定义边界、关键机制、一个反例;P8题再补容量、失败与验证。

查看完整题解

参考回答

直接回答

JDBC input 定时执行 SQL,用 tracking_column 和 sql_last_value 记录水位,再把结果送入 ES output。用源表稳定主键作为 document_id,重复拉取才容易覆盖同一文档。先定义 ES mapping,避免自动推断错类型。

讲清原理

只按自增 ID 拉取能发现新增,发现不了老行更新和删除。更新时间水位还要处理相同时间、晚提交、时钟与事务边界;物理删除没有行可再拉。需要完整变更捕获时,应评估 binlog CDC,而不是把轮询当成等价替代。

例子与易错点

配置启用 last_run_metadata_path 持久保存进度,区分首次全量与后续增量。测试重复运行、更新、软删、失败重试和时区;重启进度丢失或 document_id 不稳,容易造成漏数据或重复文档。

相关题 索引一个文档时发生了什么?、能手动定义 mapping 吗?。

这道题,你掌握得怎么样?

掌握程度由你主动标记,阅读和收藏不会自动改变状态。