Java 后端面试题库 / 全部题解免费阅读理解原理,有条理地回答

Token filter 怎样工作?

先说出你的答案

定义边界、关键机制、一个反例;P8题再补容量、失败与验证。

查看完整题解

参考回答

直接回答

Token filter 接收 tokenizer 产生的词项,按规则修改、删除或增加词项。比如 lowercase 改大小写,stop 去掉停用词,同义词过滤可能扩展或替换词。多个过滤器按配置顺序执行。

讲清原理

顺序会影响结果:先转小写再查小写停用词表,和先查原大小写词表可能不同。字符过滤在拆词之前处理字符流,token filter 则处理拆好的词,不能混成同一阶段。

例子与易错点

词项数量、位置甚至词图都可能改变。配置同义词时要核对过滤器的兼容性及索引/搜索侧用途,再用 _analyze 验证完整链,不能只单独测某个词。

相关题 有哪些分析器?、Tokenizer 怎么用?。

这道题,你掌握得怎么样?

掌握程度由你主动标记,阅读和收藏不会自动改变状态。