Token filter 怎样工作?
先说出你的答案
定义边界、关键机制、一个反例;P8题再补容量、失败与验证。
查看完整题解
参考回答
直接回答
Token filter 接收 tokenizer 产生的词项,按规则修改、删除或增加词项。比如 lowercase 改大小写,stop 去掉停用词,同义词过滤可能扩展或替换词。多个过滤器按配置顺序执行。
讲清原理
顺序会影响结果:先转小写再查小写停用词表,和先查原大小写词表可能不同。字符过滤在拆词之前处理字符流,token filter 则处理拆好的词,不能混成同一阶段。
例子与易错点
词项数量、位置甚至词图都可能改变。配置同义词时要核对过滤器的兼容性及索引/搜索侧用途,再用 _analyze 验证完整链,不能只单独测某个词。
相关题 有哪些分析器?、Tokenizer 怎么用?。
和评分标准对照,你能独立回答到哪一步?
自评会安排下一次复习,不保存你的口述内容。
这道题,你掌握得怎么样?
掌握程度由你主动标记,阅读和收藏不会自动改变状态。