Java 后端面试题库 / 全部题解免费阅读理解原理,有条理地回答

Tokenizer 怎么用?

先说出你的答案

定义边界、关键机制、一个反例;P8题再补容量、失败与验证。

查看完整题解

参考回答

直接回答

Tokenizer 把字符流拆成一个个词项,并给出位置等信息。每个分析器只有一个 tokenizer,前后可搭配过滤器。直接用 _analyze 的 tokenizer 参数,可以单独观察拆词效果。

讲清原理

下面按空白拆分,再把词转成小写。结果是 java、search,顺序保持不变。lowercase 是 token filter,不是第二个 tokenizer。

例子与易错点

请求发送到 POST /_analyze。分析结果可用来解释为何查询命中或漏掉,而不是只凭直觉改分词配置。

{
  "tokenizer": "whitespace",
  "filter": [
    "lowercase"
  ],
  "text": "Java SEARCH"
}

已有索引里历史文档不会因为你测试了新分析链就自动重分词。

相关题 有哪些分析器?、Token filter 怎样工作?。

这道题,你掌握得怎么样?

掌握程度由你主动标记,阅读和收藏不会自动改变状态。