Tokenizer 怎么用?
查看完整题解
参考回答
直接回答
Tokenizer 把字符流拆成一个个词项,并给出位置等信息。每个分析器只有一个 tokenizer,前后可搭配过滤器。直接用 _analyze 的 tokenizer 参数,可以单独观察拆词效果。
讲清原理
下面按空白拆分,再把词转成小写。结果是 java、search,顺序保持不变。lowercase 是 token filter,不是第二个 tokenizer。
例子与易错点
请求发送到 POST /_analyze。分析结果可用来解释为何查询命中或漏掉,而不是只凭直觉改分词配置。
{
"tokenizer": "whitespace",
"filter": [
"lowercase"
],
"text": "Java SEARCH"
}
已有索引里历史文档不会因为你测试了新分析链就自动重分词。
这道题,你掌握得怎么样?
掌握程度由你主动标记,阅读和收藏不会自动改变状态。