归一化词元 | Elasticsearch: 权威指南 | Elastic
2025-04-19
请注意:
本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。
本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。
归一化词元编辑
把文本切割成词元(token)只是这项工作
的一半。为了让这些词元(token)更容易搜索, 这些词元(token)需要被 归一化(normalization)--这个过程会去除同一个词元(token)的无意义差别，例如大写和小写的差别。可能我们还需要去掉有意义的差别, 让 esta`、`ésta 和 está 都能用同一个词元(token)来搜索。你会用 déjà vu 来搜索，还是 deja vu?
这些都是语汇单元过滤器的工作。语汇单元过滤器接收来自分词器(tokenizer)的词元(token)流。还可以一起使用多个语汇单元过滤器，每一个都有自己特定的处理工作。每一个语汇单元过滤器都可以处理来自另一个语汇单元过滤器输出的单词流。
Getting Started Videos
官方地址：https://www.elastic.co/guide/cn/elasticsearch/guide/current/token-normalization.html
IT
PHP
编程语言
开发编程
Linux
科技
Elasticsearch
HTML/CSS/XML
面试
数据库
网络
JAVA
NoSQL
C/C++
Golang
Git
算法
操作系统
正则表达式
Redis
互联网
MySql
JavaScript
运维
软件
国际
架构设计
Mac OS
TCP/IP
Excel
Windows
Vim
Socket
Oracle
VR
MongoDB
Python
运营
MemCache
商业
硬件
电子
娱乐
设计
nginx
摄影
游戏
WordPress
HTTP
团建
数码电器
Docker
广告
广告
Elasticsearch是做什么的以及它的使用和基本原理
Elasticsearch集群模式知多少
携程Elasticsearch数据同步实践
Elasticsearch简介与实战
elasticsearch动态映射
如何配置使用Elasticsearch的动态映射 (dynamic mapping)
elasticsearch配置
elasticsearch集群部署文档
两节点Elasticsearch集群
elasticsearch集群分布式特性
Elasticsearch集群高亮搜索
elasticsearch出现只读索引如何操作 blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];')
elasticsearch最新版安装
ElasticSearch自带的分词类型
ElasticSearch更新后延迟解决方法
Elasticsearch 7 : 使用 ignore_above 限制字符串长度
[Elasticsearch] 多字段搜索 (三) - multi_match查询和多数字段
Elasticsearch 5集群IK+pinyin分词配置详解
es-ik插件安装
Elasticsearch－基础介绍及索引原理分析