归一化词元 | Elasticsearch: 权威指南 | Elastic
2024-11-14
请注意:
本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。
本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。
归一化词元编辑
把文本切割成词元(token)只是这项工作
的一半。为了让这些词元(token)更容易搜索, 这些词元(token)需要被 归一化(normalization)--这个过程会去除同一个词元(token)的无意义差别，例如大写和小写的差别。可能我们还需要去掉有意义的差别, 让 esta`、`ésta 和 está 都能用同一个词元(token)来搜索。你会用 déjà vu 来搜索，还是 deja vu?
这些都是语汇单元过滤器的工作。语汇单元过滤器接收来自分词器(tokenizer)的词元(token)流。还可以一起使用多个语汇单元过滤器，每一个都有自己特定的处理工作。每一个语汇单元过滤器都可以处理来自另一个语汇单元过滤器输出的单词流。
Getting Started Videos
官方地址：https://www.elastic.co/guide/cn/elasticsearch/guide/current/token-normalization.html
IT
PHP
编程语言
Linux
开发编程
科技
Elasticsearch
HTML/CSS/XML
网络
JAVA
NoSQL
数据库
面试
C/C++
Golang
Git
算法
操作系统
正则表达式
Redis
互联网
MySql
JavaScript
运维
软件
国际
架构设计
Mac OS
TCP/IP
Excel
Vim
Windows
Socket
Oracle
VR
MongoDB
Python
运营
MemCache
商业
硬件
电子
娱乐
设计
nginx
摄影
游戏
WordPress
HTTP
团建
数码电器
广告
--
Elasticsearch集群模式知多少
Elasticsearch是做什么的以及它的使用和基本原理
携程Elasticsearch数据同步实践
Elasticsearch简介与实战
如何配置使用Elasticsearch的动态映射 (dynamic mapping)
elasticsearch动态映射
elasticsearch配置
elasticsearch集群部署文档
两节点Elasticsearch集群
Elasticsearch集群高亮搜索
elasticsearch出现只读索引如何操作 blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];')
elasticsearch集群分布式特性
elasticsearch最新版安装
ElasticSearch更新后延迟解决方法
ElasticSearch自带的分词类型
ElasticSearch集群中的分片查询方式
elasticsearch集群新机搭建
es 相关配置文件
Elasticsearch Mapping设置
Elasticsearch－基础介绍及索引原理分析