elasticsearch组件介绍(elasticsearch 插件开发)

ElasticSearch 分词器，了解一下

这篇文章主要来介绍下什么是 Analysis ，什么是分词器，以及 ElasticSearch 自带的分词器是怎么工作的，最后会介绍下中文分词是怎么做的。

首先来说下什么是 Analysis：

顾名思义，文本分析就是 把全文本转换成一系列单词（term/token）的过程 ，也叫 分词 。在 ES 中，Analysis 是通过 分词器（Analyzer） 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。

举一个分词简单的例子：比如你输入 Mastering Elasticsearch ，会自动帮你分成两个单词，一个是 mastering ，另一个是 elasticsearch ，可以看出单词也被转化成了小写的。

再简单了解了 Analysis 与 Analyzer 之后，让我们来看下分词器的组成：

分词器是专门处理分词的组件，分词器由以下三部分组成：

同时 Analyzer 三个部分也是有顺序的，从图中可以看出，从上到下依次经过 Character Filters ， Tokenizer 以及 Token Filters ，这个顺序比较好理解，一个文本进来肯定要先对文本数据进行处理，再去分词，最后对分词的结果进行过滤。

其中，ES 内置了许多分词器：

接下来会对以上分词器进行讲解，在讲解之前先来看下很有用的 API： _analyzer API ：

它可以通过以下三种方式来查看分词器是怎么样工作的：

再了解了 Analyzer API 后，让我们一起看下 ES 内置的分词器：

首先来介绍下 Stamdard Analyzer 分词器：

它是 ES 默认的分词器 ，它会对输入的文本 按词的方式进行切分 ，切分好以后会进行 转小写 处理， 默认的 stopwords 是关闭的 。

下面使用 Kibana 看一下它是怎么样进行工作的，在 Kibana 的开发工具（Dev Tools）中指定 Analyzer 为 standard ，并输入文本 In 2020, Java is the best language in the world. ，然后我们运行一下：

运行结果如下：

可以看出是按照空格、非字母的方式对输入的文本进行了转换，比如对 Java 做了转小写，对一些停用词也没有去掉，比如 in 。

其中 token 为分词结果； start_offset 为起始偏移； end_offset 为结束偏移； position 为分词位置。

下面来看下 Simple Analyzer 分词器：

它只包括了 Lower Case 的 Tokenizer ，它会按照 非字母切分 ， 非字母的会被去除 ，最后对切分好的做 转小写 处理，然后接着用刚才的输入文本，分词器换成 simple 来进行分词，运行结果如下：

从结果中可以看出，数字 2020 被去除掉了，说明非字母的的确会被去除，所有的词也都做了小写转换。

现在，我们来看下 Whitespace Analyzer 分词器：

它非常简单，根据名称也可以看出是 按照空格进行切分 的，下面我们来看下它是怎么样工作的：

可以看出，只是按照空格进行切分， 2020 数字还是在的， Java 的首字母还是大写的， , 还是保留的。

接下来看 Stop Analyzer 分词器：

它由 Lowe Case 的 Tokenizer 和 Stop 的 Token Filters 组成的，相较于刚才提到的 Simple Analyzer ，多了 stop 过滤，stop 就是会把 the ， a ， is 等修饰词去除，同样让我们看下运行结果：

可以看到 in is the 等词都被 stop filter 过滤掉了。

接下来看下 Keyword Analyzer ：

它其实不做分词处理，只是将输入作为 Term 输出，我们来看下运行结果：

我们可以看到，没有对输入文本进行分词，而是直接作为 Term 输出了。

接下来看下 Pattern Analyzer ：

它可以通过 正则表达式的方式进行分词 ，默认是用 \W+ 进行分割的，也就是非字母的符合进行切分的，由于运行结果和 Stamdard Analyzer 一样，就不展示了。

ES 为不同国家语言的输入提供了 Language Analyzer 分词器，在里面可以指定不同的语言，我们用 english 进行分词看下：

可以看出 language 被改成了 languag ，同时它也是有 stop 过滤器的，比如 in , is 等词也被去除了。

最后，让我们看下中文分词：

中文分词有特定的难点，不像英文，单词有自然的空格作为分隔，在中文句子中，不能简单地切分成一个个的字，而是需要分成有含义的词，但是在不同的上下文，是有不同的理解的。

比如以下例子：

那么，让我们来看下 ICU Analyzer 分词器，它提供了 Unicode 的支持，更好的支持亚洲语言！

我们先用 standard 来分词，以便于和 ICU 进行对比。

运行结果就不展示了，分词是一个字一个字切分的，明显效果不是很好，接下来用 ICU 进行分词，分词结果如下：

可以看到分成了 各国 ， 有 ， 企业 ， 相继 ， 倒闭 ，显然比刚才的效果好了很多。

还有许多中文分词器，在这里列举几个：

IK ：

jieba ：

THULAC ：

大家可以自己安装下，看下它中文分词效果。

本文主要介绍了 ElasticSearch 自带的分词器，学习了使用 _analyzer API 去查看它的分词情况，最后还介绍下中文分词是怎么做的。

ElastAlert-介绍

它通过将Elasticsearch与两种类型的组件（规则类型和警报）结合使用。定期查询Elasticsearch，并将数据传递到规则类型，该规则类型确定找到任何匹配项。发生匹配时，它会发出一个或多个警报，这些警报根据不同的类型采取相应的措施。

ElastAlert由一组规则配置，每个规则定义一个查询，一个规则类型和一组警报。

ElastAlert具有三个主要组件（规则类型、警报、增强），可以作为模块导入和定制。

可以在调试模式下运行ElastAlert，也可以使用elastalert-test-rule（该脚本可以简化测试的各个方面）

功能：

参数：

有两种运行ElastAlert的方法。作为守护程序或直接与Python一起使用（$ python3 elastalert/elastalert.py）。

参数：

详细请看源码文件elastalert/schema.yaml

每个规则都可以附加任何数量的警报。每个警报器的选项既可以定义在yaml文件，也可以嵌套在警报名称中，允许同一警报器的多个不同设置。

示例：

ElastAlert使用Elasticsearch来存储有关其状态的各种信息。这不仅可以对ElastAlert的操作进行某种程度的审核和调试，还可以避免在ElastAlert关闭，重新启动或崩溃时丢失数据或重复警报。Elasticsearch群集和索引信息在全局配置文件中使用es_host，es_port和writeback_index进行定义。ElastAlert必须能够写入此索引。脚本elastalert-create-index将为您创建具有正确映射的索引，并可以选择从现有ElastAlert回写索引中复制文档。

ElastAlert将在回写索引（writeback index）中创建三种不同类型的文档。

elastalert_status是ElastAlert在确定其首次开始时要使用的时间范围，以避免重复查询。对于每个规则，它将从最近的结束时间开始查询。如果ElastAlert在调试模式下运行，它仍将通过查找最近执行的搜索来尝试基于其开始时间，但不会将任何查询的结果写回到Elasticsearch。

ElastAlert

elastalert搭建

ElastAlert安装与使用

[Rule Filters说明](

kibana和elasticsearch head 插件的区别

一、elasticsearch-head插件介绍

elasticsearch-head是一个用来浏览、与Elastic Search簇进行交互的web前端展示插件。

elasticsearch-head是一个用来监控Elastic Search状态的客户端插件。（摘自：《实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案》）

elasticsearch-head插件主要用途：

elasticsearch主要有以下三个主要操作——

1）簇浏览，显示簇的拓扑并允许你执行索引（index)和节点层面的操作。

2）查询接口，允许你查询簇并以原始json格式或表格的形式显示检索结果。

3）显示簇状态，有许多快速访问的tabs用来显示簇的状态。

4）支持Restful API接口，包含了许多选项产生感兴趣的结果，包括：

第一，请求方式:get,put,post,delete; json请求数据，节点node， 路径path。

第二，JSON验证器。

第三，定时请求的能力。

第四，用JavaScript表达式传输结果的能力。

第五，统计一段时间的结果或该段时间结果比对的能力。

第六，以简单图标的形式绘制传输结果。

聊聊elasticsearch7.8的模板和动态映射

最近想写一篇es的索引的一个设计，由于设计的东西特别多，当然，elasticsearch的模板和动态映射也是其中的一个设计点，所以干脆先来聊聊索引的模板和动态映射，模板，听这个名字就相当于一些公共可用的东西可以作为所有索引的一个设置，

1.1、elasticsearch模板介绍

这里说明下，elasticsearch7.8的模板接口发生了一些变化，_template接口将在后期被废弃（虽然还能使用，不推荐），所以本文不介绍这个接口。既然有废弃的那肯定有新的方式来玩模板了。

最详细接介绍看官网：

现在模板分为两种模板，一个索引模板（index templates ），一个是组件模板（component templates），索引模板是告诉Elasticsearch如何在创建索引时配置索引的一种方法。模板是在创建索引之前配置的，当手动或通过索引文档创建索引时，模板的基础设置将用作创建索引。组件模板是可重用的构建块，用于配置映射、设置和别名。使用组件模板来构造索引模板，组件模板不能直接应用于索引。索引模板可以包含组件模板的集合，也可以直接指定设置、映射和别名。组件模板的接口是： _component_template ，而索引模板的接口是： _index_template ，下面来个官方的例子，可以明显的看出来组件模板component_template1和other_component_template被索引模板通过参数composed_of被引用，所以索引模板template_1既包括自己的设置，又包括了两个组件模板的设置，这样就可以轻松灵活的做组合，降低耦合性。

通过上面的接收，应该就清楚了这两个模板之间的关系，可以用来干嘛了。接下来一一介绍下这两个模板。

1.2、Component templates（组件模板）

先上官网：

组件模板是构建索引模板的构建块。比如指定索引映射、设置和别名等。

使用语法：

索引模板可以由多个组件模板组成。要使用组件模板，请在索引模板通过参数composed_of指定。组件模板仅作为匹配索引模板的一部分。在任何的索引或者索引模板中定义的一些内容（设置，mapping等）都会覆盖组件模板中与之相同的内容，也就是说组件模板等级最低了，容易被取代。组件模板的只会在索引创建的时候生效，修改组件模板不会对现有的索引有影响。下面介绍下组件模板请求体的一些参数：

举个例子，一看就懂：

1.3、index templates（索引模板）

先看官网：

使用语法：

索引模板定义可以定义设置、映射和别名等，然后通过匹配自动应用于新建的索引。Elasticsearch基于与索引名称匹配的通配符模式将模板应用于新索引，也就是说通过索引进行匹配，看看新建的索引是否符合索引模板，如果符合，就将索引模板的相关设置应用到新的索引，如果同时符合多个索引模板呢，这里需要对参数priority进行比较，这样会选择priority大的那个模板进行创建索引。在创建索引模板时，如果匹配有包含的关系，或者相同，则必须设置priority为不同的值，否则会报错。索引模板也是只有在新创建的时候起到作用，修改索引模板对现有的索引没有影响。同样如果在索引中设置了一些设置或者mapping都会覆盖索引模板中相同的设置或者mapping。接下来看看创建索引模板请求体的一些参数：

看这些，好像很复杂，举个例子就容易了：（匹配所有te开头的新建索引，分片为1，优先级为10）

这里没有说组合索引的使用，请看第一节介绍部分，这两种索引的关系，还有就是组合索引被引用顺序，后者更具有更高的优先级，会覆盖前面的一些组合索引的一些相同的设置，然而组件索引不同的部分将会叠加在一起成为索引模板的设置。语法确实不难，但是怎么应用好呢，比如在elk中使用索引模板写数据到es，比如索引设计，怎么把索引自动滚动呢，这块后期会有文章介绍，尽请期待。当然还有动态模板没有介绍，继续往下走。

注意：其实个人觉得把动态模板写这里是为了区分索引模板和动态模板，因为个人混淆过，所以写这里比较好区别，其实动态模板不是索引模板，这里不要误会，其实动态模板就是可以配置在索引中或者配置在索引模板中，作用是elasticsearch对数据探索自发现添加，可以指定匹配，并映射成指定类型。这里要记住elasticsearch只有组合模板和索引模板，动态模板时动态映射的一种实现。动态模板定义了索引创建后新添加字段的映射规则，而索引模板是在创建索引时默认为索引添加的别名、配置和映射等信息。索引模板包含该模板适用索引的模式或规则，以及索引创建时默认包含的别名、配置和映射关系等。它们分别通过index_patterns、aliases、settings和mappings等四个参数设置

在说动态模板之前，先要说说动态映射。

Elasticsearch最重要的功能之一就是可以自动探索数据。要为文档编制索引，不必首先创建索引、定义映射类型和定义字段，只需为文档编制索引，索引、类型和字段就会自动生成。

自动检测和添加新字段以及字段类型称为动态映射，主要分为动态字段和动态模板。这里引出动态字段和动态模板，所以先看看动态字段。

2.1、Dynamic field mapping（动态字段映射）

先看官网：

默认情况下，当在文档中找到索引没有定义的字段时，Elasticsearch会将新字段添加到类型映射中。通过将参数dynamic设置为false（忽略新字段）或strict（遇到未知字段时引发异常），可以在文档和对象级别禁用此行为。

假设启用了动态字段映射，则使用一些简单规则来确定字段应具有的数据类型：当然不是所有的类型都可以自动映射的，只有field data types这些可以动态的探索映射，所以其他的数据类型需要显示的指定。例如：

说起来可能比较有点不好理解，那就需要例子说明了：

这样就自动把create_date在映射中添加了，并且字段类型为date，这就是动态字段映射，也就是elasticsearch的一个特色，这样就不要给所有的字段提前定义好，但是虽然方便了，但是不利于索引的管理，如果出现了一条异常的数据插入到索引中，这样就会导致索引中的mapping中出现很多不必要的字段，动态字段映射可以更具需求对其进行配置。

2.2、Dynamic templates（动态模板）

详情见官网：

动态模板（Dynamic Template）用于自定义动态添加字段时的映射规则，可通过索引映射类型的dynamic_templates参数设置。该参数接收一组命名的动态模板，每一个模板由匹配条件和映射规则组成。匹配条件定义了新字段是否可以使用当前模板，可根据新字段的数据类型、名称和路径来定义条件；而映射规则由参数mapping定义，它需要给出新字段要使用哪些参数，可使用type定义新字段数据类型。

使用规则如下：

使用语法：

这里只举例说明一个规则或者说是条件：match_mapping_type

查看结果

其实静下心来看也不难，其他的规则可以看官网的例子。

中间件：ElasticSearch组件RestHighLevelClient用法详解

RestHighLevelClient的API作为ElasticSearch备受推荐的客户端组件，其封装系统操作ES的方法，包括索引结构管理，数据增删改查管理，常用查询方法，并且可以结合原生ES查询原生语法，功能十分强大。

在使用RestHighLevelClient的语法时，通常涉及上面几个方面，在掌握基础用法之上可以根据业务特点进行一些自定义封装，这样可以更优雅的解决业务需求。

使用RestHighLevelClient需要依赖 rest-high-level-client 包，和ES相关基础依赖。

这里不做过多描述，注意一点：因为ES的数据结构特点，所以不需要索引更新方法，新的字段在更新数据时直接写入即可，不需要提前更新索引结构。

这里在更新数据时，可以直接修改索引结构，在dataMap中放进新的字段即可。

注意：查询总数的CountRequest语法，SearchRequest查询结果中数据转换语法，分页查询中需要指定偏移位置和分页大小。

排序除了常规的指定字段升序降序规则之外，还可以基于原生的脚本语法，基于自定义规则排序让一些特定的数据沉底或者置顶。

《End》

15分钟掌握Elasticsearch 8大核心概念与基础用法

Elastic已经形成了一个较为庞大的生态，这个生态的核心就是Elasticsearch。初学者的重点就是如何快速地了解并使用Elasticsearch，本文总结了Elasticsearch的8大核心概念和安装、用法，15分钟实现入门并且掌握Elasticsearch的简单使用。

Elasticsearch提供一整套的Rest API用以支持各种索引、文档、搜索等操作。这里我们简单以索引的创建、查询和删除为例子来了解如何操作Elasticsearch。

Elasticsearch中的数据以文档document的形式存储在索引中，Elasticsearch提供了一系列的 _doc Rest API 用来操作document的增删改查，下面以已经创建的customer索引为基础，实践一下对于Elasticsearch中document的操作。

我们已经掌握了Elasticsearch创建索引，增加和更新文档的操作，下来就是重头戏搜索。Elasticsearch天生具备搜索的强支持能力，与document、index一样，有一套专门的_search API来支持搜索功能，还有很多的搜索特性，不同的搜索类型，搜索功能较为复杂。在本小节只介绍最简单的搜索API，以期能快速进入Elasticsearch搜索的大门。

数据搜索基本使用HTTP GET方法，_search API根据查询参数的位置的不同支持两种形式:

经过以上的实践，相信基本上可以简单的掌握Elasticsearch的基础用法以及对相关的核心概念都有了一定的认识，接下来跟我一起深入学习Elasticsearch的核心功能吧。

更多干活文章，微信搜索“ElasticExpert”。