男女做羞羞事试看网站,抚州做网站价格多少,免费小程序制作软件,网店美工岗位应具备哪些技能1、搜索引擎的基本原理
通常搜索引擎包括#xff1a;数据采集、文本分析、索引存储、搜索等模块#xff0c;它们之间的协作流程如下图#xff1a; 数据采集模块负责采集需要搜索的数据源。 文本分析模块是将结构化数据中的长文本切分成有实际意义的词#xff0c;这样用户…1、搜索引擎的基本原理
通常搜索引擎包括数据采集、文本分析、索引存储、搜索等模块它们之间的协作流程如下图 数据采集模块负责采集需要搜索的数据源。 文本分析模块是将结构化数据中的长文本切分成有实际意义的词这样用户把切分出来的词作为搜索条件就可以搜索到对应的文本了。 索引存储模块是将采集到的数据按着定义好的结构写入到索引。 搜索引擎的索引数据是根据倒排索引来组织的。倒排索引中保存了每个词在索引中所在文档的编号以及文档中的所在位置如下图 搜索模块是根据用户的输入找到索引中匹配的文档。
2、Elasticsearch集群是如何形成的形成机制
2.1、主节点、主候选节点、投票配置
在讲ES集群如何形成形成机制之前需要先介绍几个重要的概念主节点、主候选节点、投票配置。
主节点master node每个集群有且只有一个主节点主节点作为整个集群的管理者维护着整个集群的元数据当集群内的节点数量发生变化时更新集群状态并将状态发布给集群中的其他节点。同时还负责分片的分配。主候选节点master-eligible node有权参与主节点选举的节点即主节点的候选人名单。投票配置voting configuration可参与投票的节点名单即有投票权的节点。通常与主候选节点的列表一致。在选举主节点的时候只有得到投票配置中半数节点投票的节点才能称为主节点。
如果把主节点选举看成美国大选的话那么主节点就是总统主候选节点就是总统候选人而投票配置就是选民得到半数选民支持的总统候选人将成为下一任总统。
2.2 一个全新的Elasticsearch集群形成所经历的步骤
一个全新的ES集群启动的时候需要通过集群节点的引导来把各自孤立的节点统一起来对外提供服务。这个集群节点的引导分为以下四个步骤 初始化投票配置 确定主候选节点的列表并将主候选节点列表写入投票配置。 选举主节点 有投票配置中的主候选节点发起主节点的选举当超过一半的主候选节点达成一致则主节点选举成功。 发现集群的其他节点 节点尝试和节点上配置的主候选节点列表中节点进行连接如果成功连接了则发起加入集群的申请主节点确认连接成功后将该节点加入到集群中并修改集群的状态然后将集群的最新状态发布到集群中的各个节点上。 这里需要注意的是节点上的配置的主候选节点列表中可能没有主节点但是没关系能通过列表中的节点间接的找到主节点也同样让主节点将当前节点加入到集群中。 集群中的所有节点发现完毕后就可以对外提供统一的服务了。
2.3 集群状态的发布过程
ES集群中的主节点更新完集群状态后会将新的状态发布到集群中的其他节点上这个过程有两个阶段
预提交阶段主节点将最新的集群状态发布给各节点各节点接收到状态数据后保存到本地并向主节点发送确认响应。如下图 正式提交阶段如果主候选节点中中有一半的节点返回确认响应成功那么将进入正式提交阶段。主节点通知所有节点应用最新的集群状态每个节点应用最新的集群状态后还会再向主节点发送最终确认响应。当所有的确认响应都成功时本次状态发布完成。如下图
集群状态的发布是有时间限制的如果主节点不能在规定时间内默认为30秒将集群状态发布成功则需要重新选举出一个新的主节点。如果某个非主节点无法在规定时间内默认为90秒返回给主节点最终的确认响应则主节点会认为该节点已经掉线会将该节点从集群中移除。
主节点和非主节点会保持周期性的相互联系即相互发送心跳检测包。如果某个非主节点多次心跳检测失败则主节点会认为该节点已掉线并将该节点从集群中移除。如果主节点掉线则需要通过投票配置来选出一个新的主节点。
3、参考文献
《Elasticsearch数据搜索与分析实战》——王深湛
上一篇《聊一聊Elasticsearch的一些基本信息》 下一篇《聊一聊Elasticsearch的索引的分片分配机制》
