Elasticsearch 安装备忘

下载地址

下载ES 下载kibana logstash cerebo analysis-ik中文分词插件 用户案例

所有软件及插件版本必须一致

安装ES

install-elasticsearch

启动方式systemed

service elasticsearch start

查看版本

sudo /usr/share/elasticsearch/bin/elasticsearch --version
Version: 7.17.1, Build: default/deb/e5acb99f822233d62d6444ce45a4543dc1c8059a/2022-02-23T22:20:54.153567231Z, JVM: 17.0.2

开发机器修改内存配置

官方文档 ES6/7修改内存大小

Elasticsearch参数调优

//配置文件目录,如果没有权限请使用高权限账号修改
/etc/elasticsearch/jvm.options

//内存配置项,开发机建议设置为1~2g节省内存,生产环境不能超过32g
-Xms1g
-Xmx1g

安装插件analysis-ik为例

插件默认目录:/usr/share/elasticsearch/plugins 新建目录ik

下载插件,移动所有文件到ik目录下,重启elasticsearch

sudo cd /usr/share/elasticsearch/plugins
sudo unzip -o elasticsearch-analysis-ik-x.x.x.zip -d ik
sudo rm -rf elasticsearch-analysis-ik-x.x.x.zip

访问地址和默认端口 http://127.0.0.1:9200/

{
  "name" : "MINIPC-PN51-E1",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "e9ml_7fiTemo3tW5ug5_Jg",
  "version" : {
    "number" : "7.17.0",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "bee86328705acaa9a6daede7140defd4d9ec56bd",
    "build_date" : "2022-01-28T08:36:04.875279988Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

配置用户名,密码

安装kibana

kibanna下载地址

service kibana start

访问地址和默认端口 http://localhost:5601/

汉化配置

//配置文件目录
/etc/kibana/kibana.yml
//i18n 设置为中文
i18n.locale: "zh-CN"

安装logstash

下载logstash 需要安装jdk

安装cerebro

下载地址 需要安装jdk

启动失败解决方法

#修改systemd配置 /usr/lib/systemd/system/cerebro.service
ExecStart=/usr/share/cerebro/bin/cerebro -java-home /usr/java/jdk-11.0.12 -Dhttp.port=9000 -Dhttp.address=127.0.0.1
service cerebro start

访问地址和默认端口 http://localhost:9000/

Elasticsearch Mapping 和 Setting

Mapping

是定义文档及其包含的字段的存储和索引方式的过程,相当于关系型数据库中定义数据库和表结构的语句

核心数据类型 Core datatypes

  • 字符串(string) : text 和 keyword
  • 数字(numeric): long ,integer ,short byte double float half_float scaled_float
  • 日期(date): date date_nanos (纳秒)
  • 布尔(boolean)
  • 二进制 (Binary)

复杂数据类型 Complex datatypes

  • Object json对象
  • Nested 嵌套类型

Geo 数据类型 (地理位置)

专有数据类型 Specialised datatypes

  • IP IPv4 and IPv6

Range 范围

https://www.elastic.co/guide/en/elasticsearch/reference/current/range.html

数组

在Es中数组不需要专门定义,任何字段都可以包含另个或多个值即数组,数组中的所有制都必须具有相同的数据类型。

多字段 Multi-fileds

为不同的目的以不同的方式为同一字段建立索引

设置多个字段可以使用不同方式索引,使用不同的analyzer

PUT my_index
{
  "mappings": {
    "properties": {
      "city": {
        "type": "text",
        "fields": {
          "raw": { 
            "type":  "keyword"
          }
        }
   },
   "comment": {
        "type": "text",
        "fields": {
          "english_comment": { 
            "type":  "text",
             "analyzer":"english",
             "search_analyzer":"english"
          }
        }
      }
    }
  }
}

Dynamic Mapping 自动创建Mapping

创建index时,不需要定义Mapping,Es根据数据类型自动判断创建类型,优点是方便,缺点是有时后自动创建类型不是你想要的数据类型。

Mapping 字段类型修改机制

1.新增字段

Dynamic 设置为true时,一旦新增字段的文档写入,Mapping也同时被更新

Dynamic 设置为false,Mapping不会被更新,新增字段的数据无法被索引,但是信息会出现在_source中。

Dynamic设置成Strict,文档写入失败

2.已有字段,一旦已经有数据写入,就不再支持修改字段定义

Lucene实现的倒排索引,一旦生成后,就不允许修改

3.如果希望改变字段类型,必须Reindex Api,重建索引,因为如果修改了字段的数据类型,会导致已经索引的数据数据无法被搜索,新增自担不会有这种影响。

PUT movies
{
 "mappings":{
    "_doc":{
      "dynamic":"false"
    }
 }
}

自定义Mapping

1.参考API手册,纯手写

2.为了减少输入的工作量,减少出错概率,可以依靠以下步骤

  • 创建临时的index,写入一些样本数据
  • 通过访问Mapping API获取该临时文件的动态Mapping 定义
  • 修改后使用该配置创建你的索引
  • 删除临时索引

Index Options

四种不同界别的Index Options 配置,可以控制倒排索引记录的内容

  • docs – 记录doc id
  • freqs – 记录doc id 和 term frequencies
  • postions – 记录 doc id / term frequencies /term positon
  • offsets – 记录 doc id / term frequencies /term posistion / character offects

Text类型默认记录postions,其它默认为docs

记录内容越多,占用存储空间越大

null value

设置null_value 属性可以搜索null值

PUT users
{
  "mappings":{
    "properties":{
      "firstName":{
       "type":"text",
       "index":false //不索引该字段
      },
     "bio":{
       "type":"text",
       "index_options":"offsets"
     },
     "mobile":{
       "type":"text",
       "null_value":"NULL"
     }
   }
  }
}

精确值和全文本 Exact values vs Full Text

精确值不需要做分词处理

创建自定义分词器

Elasticsearch CRUD基本操作

文档CRUD

IndexPUT my_index/_doc
{“user”:”mike”,”comment”:”you know for search”}
CreatePUT my_index/_create/1
{“user”:”mike”,”comment”:”you know for search”}
POST my_index/_doc(不指定ID,自动生成)
ReadGET my_index/_doc/1
UpdatePOST my_index/_update/1
{“doc”:{“user”:”mike”,”comment”:”you know, Elasticsearch”}}
DeleteDELETE my_index/_doc/1
  • Type名,约定都用_doc ,相当于RDMBS的表名都叫_doc
  • Create—如果指定的ID已存在,会失败
  • Index—如果ID不存在,创建新的文档。否则,先删除先有的文档,再创建新的文档,版本会增加
  • Update—文档必须已经存在,更新只会对响应字段做增量修改

Bulk API

在单次API调用中执行多个索引编制或删除操作。这样可以减少开销,并可以大大提高索引速度。

支持四种类型操作 Index,Create,Update,Delete

mget

在单次请求中对一个或多个索引进行查询

msearch

在单词API请求中执行多个search

Elasticsearch 基本概念:索引 文档 REST API

ES与关系型数据库相似性对比

RDBMS(以Mysql为例)Elasitcsearch
存储引擎不同的数据分布 Setting
数据库 Schema(Database)文档字段类型 Mapping 相当于关系型数据库的表结构
数据表 Table索引 Index 类型 Type
数据行 Row文档 Document
数据列(字段) Column字段 Fields
DQL(数据查询)DSL
DML(数据操作)DSL

ps:7.0以后一个Index只能创建一个Type,并统一命名为 _doc,相当于一个数据库只能创建一个表

文档

  • Es是面向文档的搜索引擎,文档是所有可搜索数据的最小单位,相当于关系型数据库中的一条记录
  • 文档以json格式存储,json对象由字段组成对应数据类型有:字符串,数值,布尔值,日期,二进制,范围类型
  • 每个文档都有一个Unique ID 你可以自己指定 ID 或者通过Es自动生成

文档元数据

  • _index 文档所属索引名
  • _type 文档所属类型名
  • _id 文档唯一ID
  • _source 文档的原始json数据
  • _version 文档的版本信息
  • _score 相关性打分
  • _all 所有字段的整合信息,已废除

索引

文档的容器,一类文档的结合

  • Index 体现了逻辑空间的概念:每个索引都有自己的Mapping定义,用于定义包含的文档字段名和字段类型
  • Shard 体现了物理空间的概念:索引中的数据分散在Shard上

索引的Mapping和Settings

  • Mapping定义文档字段的类型
  • Setting定义不同的数据分布

索引的不同语义

  • 名词:一个ES集群中,可以创建很多不同的索引
  • 动词:保存一个文档到ES的过程也叫索引(indexing)ES中,创建一个倒排索引的过程
  • 名词:一个B tree索引,一个倒排索引

相关文章

告别类型,迎接无类型

elasticsearch 基本概念:集群 节点 分片

极客时间学习笔记

简介

elasticsearch是用java语言开发的基于lucene的全文搜索引擎。

特性

高可用,可扩展的分布式系统

服务可以用性-允许有节点停止服务

数据可用性-部分节点丢失不会丢失数据

扩展性-请求量提升/数据不断增长(将数据分不到多有节点上),水平扩容

分布式架构

不同的集群通过不同的名字区分,默认名字 “elasticsearch”,可以通过配置文件或者命令行启动时中 -E cluster.name = xxx 设定 配置文件

一个集群可以有一个或多个节点

节点

节点是一个elasticsearch的实例,本质上是一个java的进程,一台机器可以运行多个节点,生产环境建议一台机器只运行一个elasticsearch实例

每个节点都有自己的名字,通过配置文件,或者启东时 -e node.name = xxx 指定,节点启动后会分配一个UID,保存在data目录下

Master-eligible nodes 和 Master Node

每个节点启动后,默认就是一个master eligible 节点(可以通过配置关闭 node.master:false)

每一个Master-eligible节点都可以参加选主流程,成为Master节点

第一个Master-eligible节点启动时会将自己选举为Master节点

每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态(大哥说了算,保持数据一致性)

集群状态中存储了必要信息 :所有节点的信息;所有索引和相关Mapping与Setting信息;分片路由信息

Data node 和 Coordinaing Node

Data node 保存数据的节点,负责保存分片数据,数据扩展时起重要作用(待补充)

Coordinating Node

负责接受Client请求,将请求分发到合适的节点,最终把结果汇总到一起,每个节点默认都起到Coordinating Node的职责

其他的节点类型

Hot & Warm Node 不同配置的Data Node,用来实现Hot & Warm 架构 降低集群部署成本,Hot高配置机器,Warm低配置机器。

Machine Learning Node 负责跑机器学习 Job ,用来做异常检测

Tribe Node 连接不同的Es集群并支持将这些集群当成一个单独集群处理后续版本将会废弃,5.3开始使用Search across clusters替代

配置节点类型

开发环境一个节点可以承担多种角色

生产环境设置单一的角色节点(dedicated node)

节点类型配置参数默认值
maste eligiblenode.mastertrue
datanode.datatrue
ingestnode.ingesttrue
coordinating only每个节点默认都是coordinating节点设置其他类型全部为false
machine learningnode.mltrue(需 enable x-pack)

分片(Primary shard & Replica Shard)

主分片,用以解决数据水平扩展的问题,通过主分片,可以将数据分布到集群内的所有节点之上

  • 一个分片是一个运行的Lucene的实例
  • 主分片数在索引创建时指定,后续不允许修改,除非Reindex

副本分片,用以解决数据高可用的问题。分片是主分片的拷贝

  • 副本分片数,可以动态的调整
  • 增加副本数,一定程度上提高服务的可用性(读取的吞吐量)

分片的设定

对于生产环境中分片的设定,需要提前做好容量规划

分片数设置过小

  • 导致后续无法增加节点实现水平扩展
  • 单个分片的数据量太大,导致数据重新分配耗时

分片数设置过大,7.0开始,默认主分片设置成1,解决了over-sharding的问题

  • 影响搜索结果的相关性打分,影响统计结果的准确性
  • 单个节点上过多的分片会导致资源浪费同事也会影响性能

查看集群状态

GET _cluster/health

{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",//green主分片与副分片都正常 yellow主分片全部分配正常,有副本分片未能正常分配,red有主分片未能分配,例如当服务器磁盘容量超过85%去创建新的索引时
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 7,
  "active_shards" : 7,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 1,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 87.5
}