elasticsearch 基本概念:集群 节点 分片

极客时间学习笔记

简介

elasticsearch是用java语言开发的基于lucene的全文搜索引擎。

特性

高可用,可扩展的分布式系统

服务可以用性-允许有节点停止服务

数据可用性-部分节点丢失不会丢失数据

扩展性-请求量提升/数据不断增长(将数据分不到多有节点上),水平扩容

分布式架构

不同的集群通过不同的名字区分,默认名字 “elasticsearch”,可以通过配置文件或者命令行启动时中 -E cluster.name = xxx 设定 配置文件

一个集群可以有一个或多个节点

节点

节点是一个elasticsearch的实例,本质上是一个java的进程,一台机器可以运行多个节点,生产环境建议一台机器只运行一个elasticsearch实例

每个节点都有自己的名字,通过配置文件,或者启东时 -e node.name = xxx 指定,节点启动后会分配一个UID,保存在data目录下

Master-eligible nodes 和 Master Node

每个节点启动后,默认就是一个master eligible 节点(可以通过配置关闭 node.master:false)

每一个Master-eligible节点都可以参加选主流程,成为Master节点

第一个Master-eligible节点启动时会将自己选举为Master节点

每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态(大哥说了算,保持数据一致性)

集群状态中存储了必要信息 :所有节点的信息;所有索引和相关Mapping与Setting信息;分片路由信息

Data node 和 Coordinaing Node

Data node 保存数据的节点,负责保存分片数据,数据扩展时起重要作用(待补充)

Coordinating Node

负责接受Client请求,将请求分发到合适的节点,最终把结果汇总到一起,每个节点默认都起到Coordinating Node的职责

其他的节点类型

Hot & Warm Node 不同配置的Data Node,用来实现Hot & Warm 架构 降低集群部署成本,Hot高配置机器,Warm低配置机器。

Machine Learning Node 负责跑机器学习 Job ,用来做异常检测

Tribe Node 连接不同的Es集群并支持将这些集群当成一个单独集群处理后续版本将会废弃,5.3开始使用Search across clusters替代

配置节点类型

开发环境一个节点可以承担多种角色

生产环境设置单一的角色节点(dedicated node)

节点类型配置参数默认值
maste eligiblenode.mastertrue
datanode.datatrue
ingestnode.ingesttrue
coordinating only每个节点默认都是coordinating节点设置其他类型全部为false
machine learningnode.mltrue(需 enable x-pack)

分片(Primary shard & Replica Shard)

主分片,用以解决数据水平扩展的问题,通过主分片,可以将数据分布到集群内的所有节点之上

  • 一个分片是一个运行的Lucene的实例
  • 主分片数在索引创建时指定,后续不允许修改,除非Reindex

副本分片,用以解决数据高可用的问题。分片是主分片的拷贝

  • 副本分片数,可以动态的调整
  • 增加副本数,一定程度上提高服务的可用性(读取的吞吐量)

分片的设定

对于生产环境中分片的设定,需要提前做好容量规划

分片数设置过小

  • 导致后续无法增加节点实现水平扩展
  • 单个分片的数据量太大,导致数据重新分配耗时

分片数设置过大,7.0开始,默认主分片设置成1,解决了over-sharding的问题

  • 影响搜索结果的相关性打分,影响统计结果的准确性
  • 单个节点上过多的分片会导致资源浪费同事也会影响性能

查看集群状态

GET _cluster/health

{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",//green主分片与副分片都正常 yellow主分片全部分配正常,有副本分片未能正常分配,red有主分片未能分配,例如当服务器磁盘容量超过85%去创建新的索引时
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 7,
  "active_shards" : 7,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 1,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 87.5
}

Uubntu 常用软件

系统快照软件Timeshift

GUI主题

硬件驱动

工具类

快捷方式编写

WPS设置语言不跟随系统

新建一个空白文档,右上角A图标打开设置语言功能 ,不跟随系统,设置为中文

flameshot添加快捷方式

指令 flameshot gui  如图

chrome

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

qbittorrent

sudo add-apt-repository ppa:qbittorrent-team/qbittorrent-stable
sudo apt-get update && sudo apt-get install qbittorrent

开发工具

vscode

filezilla apt install filezilla

virtualbox

mysql-workbench 数据库管理工具

postman

remmina远程终端软件

dia画图软件

sudo apt-get install dia

Jmeter压测

redis-manager

sudo snap install redis-desktop-manager --edge

redinav redis-gui工具

wireshark抓包工具

umbrello uml建模工具

sudo apt install umbrello

phpstorm

DBeaver 数据库管理工具

Nodepad++

sudo snap install notepad-plus-plus

Typora

wget -qO - https://typora.io/linux/public-key.asc | sudo apt-key add -

# add Typora's repository
sudo add-apt-repository 'deb https://typora.io/linux ./'
sudo apt-get update

# install typora
sudo apt-get install typora

安装钉钉

https://github.com/nashaofu/dingtalk

https://github.com/nashaofu/dingtalk/issues/382

原型工具

pencil

github release 加速下载网站

http://tool.mkblog.cn/github/

https://hao.su/3415/

国外资源加速下载的方案

原理同百度网盘和迅雷的离线下载,

首先购买一台国外的vps,要求带宽不能太差,同时,国内连这个vps也不能太慢

1先将资源下载到vps上

2用ftp或scp将文件下载到本地

Markdown查看工具

wechat 安装

参考

注意事项

安装TopIcons Plus 商店里有

解决中文乱码

不知道从哪个版本开始,Ubuntu安装wine QQ后中文会变成方块。。。原因是wine QQ使用文泉驿字体, 此字体已不随机附带, 随机字体为Noto系列字体。

解决方法为安装对应字体

sudo apt install fonts-wqy-microhei fonts-wqy-zenhei

需注意文泉驿字体归于universe分支, 意味不受Canonical支援, 可能需要在apt sources中添加universe分支

sudo add-apt-repository universe

希望可以将字体并入dependencies中, 免去此麻烦。

解决微信无法发送图片

sudo apt install libjpeg62:i386

TIM 安装 PPAPI FLASH

sudo apt-get install pepperflashplugin-nonfree
sudo update-pepperflashplugin-nonfree --install

微信更新问题

如果出现微信提示跟新问题执行这一条语句即可 可能存在问题。

 wget -qO- https://deepin-wine.i-m.dev/setup.sh | sudo sh

覆盖文件升级方式,这个简单有效

https://blog.csdn.net/ysy950803/article/details/104045975

存在问题图片一直发送中,发不出去

Ubuntu 20.04 安装wechat

wget -O- https://deepin-wine.i-m.dev/setup.sh | sh

sudo apt-get install deepin.com.wechat

ubuntu20.04

推荐使用这个deepinwine

卸载重装后如果出现依赖问题参考

https://github.com/zq1997/deepin-wine/issues/220

新版 deepin-wechat 截图崩溃

ubuntu 安装JDK

https://blog.csdn.net/weixin_38924500/article/details/106215048

安装搜狗输入法

ubuntukylin源

官网版,20.04测试无效不好用,太坑了

https://pinyin.sogou.com/linux/help.php

amd64下载地址

Ubuntu20.04踩坑记录

无法进入设置中心,搜所不到setting

sudo dpkg -l|grep gnome-control-center

sudo dpkg -l|grep ubuntu-desktop

查询软件是否存在,如果不存在则执行重装

sudo apt install --reinstall gnome-control-center //重装控制中心

sudo apt -f install ubuntu-desktop //安装ubuntu桌面

卸载liboffices

https://jingyan.baidu.com/article/bad08e1e244b2109c85121f1.html

Snap core 无法更新解决 snap has no updates available

//更新一下所有软件,排除更新问题
sudo apt update && sudo apt upgrade
//杀死gnome-software进程
killall gnome-software
//重启电脑
reboot 

参考链接

https://askubuntu.com/questions/1321217/ubuntu-store-snap-update-fails

https://askubuntu.com/questions/1321097/snapd-runtime-environment-update

ubuntu22.04 支持华硕笔记本开启背光键盘

fn+f7 亮灯建

ubuntu pro 更新提示问题

https://askubuntu.com/questions/1452299/im-getting-the-error-the-following-security-updates-require-ubuntu-pro-with-e

最简单的方法删除

mkdir -p relocated_apt
sudo mv /etc/apt/apt.conf.d/20apt-esm-hook.conf ~/relocated_apt/.

引导修复工具

#安装
sudo add-apt-repository ppa:yannubuntu/boot-repair
sudo apt-get update
sudo apt-get install -y boot-repair

#卸载
sudo apt-get -y autoremove boot-repair
sudo add-apt-repository -r ppa:yannubuntu/boot-repair
sudo apt-get update

装双系统时,可以用来在grub中添加或修复windows boot项

微信图片压缩算法

微信是一个很好的参照物,被大家广为使用并接受。这个扩展就是通过发送微信朋友圈和聊天会话发送了大量图片,对比原图与微信压缩后的图片逆向推算出来的压缩算法。

TIPS:

  • 符号表示无穷大
  • [ 1,3 ) 这是一个区间,表示从1到3之间的所有实数,左边中括号表示闭区间,也就是把1算在区间内。右边小括号表示不包括3。

算法 Luban

参考:https://zhuanlan.zhihu.com/p/56595874

1.判断图片比例值,是否处于以下区间

  • [1,0.5625)即图片处于[1:1 ~ 9:16] 比例范围内
  • [0.5625,0.5)即图片处于[9:16 ~ 1:2]比例范围内
  • [0.5,0) 即图片处于[1:2 ~ 1:∞]比例范围内

2.判断图片最长边是否过边界值

  • [1,0.5625)边界值为:1664 * n (n = 1) ,4990 * n (n=2), 1280*pow(2,n-1)(n>=3)
  • [0.5625,0.5)边界值为:1280 × pow (2,n-1) (n>=1)
  • [0.5,0)边界为:1289*pow(2,n-1)(n>=1)

3.计算压缩图片实际边长值,以第2步计算结果为准,超过某个边界值则:width/pow(2,n-1),height/pow(2,n-1)

4.计算压缩图片的实际文件大小,以第2,3步结果为准,图片比例越大则文件越大

size=(newW*newH)/(width*height)*m

  • [1,0.5625)则width& height 对应1556,4990,1280 *n (n>=3),m对应150,300,300;
  • [0.5625,0.5) 则width=1440,height = 2560,m=200;
  • [0.5,0)则width = 1280,height = 1280/scale,m=500;注:scale为比例值

5.判断第四部的size是否过小

  • [1,0.5625) 则最小size对应60,60,100
  • [0.5626,0.5)则最小size都为100,
  • [0.5,0)则最小size都为100

6.将前面求到的值压缩图片width,height,size 传入压缩流程,压缩图片直到满足以上数值。

算法2

参考:https://blog.csdn.net/a429778435/article/details/80604470

图片尺寸
宽高均 <= 1280,图片尺寸大小保持不变
宽或高 > 1280 && 宽高比 <= 2,取较大值等于1280,较小值等比例压缩
宽或高 > 1280 && 宽高比 > 2 && 宽或高 < 1280,图片尺寸大小保持不变
宽高均 > 1280 && 宽高比 > 2,取较小值等于1280,较大值等比例压缩
注:当宽和高均小于1280,并且宽高比大于2时,微信聊天会话和微信朋友圈的处理不一样。
朋友圈:取较小值等于1280,较大值等比例压缩
聊天会话:取较小值等于800,较大值等比例压缩

图片质量

经过大量的测试,微信的图片压缩质量值 ≈ 0.5