专栏首页民工哥技术之路硬核干货!Redis 分布式集群部署实战

硬核干货!Redis 分布式集群部署实战

原理:

  • Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽,对写入的数据进行哈希后分配到某个主节点进行存储。
  • 集群使用公式(CRC16 key)& 16384计算键key数据那个槽。
  • 16384个slot均匀分布在各个节点上。
  • 集群中每个主节点将承担一部分槽点的维护,而槽点中存储着数据,每个主节点都有至少一个从节点用于高可用。
节点通信方式:
  • 开启一个端口 设置的端口号+10000,用于集群之间节点通信交换信息。
  • 每个节点默认每秒10次选择随机5个节点发送ping消息,将自身信息和知道的集群信息传递,收到ping消息后返回pong消息做回复,最后通过这种随机的消息交换,最终每个节点将获得所有信息。
  • 当某个主节点挂掉,所有节点将会发现主节点挂掉了,作为主节点的从节点,就会接替主节点的工作,然后告诉所有其它节点,他成为了主。这样其它存活节点,就将它们维护的信息表更新从节点将接任做主,如果都挂掉集群将报错。当从一个节点操作,根据一致性哈希计算后将存储在其中一个主节点中,从节点将同步主的数据。
  • redis cluster是去中心化的,集群中的每个节点都是平等的关系,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接,而且这些连接保持活跃。
  • 搭建集群时,会为每一个分片的主节点,对应一个从节点。实现slaveof功能,同时当主节点down,实现sentinel哨兵的自动failover切换功能

Redis分布式集群(部署):

端口号:7000-7005

本次分布式分片集群在一台LInux系统即可,只需要安装多个实例作为集群配置。

安装ruby环境支持:
yum -y install ruby rubygems

yum安装2.0.0版本,但是gem需要2.2.2版本以上,所以选择编译

下载并安装ruby环境:
wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz
tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/
./configure --prefix=/usr/local/ruby
make && make install && echo $?
echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile
source /etc/profile
修改gem工具国内源:
# 查看gem工具源地址
gem sources -l
# 添加一个阿里云的gem工具源
gem sources -a http://mirrors.aliyun.com/rubygems/
# 删除gem工具默认国外源
gem sources --remove https://rubygems.org/
# 下载当前最新版本集群插件
gem install redis -v 4.1.0
集群节点准备:
mkdir /data/700{0..5}
配置7000端口实例:
vim /data/7000/redis.conf
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
拷贝其他端口实例:
# 拷贝配置文件
cp /data/7000/redis.conf /data/7001/
cp /data/7000/redis.conf /data/7002/
cp /data/7000/redis.conf /data/7003/
cp /data/7000/redis.conf /data/7004/
cp /data/7000/redis.conf /data/7005/

# 修改配置文件内容
sed -i 's#7000#7001#g' /data/7001/redis.conf
sed -i 's#7000#7002#g' /data/7002/redis.conf
sed -i 's#7000#7003#g' /data/7003/redis.conf
sed -i 's#7000#7004#g' /data/7004/redis.conf
sed -i 's#7000#7005#g' /data/7005/redis.conf
启动所有实例:
redis-server /data/7000/redis.conf
redis-server /data/7001/redis.conf
redis-server /data/7002/redis.conf
redis-server /data/7003/redis.conf
redis-server /data/7004/redis.conf
redis-server /data/7005/redis.conf
创建命令软链接:
(这个命令过期了,现在使用redis-cli命令)(可选执行命令)
ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/
查看进程:
ps -ef |grep redis-server
加入所有实例节点到集群管理:
# --replicas 1",1是代表每一个主有一个从,后面的是所有节点的地址与端口信息
redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

分布式主从规则为,前三个实例节点是主,对应的后面三个实例节点为从节点,如果replicas 2,那就多加3个实例节点

查看主节点状态:
redis-cli -p 7000 cluster nodes|grep master
查看从节点状态:
redis-cli -p 7000 cluster nodes|grep slave

Redis-分布式集群(管理)

集群节点增加准备:

mkdir /data/700{6..7}

拷贝其他端口实例:

# 拷贝配置文件
cp /data/7000/redis.conf /data/7006/
cp /data/7000/redis.conf /data/7007/

# 修改配置文件内容
sed -i 's#7000#7006#g' /data/7006/redis.conf
sed -i 's#7000#7007#g' /data/7007/redis.conf

启动新节点实例:

redis-server /data/7006/redis.conf
redis-server /data/7007/redis.conf
查看进程:
ps -ef |grep redis-server
添加主节点:(7000实例是管理节点)
#'把7006实例添加到7000实例这个主节点所在集群内(此时已经有了4个主节点)
redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000
查看主节点状态:
redis-cli -p 7000 cluster nodes|grep master
转移slot(重新分片):
#'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000

How many slots do you want to move (from 1 to 16384)? 4096
#通过人工手动计算数据分片总大小除以主节点后的数字

What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953
#选择接收数据分片的节点ID,(这是新增节点7006实例的ID号)

Source node #1: all
#选择从哪些源主节点重新分片给新主节点)(all是所有节点)

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#确认修改以上的操作
重新查看主节点状态:(可以看到集群数据的重新分片)
redis-cli -p 7000 cluster nodes|grep master
添加从节点:
#'把7007实例节点添加到7006实例主节点内,并指定对应7006实例主节点坐在集群的管理节点
redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953
查看从节点状态:
redis-cli -p 7000 cluster nodes|grep slave

集群节点删除准备:

移动要删除节点的数据分片:
#'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000

#方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点

How many slots do you want to move (from 1 to 16384)? 1365                    
#通过人工手动查看数据分片总大小

What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447
#选择接收数据分片的节点ID,(这是新增节点7006实例的ID号)

Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
#选择从哪些源主节点重新分片给新主节点(这是要删除的主节点的ID号)

Source node #2: done
#这是结束命令

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#确认修改以上的操作
重新查看主节点状态:(可以看到集群数据的重新分片)
redis-cli -p 7000 cluster nodes|grep master
继续移动数据片:
#'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000

# 方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点

How many slots do you want to move (from 1 to 16384)? 1366                    #通过人工手动查看数据分片总大小

What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c
#选择接收数据分片的节点ID,(这是新增节点7006实例的ID号)

Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
#选择从哪些源主节点重新分片给新主节点(这是要删除的主节点的ID号)

Source node #2: done
#这是结束命令

Do you want to proceed with the proposed reshard plan (yes/no)? yes           
#确认修改以上的操作
重新查看主节点状态:(可以看到集群数据的重新分片)
redis-cli -p 7000 cluster nodes|grep master
最后一次移动数据片:
#'操作集群管理节点从新分配,并在交互界面指定分片大小、选择接收分片的节点ID
redis-cli --cluster reshard 127.0.0.1:7000

#方法是根据要删除master节点的分片位置,然后一个组分一个节点 , 也可以直接移动所有数据片到一个节点

How many slots do you want to move (from 1 to 16384)? 1365                    #通过人工手动查看数据分片总大小

What is the receiving node ID? 5a0df4ea0af5f35c1248e45e88d44c3f2e10169f
Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953
Source node #2: done
重新查看主节点状态:(可以看到集群数据的重新分片)
redis-cli -p 7000 cluster nodes|grep master
删除清空数据片的主节点:
#'删除已经清空数据的7006实例
redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953

#删除没有主库的7007实例
redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab

其他配置管理:

#内存信息查看
redis-cli -p 6382 -a redhat info memory

#设置最大只能使用100MB的内存
redis-cli -p 6382 -a redhat config set maxmemory 102400000

注:本文由作者原创投稿,老A- 运维背锅侠,来自山东省,从事一线应用运维与数据库运维。擅长 MySQL 数据库,曾就职于山东省计算中心(国家超级计算济南中心)云计算部门。现就职于国内MySQL数据库知名厂商。原文:https://dbawsp.com/662.html,版权归原作者所有。

end

本文分享自微信公众号 - 民工哥技术之路(jishuroad),作者:老A

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Nosql数据库服务之redis

    是一种非关系型数据库服务,它能解决常规数据库的并发能力,比如传统的数据库的IO与性能的瓶颈,同样它是关系型数据库的一个补充,有着比较好的高效率与高性能。

    民工哥
  • 深入了解MySQL的索引

    创建合适的索引是SQL性能调优中最重要的技术之一。在学习创建索引之前,要先了解MySql的架构细节,包括在硬盘上面如何组织的,索引和内存用法和操作方式,以及存储...

    民工哥
  • Linux系统命令三剑客命令实战操作(文未有福利)

    grep '[A-Z][a-z]\{4\}\:[[:space:]][A-Z]' testfile

    民工哥
  • java架构之路-(Redis专题)Redis的主从、哨兵和集群

      我们使用的redis,单机的绝对做不到高可用的,万一单机的redis宕机了,就没有备用的了,我们可以采用集群的方式来保证我们的高可用操作。

    小菜的不能再菜
  • 流媒体第一篇-直播p2p设计

    p2p的意思是让数据不都从一台服务器拉留,对于直播公司来说就是想办法少给cdn钱,对于cdn厂商来说降低峰值什么的。怎么p2p首先你要保证有人看你这个直播,看的...

    于欣轩
  • Redis技术(附软件分享)

    第四步 编译 redis 命令:进入 redis 的解压完毕的根目录下 , 执行命令:

    时间静止不是简史
  • 中心母钟在金融系统的应用

    本文主要讲了金融系统在运转中对时间基准要求的重要性,以及中心母钟在金融系统运行的功能和中心母钟在对时间同步统一过程中发挥的作用,方便金融系统的用户在对时间同步问...

    时频专家
  • 【SAS Says】基础篇:读取数据(上)

    特别说明:本节【SAS Says】基础篇:读取数据(上),用的是数说君学习《The little SAS book》时的中文笔记,我们认为这是打基础的最好选择。...

    数说君
  • 「走进k8s」Docke数据共享和持久化(五)

    PS:数据卷在容器管理平台使用非常频繁,如果是本机安装一个软件的话,建议使用主机目录,因为自己来管理,目录还是比较方便的。

    IT故事会
  • 初识Elastic search—附《Elasticsearch权威指南—官方guide的译文》

    本文作为Elastic search系列的开篇之作,简要介绍其简要历史、安装及基本概念和核心模块。

    NaughtyCat

扫码关注云+社区

领取腾讯云代金券

http://www.vxiaotou.com