MongoDB sharding分片

MongoDB sharding分片

有了副本集为什么要用分片？ 分片（一个数据 存放在三个地方 共同存储为一个整体 类似于raid0的存储方式） 1、副本集利用率不高 2、主库的读写压力大 优点：资源利用率高了 读写压力负载均衡 横向水平扩展 缺点： 理想状态下需要的机器比较多 配置和运维都变的及其复杂 一定要提前规划好，一旦建立后再想改变架构就变得困难了

分片的原理 1、用户mongos(访问代理),提供一个统一的入口，本身没有数据目录，不存放数据；只是做了一个逻辑整合（类似于mycat）；但是mongos容易出现单节点故障，解决方法：多几个mongos。 2、mongos将请求发送给config（存储后端节点分片的信息） ，config负责连接后端节点分片集群；config 也容易出现config单节点故障，所以也需要配置多个。 3、后端的MongoDB集群进行交叉分片等，即使down掉一台机器，从库会自动顶上，实现高可用

分片的一些概念

1、路由器服务-mongos 不要求副本集，每个mongos都是独立的，配置一模一样 mongos没有数据目录，不存放数据 路由服务，提供代理，替用户向后去请求shard分片的数据 2、分片配置信息服务器-config config服务器在4.x之后强制要求必须是副本集 保存数据分配在哪个shard上 保存所有shard的配置信息 提供给mongos查询服务 3、片键-shard-key 数据存放在哪个shard的分区规则 片键就是索引 4、数据节点-shard 负责处理数据的节点，每个shard都是分片集群的一部分

片键的分类 1、hash片键 数据类型

id name host sex 1 zhang SH boy 2 ya BJ boy 3 yaya SZ girl

以id作为片键 索引： id

hash计算 shard1 2 hash计算 shard2 3 hash计算 shard3

hash片键特点

足够随机 足够平均

区间分片 数据类型

id name host sex 1 zhang SH boy 2 ya BJ boy 3 yaya SZ girl

如果以ID作为片键

id 1-100 shard1 101-200 shard2 201-300 shard3 300+正无穷 shard

以host作为片键

SH shard1 BJ shard2 SZ shard3

集群规划 IP地址以及端口规划

db01 10.0.0.51 Shard1_Master 28100 Shard3_Slave 28200 Shard2_Arbiter 28300 Config Server 40000 mongos Server 60000 db02 10.0.0.52 Shard2_Master 28100 Shard1_Slave 28200 Shard3_Arbiter 28300 Config Server 40000 mongos Server 60000 db03 10.0.0.53 Shard3_Master 28100 Shard2_Slave 28200 Shard1_Arbiter 28300 Config Server 40000 mongos Server 60000

目录规划

/opt/master/{conf,log,pid} /opt/slave/{conf,log,pid} /opt/arbiter/{conf,log,pid} /opt/config/{conf,log,pid} /opt/mongos/{conf,log,pid}

数据目录

/data/master /data/slave /data/arbiter /data/confi

副本集的原理

1、用户mongos(访问代理),提供一个统一的入口，本身没有数据目录，不存放数据；只是做了一个逻辑整合（类似于mycat）；但是mongos容易出现单节点故障，解决方法：多几个mongos。 2、mongos将请求发送给config（存储后端节点分片的信息） ，config负责连接后端节点分片集群；config 也容易出现config单节点故障，所以也需要配置多个。 3、后端的MongoDB集群进行交叉分片等，即使down掉一台机器，从库会自动顶上，实现高可用

搭建步骤

1、搭建部署shard副本集 2、搭建部署config副本集 3、搭建mongos 4、添加分片成员 5、数据库启动分片功能 6、集合设置分片 7、写入测试数据 8、检查分片效果 9、安装使用图形化工具

1、搭建部署shard副本集 环境准备

1、db01 pkill mongo rm -rf /opt/mongo_2* rm -rf /data/mongo_2* rsync -avz /opt/mongodb* 10.0.0.52:/opt/ rsync -avz /opt/mongodb* 10.0.0.53:/opt/

2、db02 db03操作

echo 'export PATH=$PATH:/opt/mongodb/bin' >> /etc/profile source /etc/profile

3、创建目录（01 02 03都操作）

mkdir -p /opt/master/{conf,log,pid} mkdir -p /opt/slave/{conf,log,pid} mkdir -p /opt/arbiter/{conf,log,pid} mkdir -p /data/master mkdir -p /data/slave mkdir -p /data/arbiter

4、db01的副本集配置

###master配置 cat >/opt/master/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/master/log/mongodb.log storage: journal: enabled: true dbPath: /data/master/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/master/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28100 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard1 sharding: clusterRole: shardsvr EOF ###slave配置 cat >/opt/slave/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/slave/log/mongodb.log storage: journal: enabled: true dbPath: /data/slave/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/slave/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28200 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard3 sharding: clusterRole: shardsvr EOF ###arbiter配置 cat >/opt/arbiter/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/arbiter/log/mongodb.log storage: journal: enabled: true dbPath: /data/arbiter/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/arbiter/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28300 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard2 sharding: clusterRole: shardsvr EOF cd /opt tree master slave arbiter

db02

###master配置 cat >/opt/master/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/master/log/mongodb.log storage: journal: enabled: true dbPath: /data/master/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/master/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28100 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard2 sharding: clusterRole: shardsvr EOF ###slave配置 cat >/opt/slave/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/slave/log/mongodb.log storage: journal: enabled: true dbPath: /data/slave/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/slave/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28200 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard1 sharding: clusterRole: shardsvr EOF ###arbiter配置 cat >/opt/arbiter/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/arbiter/log/mongodb.log storage: journal: enabled: true dbPath: /data/arbiter/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/arbiter/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28300 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard3 sharding: clusterRole: shardsvr EOF

db03

###master配置 cat >/opt/master/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/master/log/mongodb.log storage: journal: enabled: true dbPath: /data/master/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/master/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28100 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard3 sharding: clusterRole: shardsvr EOF ###slave配置 cat >/opt/slave/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/slave/log/mongodb.log storage: journal: enabled: true dbPath: /data/slave/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/slave/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28200 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard2 sharding: clusterRole: shardsvr EOF ###arbiter配置 cat >/opt/arbiter/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/arbiter/log/mongodb.log storage: journal: enabled: true dbPath: /data/arbiter/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/arbiter/pid/mongodb.pid timeZoneInfo: /usr/share/zoneinfo net: port: 28300 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: oplogSizeMB: 1024 replSetName: shard1 sharding: clusterRole: shardsvr EOF

三台机器都优化

echo "never" > /sys/kernel/mm/transparent_hugepage/enabled echo "never" > /sys/kernel/mm/transparent_hugepage/defrag

三台都启动

mongod -f /opt/master/conf/mongod.conf mongod -f /opt/slave/conf/mongod.conf mongod -f /opt/arbiter/conf/mongod.conf ps -ef|grep mongod

初始化副本集

## db01 master节点初始化副本集 mongo --port 28100 rs.initiate() 等一下变成PRIMARY rs.add("10.0.0.52:28200") rs.addArb("10.0.0.53:28300") rs.status() ### db02 master节点初始化副本集 mongo --port 28100 rs.initiate() 等一下变成PRIMARY rs.add("10.0.0.53:28200") rs.addArb("10.0.0.51:28300") rs.status() ## db03 master节点初始化副本集 mongo --port 28100 rs.initiate() 等一下变成PRIMARY rs.add("10.0.0.51:28200") rs.addArb("10.0.0.52:28300") rs.status()

2、搭建部署config副本集 三台机器都操作

## 1.创建目录-三台机器都操作 mkdir -p /opt/config/{conf,log,pid} mkdir -p /data/config/ ## 2.创建配置文件-三台机器都操作 cat >/opt/config/conf/mongod.conf<<EOF systemLog: destination: file logAppend: true path: /opt/config/log/mongodb.log storage: journal: enabled: true dbPath: /data/config/ directoryPerDB: true wiredTiger: engineConfig: cacheSizeGB: 0.5 directoryForIndexes: true collectionConfig: blockCompressor: zlib indexConfig: prefixCompression: true processManagement: fork: true pidFilePath: /opt/config/pid/mongod.pid timeZoneInfo: /usr/share/zoneinfo net: port: 40000 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') replication: replSetName: configset sharding: clusterRole: configsvr EOF ## 3.启动-三台机器都操作 mongod -f /opt/config/conf/mongod.conf ## 4.初始化副本集-db01操作即可 mongo --port 40000 rs.initiate() 等一下变成PRIMARY rs.add("10.0.0.52:40000") rs.add("10.0.0.53:40000") rs.status()

3、搭建mongos 三台都操作

## 1.创建目录-三台机器都操作 mkdir -p /opt/mongos/{conf,log,pid} ## 2.创建配置文件-三台机器都操作 cat >/opt/mongos/conf/mongos.conf<<EOF systemLog: destination: file logAppend: true path: /opt/mongos/log/mongos.log processManagement: fork: true pidFilePath: /opt/mongos/pid/mongos.pid timeZoneInfo: /usr/share/zoneinfo net: port: 60000 bindIp: 127.0.0.1,$(ifconfig eth0|awk 'NR==2{print $2}') sharding: configDB: configset/10.0.0.51:40000,10.0.0.52:40000,10.0.0.53:40000 EOF ## 3.启动-三台机器都操作 mongos -f /opt/mongos/conf/mongos.conf ## 4.登陆mongos-db01操作 mongo --port 60000

4、添加分片成员

## 1.登陆mongos添加shard成员信息-db01操作（每一条都要一条一条的执行） mongo --port 60000 use admin db.runCommand({addShard:'shard1/10.0.0.51:28100,10.0.0.52:28200,10.0.0.53:28300'}) db.runCommand({addShard:'shard2/10.0.0.52:28100,10.0.0.53:28200,10.0.0.51:28300'}) db.runCommand({addShard:'shard3/10.0.0.53:28100,10.0.0.51:28200,10.0.0.52:28300'}) ## 2.查看分片成员信息 db.runCommand({ listshards : 1 })

5、数据库启动分片功能 （在db01操作即可） 1、数据库开启分片

mongo --port 60000 use admin db.runCommand( { enablesharding : "oldboy" } )

2、创建索引

use oldboy db.hash.ensureIndex( { id: "hashed" } ) 如果返回错误 就多执行几遍 只到ok1 use admin sh.shardCollection( "oldboy.hash",{ id: "hashed" } )

3、集合开启分片 测试 （各个节点都执行）

mongo --port 28100 use oldboy db.hash.count() [root@db01 ~]# mongo --port 60000 mongos> use oldboy switched to db oldboy mongos> for(i=1;i<10000;i++){db.hash.insert({"id":i,"name":"BJ","age":18});} WriteResult({ "nInserted" : 1 }) 另外其他db02 db03节点 [root@db01 ~]# mongo --port 28100 shard1:PRIMARY> use oldboy switched to db oldboy shard1:PRIMARY> db.hash.count() 0 等执行完 db01执行 mongos> use oldboy switched to db oldboy mongos> db.hash.count() 9999

命令

mongod -f /opt/config/conf/config.conf mongod -f /opt/arbiter/conf/mongod.conf mongod -f /opt/master/conf/mongod.conf mongod -f /opt/slave/conf/mongod.conf mongos -f /opt/mongos/conf/mongos.conf

要点： 知道搭建步骤 知道config mongos master arbiter slave的作用即可 具体命令不要研究

掌握概念 熟悉步骤 搭建流程 配置文件不需要记住 操作命令不需要记住