文章目录 1. 概念2. 分片集群的组件3. 搭建分片集群3.1 分片（存储）节点副本集的创建3.1.1 第一套副本集3.1.1.1 配置主节点3.1.1.2 配置副本节点3.1.1.3 配置仲裁节点3.1.1.4 配置副本集 3.1.2 第二套副本集3.1.2.1 配置主节点3.1.2.2 配置副本节点3.1.2.3 配置仲裁节点3.1.2.4 配置副本集 3.2 配置节点副本集的搭建3.2.1 配置主节点3.2.2 配置副本节点3.2.3 配置仲裁节点3.2.4 配置副本集 3.3 路由节点的创建和操作3.3.1 第一个路由节点的创建和连接3.3.2 在路由节点上进行分片配置操作3.3.2.1 数据库分片3.3.2.2 集合分片分片规则一：哈希策略分片规则二：范围策略 3.3.3 分片后插入数据测试3.3.3.1 哈希策略测试3.3.3.2 范围规则测试 3.3.4 再增加一个路由节点 4. Compass连接分片集群5. SpringDataMongDB连接分片集群6. 清除所有的节点数据 1. 概念
分片（sharding）是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。
具有大型数据集或高吞吐量应用程序的数据库系统可以会挑战单个服务器的容量。例如，高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。有两种解决系统增长的方法：垂直扩展和水平扩展。
垂直扩展：意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器性能的上限。此外，基于云的提供商基于可用的硬件配置具有硬性上限。所以垂直缩放有实际的最大值。
水平扩展：意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。MongoDB支持通过分片方式进行水平扩展。
2. 分片集群的组件MongoDB分片群集包含以下组件：
分片（存储）：每个分片包含分片数据的子集。 每个分片都可以部署为副本集。mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。config servers（“调度”的配置）：配置服务器存储群集的元数据和配置设置。 从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）。下图描述了分片集群中组件的交互： MongoDB在集合级别对数据进行分片，将集合数据分布在集群中的分片上。 27018 if mongod is a shard member；
27019 if mongod is a config server member
3. 搭建分片集群分片集群架构目标：两个分片节点副本集（3+3）+一个配置节点副本集（3）+两个路由节点（2），共11个MongoDB服务节点。
3.1 分片（存储）节点副本集的创建所有的的配置文件都直接放到 sharded_cluster 的相应的子目录下面，默认配置文件名字：mongod.conf
3.1.1 第一套副本集准备存放数据和日志的目录：
#-----------myshardrs01 mkdir -p /mongodb/sharded_cluster/myshardrs01_27018/log \ & mkdir -p /mongodb/sharded_cluster/myshardrs01_27018/data/db \ & mkdir -p /mongodb/sharded_cluster/myshardrs01_27118/log \ & mkdir -p /mongodb/sharded_cluster/myshardrs01_27118/data/db \ & mkdir -p /mongodb/sharded_cluster/myshardrs01_27218/log \ & mkdir -p /mongodb/sharded_cluster/myshardrs01_27218/data/db \ & 3.1.1.1 配置主节点新建/修改配置文件：
vim /mongodb/sharded_cluster/myshardrs01_27018/mongod.confmyshardrs01_27018的配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myshardrs01_27018/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27018 replication: #副本集的名称 replSetName: myshardrs01 sharding: #分片角色 clusterRole: shardsvrsharding.clusterRole的值说明： 注意：设置sharding.clusterRole需要mongod实例运行。 要将实例部署为副本集成员，需要使用replSetName设置并指定副本集的名称。
3.1.1.2 配置副本节点新建或修改配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myshardrs01_27118/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myshardrs01_27118/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27118/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27118 replication: #副本集的名称 replSetName: myshardrs01 sharding: #分片角色 clusterRole: shardsvr 3.1.1.3 配置仲裁节点新建或修改配置文件：
vim /mongodb/sharded_cluster/myshardrs01_27218/mongod.confmyshardrs01_27218/mongod.conf的配置内容：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myshardrs01_27218/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myshardrs01_27218/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27218/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27218 replication: #副本集的名称 replSetName: myshardrs01 sharding: #分片角色 clusterRole: shardsvr启动第一套副本集myshardrs01_27218的三个mongo服务：
/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf /usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf /usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf查看服务是否启动成功
ps -ef|grep mongod 3.1.1.4 配置副本集（1）初始化副本集和创建主节点 使用客户端命令连接主节点
mongo --host 10.0.16.9 --port 27018执行初始化副本集命令
rs.initiate()查看副本集的状态
rs.status()（2）查看主节点配置
rs.conf()（3）添加副本节点
（4）添加仲裁节点 查看副本集的配置情况
3.1.2 第二套副本集准备存放数据和日志的目录
mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/log \ & mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/data/db \ & mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/log \ & mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/data/db \ & mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/log \ & mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/data/db \ & 3.1.2.1 配置主节点新建/修改配置文件：
vim /mongodb/sharded_cluster/myshardrs02_27318/mongod.confmyshardrs02_27318的配置文件
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myshardrs02_27318/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myshardrs02_27318/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27318/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27318 replication: #副本集的名称 replSetName: myshardrs02 sharding: #分片角色 clusterRole: shardsvr 3.1.2.2 配置副本节点新建/修改配置文件：
vim /mongodb/sharded_cluster/myshardrs02_27418/mongod.confmyshardrs02_27418的配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myshardrs02_27418/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myshardrs02_27418/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27418/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27418 replication: #副本集的名称 replSetName: myshardrs02 sharding: #分片角色 clusterRole: shardsvr 3.1.2.3 配置仲裁节点新建/修改配置文件：
vim /mongodb/sharded_cluster/myshardrs02_27518/mongod.confmyshardrs02_27518的配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myshardrs02_27518/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myshardrs02_27518/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27518/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27518 replication: #副本集的名称 replSetName: myshardrs02 sharding: #分片角色 clusterRole: shardsvr启动第二套副本集myshardrs02的三个mongo服务：
/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf /usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf /usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf查看服务是否启动成功
ps -ef|grep mongod 3.1.2.4 配置副本集（1）初始化副本集和创建主节点 使用客户端命令连接主节点
mongo --host 10.0.16.9 --port 27318执行初始化副本集命令
rs.initiate()查看副本集的状态
rs.status() myshardrs02:PRIMARY> rs.status() { "set" : "myshardrs02", "date" : ISODate("2022-07-10T06:12:55.455Z"), "myState" : 1, "term" : NumberLong(1), "syncSourceHost" : "", "syncSourceId" : -1, "heartbeatIntervalMillis" : NumberLong(2000), "majorityVoteCount" : 2, "writeMajorityCount" : 2, "votingMembersCount" : 3, "writableVotingMembersCount" : 2, "optimes" : { "lastCommittedOpTime" : { "ts" : Timestamp(1657433574, 1), "t" : NumberLong(1) }, "lastCommittedWallTime" : ISODate("2022-07-10T06:12:54.645Z"), "readConcernMajorityOpTime" : { "ts" : Timestamp(1657433574, 1), "t" : NumberLong(1) }, "appliedOpTime" : { "ts" : Timestamp(1657433574, 1), "t" : NumberLong(1) }, "durableOpTime" : { "ts" : Timestamp(1657433574, 1), "t" : NumberLong(1) }, "lastAppliedWallTime" : ISODate("2022-07-10T06:12:54.645Z"), "lastDurableWallTime" : ISODate("2022-07-10T06:12:54.645Z") }, "lastStableRecoveryTimestamp" : Timestamp(1657433514, 1), "electionCandidateMetrics" : { "lastElectionReason" : "electionTimeout", "lastElectionDate" : ISODate("2022-07-10T06:09:04.567Z"), "electionTerm" : NumberLong(1), "lastCommittedOpTimeAtElection" : { "ts" : Timestamp(1657433344, 1), "t" : NumberLong(-1) }, "lastSeenOpTimeAtElection" : { "ts" : Timestamp(1657433344, 1), "t" : NumberLong(-1) }, "numVotesNeeded" : 1, "priorityAtElection" : 1, "electionTimeoutMillis" : NumberLong(10000), "newTermStartDate" : ISODate("2022-07-10T06:09:04.618Z"), "wMajorityWriteAvailabilityDate" : ISODate("2022-07-10T06:09:04.641Z") }, "members" : [ { "_id" : 0, "name" : "10.0.16.9:27318", "health" : 1, "state" : 1, "stateStr" : "PRIMARY", "uptime" : 426, "optime" : { "ts" : Timestamp(1657433574, 1), "t" : NumberLong(1) }, "optimeDate" : ISODate("2022-07-10T06:12:54Z"), "syncSourceHost" : "", "syncSourceId" : -1, "infoMessage" : "", "electionTime" : Timestamp(1657433344, 2), "electionDate" : ISODate("2022-07-10T06:09:04Z"), "configVersion" : 3, "configTerm" : 1, "self" : true, "lastHeartbeatMessage" : "" }, { "_id" : 1, "name" : "10.0.16.9:27418", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 130, "optime" : { "ts" : Timestamp(1657433564, 1), "t" : NumberLong(1) }, "optimeDurable" : { "ts" : Timestamp(1657433564, 1), "t" : NumberLong(1) }, "optimeDate" : ISODate("2022-07-10T06:12:44Z"), "optimeDurableDate" : ISODate("2022-07-10T06:12:44Z"), "lastHeartbeat" : ISODate("2022-07-10T06:12:53.660Z"), "lastHeartbeatRecv" : ISODate("2022-07-10T06:12:53.670Z"), "pingMs" : NumberLong(0), "lastHeartbeatMessage" : "", "syncSourceHost" : "10.0.16.9:27318", "syncSourceId" : 0, "infoMessage" : "", "configVersion" : 3, "configTerm" : 1 }, { "_id" : 2, "name" : "10.0.16.9:27518", "health" : 1, "state" : 7, "stateStr" : "ARBITER", "uptime" : 105, "lastHeartbeat" : ISODate("2022-07-10T06:12:53.662Z"), "lastHeartbeatRecv" : ISODate("2022-07-10T06:12:53.691Z"), "pingMs" : NumberLong(0), "lastHeartbeatMessage" : "", "syncSourceHost" : "", "syncSourceId" : -1, "infoMessage" : "", "configVersion" : 3, "configTerm" : 1 } ], "ok" : 1, "$clusterTime" : { "clusterTime" : Timestamp(1657433574, 1), "signature" : { "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="), "keyId" : NumberLong(0) } }, "operationTime" : Timestamp(1657433574, 1) }（2）查看主节点配置
rs.conf()(3）添加副本节点 （4）添加仲裁节点 查看副本集的配置情况
3.2 配置节点副本集的搭建准备存放数据和日志的目录：
mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/log \ & mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/data/db \ & mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/log \ & mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/data/db \ & mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/log \ & mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/data/db \ & 3.2.1 配置主节点新建/修改配置文件：
vim /mongodb/sharded_cluster/myconfigrs_27019/mongod.confmyconfigrs_27019的配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myconfigrs_27019/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myconfigrs_27019/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27019/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27019 replication: #副本集的名称 replSetName: myconfigrs sharding: #分片角色 clusterRole: configsvr 3.2.2 配置副本节点新建/修改配置文件：
vim /mongodb/sharded_cluster/myconfigrs_27119/mongod.confmyconfigrs_27119的配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myconfigrs_27119/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myconfigrs_27119/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27119/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27119 replication: #副本集的名称 replSetName: myconfigrs sharding: #分片角色 clusterRole: configsvr 3.2.3 配置仲裁节点新建/修改配置文件：
vim /mongodb/sharded_cluster/myconfigrs_27219/mongod.confmyconfigrs_27219的配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file path: "/mongodb/sharded_cluster/myconfigrs_27219/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。 dbPath: "/mongodb/sharded_cluster/myconfigrs_27219/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27219/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #绑定的端口 port: 27219 replication: #副本集的名称 replSetName: myconfigrs sharding: #分片角色 clusterRole: configsvr 3.2.4 配置副本集启动配置节点的三个mongo服务,准备配置一主两副的配置副本集：
mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf查看服务是否启动成功
ps -ef|grep mongod执行初始化副本集命令
rs.initiate()查看副本集的状态
rs.status() myconfigrs:PRIMARY> rs.status() { "set" : "myconfigrs", "date" : ISODate("2022-07-11T13:05:48.526Z"), "myState" : 1, "term" : NumberLong(1), "syncSourceHost" : "", "syncSourceId" : -1, "configsvr" : true, "heartbeatIntervalMillis" : NumberLong(2000), "majorityVoteCount" : 2, "writeMajorityCount" : 2, "votingMembersCount" : 3, "writableVotingMembersCount" : 3, "optimes" : { "lastCommittedOpTime" : { "ts" : Timestamp(1657544748, 1), "t" : NumberLong(1) }, "lastCommittedWallTime" : ISODate("2022-07-11T13:05:48.192Z"), "readConcernMajorityOpTime" : { "ts" : Timestamp(1657544748, 1), "t" : NumberLong(1) }, "appliedOpTime" : { "ts" : Timestamp(1657544748, 1), "t" : NumberLong(1) }, "durableOpTime" : { "ts" : Timestamp(1657544748, 1), "t" : NumberLong(1) }, "lastAppliedWallTime" : ISODate("2022-07-11T13:05:48.192Z"), "lastDurableWallTime" : ISODate("2022-07-11T13:05:48.192Z") }, "lastStableRecoveryTimestamp" : Timestamp(1657544743, 1), "electionCandidateMetrics" : { "lastElectionReason" : "electionTimeout", "lastElectionDate" : ISODate("2022-07-11T13:03:43.779Z"), "electionTerm" : NumberLong(1), "lastCommittedOpTimeAtElection" : { "ts" : Timestamp(1657544623, 1), "t" : NumberLong(-1) }, "lastSeenOpTimeAtElection" : { "ts" : Timestamp(1657544623, 1), "t" : NumberLong(-1) }, "numVotesNeeded" : 1, "priorityAtElection" : 1, "electionTimeoutMillis" : NumberLong(10000), "newTermStartDate" : ISODate("2022-07-11T13:03:43.837Z"), "wMajorityWriteAvailabilityDate" : ISODate("2022-07-11T13:03:44.164Z") }, "members" : [ { "_id" : 0, "name" : "10.0.16.9:27019", "health" : 1, "state" : 1, "stateStr" : "PRIMARY", "uptime" : 280, "optime" : { "ts" : Timestamp(1657544748, 1), "t" : NumberLong(1) }, "optimeDate" : ISODate("2022-07-11T13:05:48Z"), "syncSourceHost" : "", "syncSourceId" : -1, "infoMessage" : "", "electionTime" : Timestamp(1657544623, 2), "electionDate" : ISODate("2022-07-11T13:03:43Z"), "configVersion" : 5, "configTerm" : 1, "self" : true, "lastHeartbeatMessage" : "" }, { "_id" : 1, "name" : "10.0.16.9:27119", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 49, "optime" : { "ts" : Timestamp(1657544746, 1), "t" : NumberLong(1) }, "optimeDurable" : { "ts" : Timestamp(1657544746, 1), "t" : NumberLong(1) }, "optimeDate" : ISODate("2022-07-11T13:05:46Z"), "optimeDurableDate" : ISODate("2022-07-11T13:05:46Z"), "lastHeartbeat" : ISODate("2022-07-11T13:05:46.828Z"), "lastHeartbeatRecv" : ISODate("2022-07-11T13:05:46.832Z"), "pingMs" : NumberLong(0), "lastHeartbeatMessage" : "", "syncSourceHost" : "10.0.16.9:27019", "syncSourceId" : 0, "infoMessage" : "", "configVersion" : 5, "configTerm" : 1 }, { "_id" : 2, "name" : "10.0.16.9:27219", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 37, "optime" : { "ts" : Timestamp(1657544746, 1), "t" : NumberLong(1) }, "optimeDurable" : { "ts" : Timestamp(1657544746, 1), "t" : NumberLong(1) }, "optimeDate" : ISODate("2022-07-11T13:05:46Z"), "optimeDurableDate" : ISODate("2022-07-11T13:05:46Z"), "lastHeartbeat" : ISODate("2022-07-11T13:05:46.828Z"), "lastHeartbeatRecv" : ISODate("2022-07-11T13:05:47.334Z"), "pingMs" : NumberLong(0), "lastHeartbeatMessage" : "", "syncSourceHost" : "10.0.16.9:27119", "syncSourceId" : 1, "infoMessage" : "", "configVersion" : 5, "configTerm" : 1 } ], "ok" : 1, "$gleStats" : { "lastOpTime" : { "ts" : Timestamp(1657544710, 1), "t" : NumberLong(1) }, "electionId" : ObjectId("7fffffff0000000000000001") }, "lastCommittedOpTime" : Timestamp(1657544748, 1), "$clusterTime" : { "clusterTime" : Timestamp(1657544748, 1), "signature" : { "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="), "keyId" : NumberLong(0) } }, "operationTime" : Timestamp(1657544748, 1) }（2）查看主节点配置
rs.conf()（3）添加副本节点
查看副本集的配置情况
3.3 路由节点的创建和操作 3.3.1 第一个路由节点的创建和连接准备存放数据和日志的目录：
#-----------mongos01 mkdir -p /mongodb/sharded_cluster/mongos_27017/log \ &新建或修改配置文件:
vi /mongodb/sharded_cluster/mymongos_27017/mongos.confmymongos_27017的配置文件：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 path: "/mongodb/sharded_cluster/mymongos_27017/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: /mongodb/sharded_cluster/mymongos_27017/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #bindIp #绑定的端口 port: 27017 sharding: #指定配置节点副本集 configDB: myconfigrs/10.0.16.9:27019,10.0.16.9:27119,10.0.16.9:27219启动mongos：
mongos -f /mongodb/sharded_cluster/mymongos_27017/mongos.conf客户端登录mongos，测试写入数据： 可以发现现在无法插入数据：No shards found，这是因为通过路由节点操作，现在只是连接了配置节点，还没有连接分片数据节点，因此无法写入业务数据。
3.3.2 在路由节点上进行分片配置操作(1)添加分片： 语法：
sh.addShard("IP:Port")添加第一套分片副本集
sh.addShard("myshardrs01/10.0.16.9:27018,10.0.16.9:27118,10.0.16.9:27218")查看分片状态情况：
sh.status()添加第二套分片副本集
sh.addShard("myshardrs01/10.0.16.9:27018,10.0.16.9:27118,10.0.16.9:27218")查看分片状态情况：
sh.status()如果添加分片失败，需要先手动移除分片，检查添加分片的信息的正确性后，再次添加分片。
移除分片参考(了解)：
use admin db.runCommand( { removeShard: "myshardrs02" }注意：如果只剩下最后一个shard，是无法删除的。移除时会自动转移分片数据，需要一个时间过程。完成后，再次执行删除分片命令才能真正删除。
3.3.2.1 数据库分片开启分片功能：
sh.enableSharding("库名")、 sh.shardCollection("库名.集合名",{"key":1})在mongos上的articledb数据库配置sharding:
sh.enableSharding("articledb")查看分片状态
sh.status() 3.3.2.2 集合分片对集合分片，你必须使用 sh.shardCollection() 方法指定集合和分片键。语法：
sh.shardCollection(namespace, key, unique)参数说明：
对集合进行分片时,你需要选择一个 片键（Shard Key） , shard key 是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB按照片键将数据划分到不同的 数据块 中,并将 数据块 均衡地分布到所有分片中.为了按照片键划分数据块,MongoDB使用 基于哈希的分片方式（随机平均分配）或者基于范围的分片方式（数值大小分配） 。
用什么字段当片键都可以，如：nickname作为片键，但一定是必填字段。
分片规则一：哈希策略对于基于哈希的分片 ,MongoDB计算一个字段的哈希值,并用这个哈希值来创建数据块
在使用基于哈希分片的系统中,拥有”相近”片键的文档 很可能不会存储在同一个数据块中,因此数据的分离性更好一些.使用nickname作为片键，根据其值的哈希值进行数据分片
sh.shardCollection("articledb.comment",{"nickname":"hashed"})查看分片状态
sh.status() 分片规则二：范围策略对于 基于范围的分片 ,MongoDB按照片键的范围把数据分成不同部分.假设有一个数字的片键:想象一个从负无穷到正无穷的直线,每一个片键的值都在直线上画了一个点.MongoDB把这条直线划分为更短的不重叠的片段,并称之为 数据块 ,每个数据块包含了片键在一定范围内的数据。在使用片键做范围划分的系统中,拥有”相近”片键的文档很可能存储在同一个数据块中,因此也会存储在同一个分片中。如使用作者年龄字段作为片键，按照点赞数的值进行分片：
sh.shardCollection("articledb.author",{"age":1})需要注意的是： 1）一个集合只能指定一个片键，否则报错。 2）一旦对一个集合分片，分片键和分片值就不可改变。 如：不能给集合选择不同的分片键、不能更新 分片键的值。 3）根据age索引进行分配数据
查看分片状态
sh.status()基于范围的分片方式与基于哈希的分片方式性能对比：
基于范围的分片方式提供了更高效的范围查询,给定一个片键的范围,分发路由可以很简单地确定哪个数据块存储了请求需要的数据,并将请求转发到相应的分片中.
不过,基于范围的分片会导致数据在不同分片上的不均衡,有时候,带来的消极作用会大于查询性能的积极作用.比如,如果片键所在的字段是线性增长的,一定时间内的所有请求都会落到某个固定的数据块中,最终导致分布在同一个分片中.在这种情况下,一小部分分片承载了集群大部分的数据,系统并不能很好地进行扩展.
与此相比,基于哈希的分片方式以范围查询性能的损失为代价,保证了集群中数据的均衡.哈希值的随机性使数据随机分布在每个数据块中,因此也随机分布在不同分片中.但是也正由于随机性,一个范围查询很难确定应该请求哪些分片,通常为了返回需要的结果,需要请求所有分片.
如无特殊情况，一般推荐使用 Hash Sharding。而使用 _id 作为片键是一个不错的选择，因为它是必有的，你可以使用数据文档 _id 的哈希作为片键。这个方案能够是的读和写都能够平均分布，并且它能够保证每个文档都有不同的片键所以数据块能够很精细。似乎还是不够完美，因为这样的话对多个文档的查询必将命中所有的分片。虽说如此，这也是一种比较好的方案了。理想化的 shard key 可以让 documents 均匀地在集群中分布：
显示集群的详细信息：
db.printShardingStatus()查看均衡器是否工作（需要重新均衡时系统才会自动启动，不用管它）：
sh.isBalancerRunning()查看当前Balancer状态：
sh.getBalancerState() 3.3.3 分片后插入数据测试 3.3.3.1 哈希策略测试登录mongs后，向comment循环插入1000条数据做测试。（这里使用的是js的语法，因为mongo的shell是一个JavaScript的shell）
use articledb for(var i=1;i<=1000;i++){db.comment.insert({_id:i+"",nickname:"BoBo"+i})}注意：从路由上插入的数据，必须包含片键，否则无法插入。
分别登陆两个片的主节点，统计文档数，第一个分片副本集：
mongo --host 10.0.16.9 --port 27018第二个分片副本集：
mongo --host 10.0.16.9 --port 27318可以看到1000条数据近似均匀的分布到了2个shard上。是根据片键的哈希值分配的。这种分配方式非常易于水平扩展：一旦数据存储需要更大空间，可以直接再增加分片即可，同时提升了性能。
使用db.comment.stats()查看单个集合的完整情况，mongos执行该命令可以查看该集合的数据分片的情况。使用sh.status()查看本库内所有集合的分片信息。
3.3.3.2 范围规则测试登录mongs后，向author循环插入1000条数据做测试：
use articledb for(var i=1;i<=20000;i++){db.author.save({"name":"BoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBo"+i,"age":NumberInt(i%120)})}因为默认的数据块尺寸（chunksize）是64M，填满后才会考虑向其他片的数据块填充数据，因此，为了测试多执行上述插入语句。
或者使用此操作：
use config db.settings.save( { _id:"chunksize", value: 1 }要先改小，再设置分片。为了测试，可以先删除集合，重新建立集合的分片策略，再插入数据测试即可
测试完改回来原本的配置：
db.settings.save( { _id:"chunksize", value: 64 })连接第二个分片可以看到实现了范围策略分片
3.3.4 再增加一个路由节点新建文件夹：
#-----------mongos02 mkdir -p /mongodb/sharded_cluster/mymongos_27117/log新建或修改配置文件：
vi /mongodb/sharded_cluster/mymongos_27117/mongos.confmymongos_27117/mongos.conf的配置文件内容：
systemLog: #MongoDB发送所有日志输出的目标指定为文件 destination: file #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 path: "/mongodb/sharded_cluster/mymongos_27117/log/mongod.log" #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。 logAppend: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID pidFilePath: /mongodb/sharded_cluster/mymongos_27117/log/mongod.pid" net: #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip #bindIpAll: true #服务实例绑定的IP bindIp: localhost,10.0.16.9 #bindIp #绑定的端口 port: 27117 sharding: #指定配置节点副本集 configDB: myconfigrs/10.0.16.9:27019,10.0.16.9:27119,10.0.16.9:27219启动mongos2：
mongos -f /mongodb/sharded_cluster/mymongos_27117/mongos.conf使用mongo客户端登录27117，发现，第二个路由无需配置，因为分片配置都保存到了配置服务器中 了。
4. Compass连接分片集群和连接单机mongod一样 连接成功后，上方有mongos和分片集群的提示：
5. SpringDataMongDB连接分片集群Java客户端常用的是SpringDataMongoDB，其连接的是mongs路由，配置和单机mongod的配置是一样的。多个路由的时候的SpringDataMongoDB的客户端配置参考如下：
spring: data: mongodb: uri: mongodb://180.76.159.126:27017,180.76.159.126:27117/articledb 6. 清除所有的节点数据如果在搭建分片的时候有操作失败或配置有问题，需要重新来过的，可以进行如下操作： 第一步：查询出所有的测试服务节点的进程
ps -ef |grep mongo根据上述的进程编号，依次中断进程：
kill -2 进程编号第二步：清除所有的节点的数据：
rm -rf /mongodb/sharded_cluster/myconfigrs_27019/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myconfigrs_27119/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myconfigrs_27219/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myshardrs01_27018/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myshardrs01_27118/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myshardrs01_27218/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myshardrs02_27318/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myshardrs02_27418/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/myshardrs02_27518/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/mymongos_27017/data/db/*.* \ & rm -rf /mongodb/sharded_cluster/mymongos_27117/data/db/*.* \ &第三步：查看或修改有问题的配置
第四步：依次启动所有节点，不包括路由节点：
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf第五步：对两个数据分片副本集和一个配置副本集进行初始化和相关配置 第六步：检查路由mongos的配置，并启动mongos
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/mymongos_27017/mongos.conf /usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/mymongos_27117/mongos.conf第七步：mongo登录mongos，在其上进行进行初始化和相关操作。
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |