MongoDB分片集群是啥？一文帶你搞明白原理及搭建

2024-09-07 00:22:35

字體：大中小

供稿：網(wǎng)友

　　我們知道m(xù)ongodb是分布式文檔存儲(chǔ)數(shù)據(jù)庫(kù)，而mongodb部署架構(gòu)分為單機(jī)，可復(fù)制集和分片群集。其中，分片群集是比較復(fù)雜，而且運(yùn)維難度比較高的。很多人對(duì)于mongodb分片集群都不是很理解，這篇文章就給大家介紹一下MongoDB分片集群的問(wèn)題。

　　1、什么是分片？為什么要分片？

　　我們知道數(shù)據(jù)庫(kù)服務(wù)器一般出現(xiàn)瓶頸是在磁盤(pán)io上，或者高并發(fā)網(wǎng)絡(luò)io，又或者單臺(tái)server的cpu、內(nèi)存等等一系列原因。于是，為了解決這些瓶頸問(wèn)題，我們就必須擴(kuò)展服務(wù)器性能；通常擴(kuò)展服務(wù)器有向上擴(kuò)展和向外擴(kuò)展，所謂向上擴(kuò)展就是給服務(wù)器加更大的磁盤(pán)，使用更大更好的內(nèi)存，更換更好的cpu。這種擴(kuò)展在一定程度上是可以解決性能瓶頸問(wèn)題，但隨著數(shù)據(jù)量大增大，瓶頸會(huì)再次出現(xiàn)；所以通常這種向上擴(kuò)展的方式不推薦。

　　向外擴(kuò)展是指一臺(tái)服務(wù)器不夠加兩臺(tái)，兩臺(tái)不夠加三臺(tái)，以這種方式擴(kuò)展，只要出現(xiàn)瓶頸我們就可以使用增加服務(wù)器來(lái)解決；這樣一來(lái)服務(wù)器性能解決了，但用戶的讀寫(xiě)怎么分散到多個(gè)服務(wù)器上去呢？所以我們還要想辦法把數(shù)據(jù)切分成多塊，讓每個(gè)服務(wù)器只保存整個(gè)數(shù)據(jù)集的部分?jǐn)?shù)據(jù)，這樣一來(lái)使得原來(lái)一個(gè)很大的數(shù)據(jù)集就通過(guò)切片的方式，把它切分成多分，分散的存放在多個(gè)服務(wù)器上，這就是分片。

　　2、數(shù)據(jù)集分片示意圖

　　提示：我們通過(guò)分片，可以將原本1T的數(shù)據(jù)集，平均分成4分，每個(gè)節(jié)點(diǎn)存儲(chǔ)原有數(shù)據(jù)集的1/4，使得原來(lái)用一臺(tái)服務(wù)器處理1T的數(shù)據(jù)，現(xiàn)在可以用4臺(tái)服務(wù)器來(lái)處理，這樣一來(lái)就有效的提高了數(shù)據(jù)處理過(guò)程；這也是分布式系統(tǒng)的意義；在mongodb中我們把這種共同處理一個(gè)數(shù)據(jù)集的部分?jǐn)?shù)據(jù)的節(jié)點(diǎn)叫shard，我們把使用這種分片機(jī)制的mongodb集群就叫做mongodb分片集群；

　　3、mongodb分片集群架構(gòu)

　　提示：在mongodb分片集群中，通常有三類(lèi)角色，第一類(lèi)是router角色，router角色主要用來(lái)接收客戶端的讀寫(xiě)請(qǐng)求，主要運(yùn)行mongos這個(gè)服務(wù)；為了使得router角色的高可用，通常會(huì)用多個(gè)節(jié)點(diǎn)來(lái)組成router高可用集群；第二類(lèi)是config server，這類(lèi)角色主要用來(lái)保存mongodb分片集群中的數(shù)據(jù)和集群的元數(shù)據(jù)信息，有點(diǎn)類(lèi)似mogilefs中的tracker的作用；為了保證config server的高可用性，通常config server也會(huì)將其運(yùn)行為一個(gè)副本集；第三類(lèi)是shard角色，這類(lèi)角色主要用來(lái)存放數(shù)據(jù)，類(lèi)似mogilefs的數(shù)據(jù)節(jié)點(diǎn)，為了保證數(shù)據(jù)的高可用和完整性，通常每個(gè)shard是一個(gè)副本集；

　　4、mongodb分片集群工作過(guò)程

　　首先用戶將請(qǐng)求發(fā)送給router，router接收到用戶請(qǐng)求，然后去找config server拿對(duì)應(yīng)請(qǐng)求的元數(shù)據(jù)信息，router拿到元數(shù)據(jù)信息后，然后再向?qū)?yīng)的shard請(qǐng)求數(shù)據(jù)，最后將數(shù)據(jù)整合后響應(yīng)給用戶；在這個(gè)過(guò)程中router 就相當(dāng)于mongodb的一個(gè)客戶端代理；而config server用來(lái)存放數(shù)據(jù)的元數(shù)據(jù)信息，這些信息主要包含了那些shard上存放了那些數(shù)據(jù)，對(duì)應(yīng)的那些數(shù)據(jù)存放在那些shard上，和mogilefs上的tracker非常類(lèi)似，主要存放了兩張表，一個(gè)是以數(shù)據(jù)為中心的一張表，一個(gè)是以shard節(jié)點(diǎn)為中心的一張表；

　　5、mongodb是怎么分片的？

　　在mongodb的分片集群中，分片是按照collection字段來(lái)分的，我們把指定的字段叫shard key；根據(jù)shard key的取值不同和應(yīng)用場(chǎng)景，我們可以基于shard key取值范圍來(lái)分片，也可以基于shard key做hash分片；分好片以后將結(jié)果保存在config server上；在configserver 上保存了每一個(gè)分片對(duì)應(yīng)的數(shù)據(jù)集；比如我們基于shardkey的范圍來(lái)分片，在configserver上就記錄了一個(gè)連續(xù)范圍的shardkey的值都保存在一個(gè)分片上；

　　除了上述兩種切片的方式以外，我們還可以根據(jù)區(qū)域切片，也叫基于列表切片，

　　上圖主要描述了基于區(qū)域分片，這種分片一般是針對(duì)shardkey的取值范圍不是一個(gè)順序的集合，而是一個(gè)離散的集合，比如我們可用這種方式對(duì)全國(guó)省份這個(gè)字段做切片，把流量特別大的省份單獨(dú)切一個(gè)片，把流量小的幾個(gè)省份組合切分一片，把國(guó)外的訪問(wèn)或不是國(guó)內(nèi)省份的切分為一片；這種切片有點(diǎn)類(lèi)似給shardkey做分類(lèi)；不管用什么方式去做分片，我們盡可能的遵循寫(xiě)操作要越分散越好，讀操作要越集中越好；

　　6、mongodb分片集群搭建

　　基礎(chǔ)環(huán)境，各server做時(shí)間同步，關(guān)閉防火墻，關(guān)閉selinux，ssh互信，主機(jī)名解析

　　主機(jī)名解析

[root@node01 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1   localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.99 time.test.org time-node
192.168.0.41 node01.test.org node01
192.168.0.42 node02.test.org node02
192.168.0.43 node03.test.org node03
192.168.0.44 node04.test.org node04
192.168.0.45 node05.test.org node05
192.168.0.46 node06.test.org node06
192.168.0.47 node07.test.org node07
192.168.0.48 node08.test.org node08
192.168.0.49 node09.test.org node09
192.168.0.50 node10.test.org node10
192.168.0.51 node11.test.org node11
192.168.0.52 node12.test.org node12
[root@node01 ~]#
　　準(zhǔn)備好基礎(chǔ)環(huán)境以后，配置mongodb yum源

[root@node01 ~]# cat /etc/yum.repos.d/mongodb.repo
[mongodb-org]
name = MongoDB Repository
baseurl = https://mirrors.aliyun.com/mongodb/yum/redhat/7/mongodb-org/4.4/x86_64/
gpgcheck = 1
enabled = 1
gpgkey = https://www.mongodb.org/static/pgp/server-4.4.asc
[root@node01 ~]#
　　將mongodb yum源復(fù)制給其他節(jié)點(diǎn)

[root@node01 ~]# for i in {02..10} ; do scp /etc/yum.repos.d/mongodb.repo node$i:/etc/yum.repos.d/; done
mongodb.repo                 100% 206 247.2KB/s 00:00
mongodb.repo                 100% 206 222.3KB/s 00:00
mongodb.repo                 100% 206 118.7KB/s 00:00
mongodb.repo                 100% 206 164.0KB/s 00:00
mongodb.repo                 100% 206 145.2KB/s 00:00
mongodb.repo                 100% 206 119.9KB/s 00:00
mongodb.repo                 100% 206 219.2KB/s 00:00
mongodb.repo                 100% 206 302.1KB/s 00:00
mongodb.repo                 100% 206 289.3KB/s 00:00
[root@node01 ~]#

（編輯：武林網(wǎng)）

上一篇：mongodb查找耗時(shí)的辦法是什么？

下一篇：MongoDB如何限制對(duì)內(nèi)存使用及查看內(nèi)存運(yùn)用情況？