一、分布式存儲系統(tǒng)簡介
隨著信息技術不斷的發(fā)展，給我們帶來便利的同時，不斷增加的數據量級、信息之間的連接關聯(lián)越來越復雜、數據訪問的并發(fā)量日益增加對I/O的要求越來越高、數據類型越來越復雜等難題也成為信息技術繼續(xù)高速發(fā)展亟需解決的難題。分布式存儲系統(tǒng)的出現(xiàn)在很大程度上解決了以上大部分難題。
分布式存儲系統(tǒng)，是將數據分散存儲在多臺獨立的設備上。傳統(tǒng)的網絡存儲系統(tǒng)采用集中的存儲服務器存放所有數據，存儲服務器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應用的需要。分布式存儲系統(tǒng)采用可擴展的系統(tǒng)結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。
分布式存儲系統(tǒng)在接口類型上可分為通用分布式儲存和專用分布式儲存。通用分布式儲存是指沒有文件系統(tǒng)接口，需要通過API接口進行訪問；專用分布式儲存也稱為分布式文件系統(tǒng)，它們一般都會有文件系統(tǒng)接口，可以直接掛載。通用分布式儲存有mogilefs、fastdfs等，專用分布式儲存系統(tǒng)有moosefs等。
二、Mogilefs
MogileFS是一個開源的分布式文件存儲系統(tǒng)，MogileFS適用于存儲海量小文件的工作場景，由LiveJournal旗下的Danga Interactive公司開發(fā)，該團隊開發(fā)了包括 Memcached、MogileFS、Perlbal 等多個知名的開源項目。
1.Mogilefs架構圖：
2.組成Mogliefs的組件：
1.Trackers(mogilefsd)：Mogliefs的核心組件，主要功能是(Replication)節(jié)點文件復制、(Deletion)文件刪除、(Query)元數據查詢、(Monitor)健康監(jiān)測、(Reaper)儲存失敗重置等等。它通常稱為元數據服務器，但它不會去儲存元數據，而是將元數據儲存在如MySQL這一類的數據庫中。為保證架構的可靠性，Trackers一般有多個。Trackers可看作是一個旁掛式代理，只負責處理元數據信息。
2.數據庫：數據庫用來存放Mogliefs的元數據，而由Trackers來管理數據。因此通常建議做HA。
3.mogstored(儲存節(jié)點)：實際文件存放的地方。通常會將實際文件保存至少兩份副本。
3.示例演示拓撲圖
在三個節(jié)點同時安裝Trackers和mogstored，選擇其中一個節(jié)點安裝MySQL。在生產環(huán)境最好是能單獨將MySQL部署并且做主從復制。Trackers和mogstored也可以分開部署在不同節(jié)點上，這些都需要根據實際的生產環(huán)境來決定。這里主要是演示mogilefs，不做MySQL主從復制演示。若想要Mogilefs能掛載，可以用FUSE來實現(xiàn)。
需要注意的是：mogilefs存儲的文件URL很特殊(后面會解釋mogilefs文件名生產的過程)，如存儲一張圖片時文件URL可能會是類似6060/0000/0000/0000/00000021.jpg這樣的格式，對用戶來講就不太友好，用戶可能需要直觀的類似image.hello.com/21.jpg這樣的URL。所以通常會使用Nginx來反代Mogilefs。
4.系統(tǒng)環(huán)境與安裝
Mogilefs是一個相對較年代較久但成熟的分布式儲存，考慮到可能在Centos7上會出現(xiàn)兼容問題，這里Centos6來演示。
操作系統(tǒng)：CentOS release 6.6
Mogilefs：2.46
nginx：1.10
mysql：5.1
IP分配：
n1:192.168.29.111，n2:192.168.29.112，n3:192.168.29.113，n4:192.168.29.114
結構如上圖所示。
1.在n1節(jié)點上安裝MySQL、mogilefsd、mogstored，并將n1配置為Trackers、Storage Node
MySQL直接用yum安裝。
~]# yum install -y mysql mysql-server
安裝Mogilefs的Trackers和Storage Node組件，安裝時一定要安裝Perl相關的依賴包，依賴包有：
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpmperl-IO-stringy-2.110-1.2.el6.rfx.noarch.rpmperl-Net-Netmask-1.9015-8.el6.noarch.rpmPerlbal-1.78-1.el6.noarch.rpmperl-Perlbal-1.78-1.el6.noarch.rpmPerlbal-doc-1.78-1.el6.noarch.rpmperl-IO-AIO-3.71-2.el6.x86_64.rpm
上述依賴包一定要安裝后才能安裝Mogilefs。安裝組件：
yum install -y MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-2.46-2.el6.noarch.rpm
配置MogileFS-Server-mogilefsd：
~]# vim /etc/mogilefs/mogilefsd.conf #Mogilfs Trackers的主配置文件
# Enable daemon mode to work in background and use syslogdaemonize = 1 #是否以守護進程的方式運行。# Where to store the pid of the daemon (must be the same in the init script)pidfile = /var/run/mogilefsd/mogilefsd.pid #pid文件路徑# Database connection informationdb_dsn = DBI:mysql:mogilefs:host=192.168.29.111 #數據庫的地址db_user = moguser #配置數據庫的用戶名及密碼db_pass = 123456# IP:PORT to listen on for mogilefs client requestslisten = 0.0.0.0:7001 #監(jiān)聽的地址與端口# Optional, if you don't define the port above.conf_port = 7001 #默認端口# Number of query workers to start by default.query_jobs = 10 #查詢進程數量# Number of delete workers to start by default.delete_jobs = 1 # Number of replicate workers to start by default.replicate_jobs = 5# Number of reaper workers to start by default.# (you don't usually need to increase this)reaper_jobs = 1# Number of fsck workers to start by default.# (these can cause a lot of load when fsck'ing)#fsck_jobs = 1# Minimum amount of space to reserve in megabytes# default: 100# Consider setting this to be larger than the largest file you# would normally be uploading.#min_free_space = 200# Number of seconds to wait for a storage node to respond.# default: 2# Keep this low, so busy storage nodes are quickly ignored.#node_timeout = 2# Number of seconds to wait to connect to a storage node.# default: 2# Keep this low so overloaded nodes get skipped.#conn_timeout = 2# Allow replication to use the secondary node get port,# if you have apache or similar configured for GET's#repl_use_get_port = 1
修改完配置后，進入數據庫創(chuàng)建一個可以遠程連接的root用戶，或者使用mogdbsetup初始化數據庫：
mysql> GRANT ALL ON mogilefs.* TO 'moguser'@'192.168.29.%' IDENTIFIED BY '123456'; #創(chuàng)建用戶moguser，擁有管理mogilefs庫的所有權限，并允許192.168.29.*的用戶遠程連接。mysql> FLUSH PRIVILEGES;mysql> quit
~]# mogdbsetup --dbhost=127.0.0.1 --dbuser=moguser --dbpass=123456
初始化完成后可以在MySQL中看到創(chuàng)建好的mogilefs庫以及里面的表：
啟動mogilefs并確認7001端口處于監(jiān)聽狀態(tài):
~]# service mogilefsd startStarting mogilefsd [ OK ]~]# ss -lnt
注：可以在n2、n3節(jié)點都安裝Trackers服務，從而消除單點故障風險也能平均I/O壓力。
3.在n1上配置Storage Node
Storage Node配置文件路徑為/etc/mogilefs/mogstored.conf：
~]# vim /etc/mogilefs/mogstored.confmaxconns = 10000 #最大并發(fā)連接數httplisten = 0.0.0.0:7500 #Mogilefs數據的傳輸是通過http協(xié)議實現(xiàn)的，這里是監(jiān)聽的地址和端口mgmtlisten = 0.0.0.0:7501 #健康監(jiān)測的監(jiān)聽地址和端口docroot = /mogliefs/mogdata #數據的存儲路徑，目錄的屬組和屬主必須是mogilefs
創(chuàng)建數據存儲目錄并修改屬組和屬主為mogilefs：
~]# mkdir -pv /mogliefs/mogdata~]# chown -R mogilefs.mogilefs /mogliefs/
啟動mogstored，查看進程是否正常啟動端口是否監(jiān)聽：
~]# service mogstored start~]# ss -lnt #監(jiān)聽端口為7500、7501
4.按照n1的步驟在節(jié)點n2、n3上安裝Mogilefs，并將n1上的配置文件復制到n2、n3。
~]# scp /etc/mogilefs/*.conf root@192.168.29.112:/etc/mogilefs/~]# scp /etc/mogilefs/*.conf root@192.168.29.113:/etc/mogilefs/
啟動mogstored服務并確認監(jiān)聽：
~]# service mogstored start~]# ss -lnt #監(jiān)聽端口為7500、7501
5.用在n1上用mogadm命令將所有節(jié)點整合成集群。
添加存儲節(jié)點，并檢查：
1 ~]# mogadm host add 192.168.29.111 --ip=192.168.29.111 --port=7500 --status=alive2 ~]# mogadm host add 192.168.29.112 --ip=192.168.29.112 --port=7500 --status=alive3 ~]# mogadm host add 192.168.29.113 --ip=192.168.29.113 --port=7500 --status=alive
~]# mogadm check
若想讓mogilefs集群中的存儲被識別成不同設備，需要在創(chuàng)建的/mogliefs/mogdata目錄下再創(chuàng)建名為dev*的目錄，使每個節(jié)點被當做存儲設備使用。mogilefs是將冗余存儲在不同設備中的，每一個節(jié)點都應該被識別為不同的設備。
在n1、n2、n3上的/mogliefs/mogdata/目錄下分別創(chuàng)建dev1,dev2,dev3目錄，并在Trackers上添加設備：
1 ~]# mogadm device add 192.168.29.111 12 ~]# mogadm device add 192.168.29.112 23 ~]# mogadm device add 192.168.29.113 3
6.創(chuàng)建Domain和Class
在Mogilefs中，在多個節(jié)點上為了方便文件副本管理，通常在設備中不會以文件為單位進行管理，而是以class(類)做管理，復制刪除等操作都是以class為最小單位進行的。每個class中可以放很多文件，class的容積也不是固定的。
在Mogilefs的存儲空間中，所有數據文件都在同一平面，所以不能有同名的情況發(fā)生，這樣會影響Mogilefs的靈活性，所以引入了Domain(名稱空間)的概念。Domain包含Class，在不同的Domain中可以有相同的文件名。
~]# mogadm domain add imgs #創(chuàng)建名為imgs的Domain~]# mogadm domain add text #創(chuàng)建名為text的Domain~]# mogadm domain list #查看Domain list
可以自定義Class的屬性，格式為：mogadm class add <domain> <class> [opts]
~]# mogadm class add imgs png --mindevcount=3 --hashtype=MD5 #在Domain imgs中定義名為png的class，在不同設備中復制3份，并用MD5做校驗~]# mogadm class add imgs jpg --mindevcount=3 --hashtype=MD5 #在Domain imgs中定義名為jpg的class，在不同設備中復制3份，并用MD5做校驗~]# mogadm domain list
7.使用Mogilefs做上傳下載測試
Mogilefs可以用自建的API接口進行交互，其中有很多用于管理存儲數據的命令。例如上傳數據命令為mogupload，查看數據命令為mogfileinfo等。
例：測試將文件/test/123.png上傳至Mogilefs集群(文件事先在本地準備好)：
~]# mogupload --trackers=192.168.29.111 --domain=imgs --class=png --key='/111.png' --file='/test/123.png' #通過IP為192.168.29.111的Trackers將123.png文件上傳，并保存至Domain為imgs，Class為png的空間中，并重命名為111.png~]# mogfileinfo --trackers=192.168.29.111 --domain=imgs --class=png --key='/111.png' #查看Domain為imgs，Class為png中key為111.png的文件的存儲情況。
至此，Mogilefs分布式儲存集群就搭建完成了，但若想要使客戶端能與之通信，就需要在接口上進行編程，這樣就很麻煩了，好在我們能用Nginx做反代進行通信。下面來演示Nginx反代Mogilefs的步驟。
5.Nginx反代Mogilefs
1.打開n2，n3的mogilefsd服務，將3個節(jié)點全部設置為Trackers(保證配置文件與n1相同)：
~]# service mogilefsd start
2.在n4節(jié)點編譯安裝Nginx
安裝依賴包：
~]# yum install gcc gcc-c++ perl pcre-devel openssl openssl-devel
下載Nginx編譯安裝包nginx-1.10.3.tar.gz與Nginx_Mogilefs模塊nginx_mogilefs_module-1.0.4.tar.gz并展開：
~]# lsnginx-1.10.3 nginx_mogilefs_module-1.0.4nginx-1.10.3.tar.gz nginx_mogilefs_module-1.0.4.tar.gz
~]# cd nginx-1.10.3./configure /> --prefix=/usr /> --sbin-path=/usr/sbin/nginx /> --conf-path=/etc/nginx/nginx.conf /> --error-log-path=/var/log/nginx/error.log /> --http-log-path=/var/log/nginx/access.log /> --pid-path=/var/run/nginx/nginx.pid /> --lock-path=/var/lock/nginx.lock /> --user=nginx /> --group=nginx /> --with-http_ssl_module /> --with-http_flv_module /> --with-http_stub_status_module /> --with-http_gzip_static_module /> --http-client-body-temp-path=/var/tmp/nginx/client/ /> --http-proxy-temp-path=/var/tmp/nginx/proxy/ /> --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ /> --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi /> --http-scgi-temp-path=/var/tmp/nginx/scgi /> --with-pcre /> --with-debug /> --add-module=../nginx_mogilefs_module-1.0.4/ #一定記得添加Mogilefs模塊所在的路徑，不可少。
~]# make & make install
添加nginx用戶并啟動nginx：
~]# useradd -s /sbin/nologin -M nginx~]# /usr/sbin/nginx
3.配置Nginx
單Trackers示例：
location /imgs/ { mogilefs_tracker 192.168.29.111:7001; #單Trackers示例 mogilefs_domain imgs; #指定Domain mogilefs_class png jpg; #指定Class mogilefs_pass { #傳輸相關配置 proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } }多Trackers示例：
在nginx配置中的http配置段添加調度模塊：
1 upstream mogsvr {2 server 192.168.29.111:7001;3 server 192.168.29.112:7001;4 server 192.168.29.113:7001;5 }在nginx配置中的server配置段添：
location /imgs/ { mogilefs_tracker mogsvr; mogilefs_domain imgs; mogilefs_class png jpg; mogilefs_pass { proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } }重新啟動nginx，并通過nginx訪問之前上傳的圖片：
總結：
在上傳文件時遇到一個錯誤提示MogileFS::Backend: couldn't connect to mogilefsdbackend at /usr/local/share/perl/5.8.4/Client.pm line 282，這是由于mogilefsd服務于MySQL無法連接造成的，檢查它們之間的連接情況就能發(fā)現(xiàn)錯誤所在。
好了，以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對VEVB武林網的支持。
新聞熱點
疑難解答
