解析linux下安裝memcacheq(mcq)全過程筆記

2020-03-22 19:47:32

字體：大中小

供稿：網(wǎng)友

memcacheQ是一個(gè)單純的分布式消息隊(duì)列服務(wù)。
一，MEMCACHEQ的應(yīng)用背景
Web應(yīng)用中為什
么會(huì)需要消息隊(duì)列？主要原因是由于在高并發(fā)環(huán)境下，由于來不及同步處理，請(qǐng)求往往會(huì)發(fā)生堵塞，比如說，大量的insert，update之類的請(qǐng)求同時(shí)到達(dá)mysql，直接導(dǎo)致無數(shù)的行鎖表鎖，甚至最后請(qǐng)求會(huì)堆積過多，從而觸發(fā)too manyconnections錯(cuò)誤。通過使用消息隊(duì)列，我們可以異步處理請(qǐng)求，從而緩解系統(tǒng)的壓力。在Web2.0的時(shí)代，高并發(fā)的情況越來越常見，從而使消息隊(duì)列有成為居家必備的趨勢(shì)，相應(yīng)的也涌現(xiàn)出了很多實(shí)現(xiàn)方案，像Twitter以前就使用RabbitMQ實(shí)現(xiàn)消息隊(duì)列服務(wù)，現(xiàn)在又轉(zhuǎn)而使用Kestrel來實(shí)現(xiàn)消息隊(duì)列服務(wù)，此外還有很多其他的選擇，比如說：ActiveMQ，ZeroMQ等。

上述消息隊(duì)列的軟件中，大多為了實(shí)現(xiàn)AMQP，STOMP，XMPP之類的協(xié)議，變得極其重量級(jí)，但在很多Web應(yīng)用中的實(shí)際情況是：我們只是想找到一個(gè)緩解高并發(fā)請(qǐng)求的解決方案，不需要雜七雜八的功能，一個(gè)輕量級(jí)的消息隊(duì)列實(shí)現(xiàn)方式才是我們真正需要的。二，MEMCACHEQ的特性
1 簡(jiǎn)單易用
2 處理速度快
3 多條隊(duì)列
4 并發(fā)性能好
5 與memcache的協(xié)議兼容。這就意味著只要裝了memcache的extension就可以了，不需要額外的插件。三，安裝
MEMCACHEQ依賴于libevent和BerkleyDB。
BerkleyDB用于持久化存儲(chǔ)隊(duì)列的數(shù)據(jù)。這樣在MEMCACHEQ崩潰或者服務(wù)器掛掉的時(shí)候，
不至于造成數(shù)據(jù)的丟失。這一點(diǎn)很重要，很重要。
它的安裝依賴于BerkeleyDB 和 libevent，所以要先安裝這BerkeleyDB和libevent：
其中l(wèi)ibevent如果你安裝過memcached就已經(jīng)安裝了，如果不確定，就檢查一下吧1. 先檢查libevent, libevent-devel是否已經(jīng)安裝： rpm -qa|grep libevent 輸出中必須包含libevent, libevent-deve, 如果缺失，使用以下命令安裝：
yum install libevent yum
install libevent-devel
注意事項(xiàng)：libevent, libevent-devel優(yōu)先使用yum安裝源，光盤鏡像中的rpm包安裝，這樣穩(wěn)定性和兼容性可得到保證，網(wǎng)上流傳的使用源碼安裝libevent的方法會(huì)有問題，因?yàn)楹芸赡芟到y(tǒng)已經(jīng)安裝libevent, 再使用源碼安裝，必然導(dǎo)致沖突，造成意外問題，所以一定要使用上述命令檢查系統(tǒng)是否已經(jīng)安裝相應(yīng)的庫2. 安裝BerkleyDB
1.tar zxvf bdb-5.3.3.tar.gz
2.cd db-5.3.3/
#需要進(jìn)入特定操作系統(tǒng)編譯環(huán)境，更常規(guī)軟件的編譯有些區(qū)別
3.cd build_unix/
4. ../dist/configure --prefix=/usr/local/berkeleydb
#如果沒有指定特殊安裝路徑，編譯完成，需要將Berkeley Db運(yùn)行庫的路徑添加到系統(tǒng)配置里面
echo "/usr/local/BerkeleyDB.5.3/lib/" /etc/ld.so.conf
#重載系統(tǒng)Ld運(yùn)行庫
ldconfig
5. make & make install
記得改/etc/ld.so.conf文件，添加/usr/local/BerkeleyDB.5.3/lib啊，不然后面的mcq會(huì)安裝錯(cuò)誤。
而BerkeleyDB就要去下載了
點(diǎn)擊下載memcacheq-0.2.0.rar
解壓，進(jìn)目錄
./configure –with-bdb=/usr/local/BerkeleyDB.5.1 –with-libevent=/usr/local/lib –enable-threads
make
make install
關(guān)鍵是紅色字體那一步，一定輸入正確，不然make不通過，無法安裝下面是啟動(dòng)
memcacheq -d -r -u root -p21201 -H /data/memcacheq -N -v -L 1024 -B 1024 /data/mq_error.log 2 &1
這里不推薦使用root用戶，有些帖子里說不可以，我這里測(cè)試是可以的，不過可能會(huì)不安全。
1 下面是啟動(dòng)時(shí)候的參數(shù)
使用memcacheq -h 的命令來查看命令行選項(xiàng)
2 這個(gè)是正確的啟動(dòng)memcacheq：memcacheq -d -uroot -r -p11212 -H /home/wwwroot/mcq -N -R -v -L 1024 -B 1024 /home/wwwlogs/mq_error.log 2 &1
3 這個(gè)不知道為什么就不行/usr/local/memcacheq/bin/memcacheq -d -l 127.0.0.1 -A 8192 -H /data/memcacheq -B 65535 -N -R -u root
-p num TCP監(jiān)聽端口(default: 22201)
-U num UDP監(jiān)聽端口(default: 0, off)
-s file unix socket路徑(不支持網(wǎng)絡(luò))
-a mask unix socket訪問掩碼(default 0700)
-l ip_addr 監(jiān)聽網(wǎng)卡
-d 守護(hù)進(jìn)程
-r 最大化核心文件限制
-u username 以用戶身份運(yùn)行(only when run as root)
-c num 最大并發(fā)連接數(shù)(default is 1024)
-v 詳細(xì)輸出 (print errors/warnings while in event loop)
-vv 更詳細(xì)的輸出 (also print client commands/reponses)
-i 打印許可證信息
-P file PID文件
-t num 線程數(shù)(default 4)
--------------------BerkeleyDB Options-------------------------------
-m num BerkeleyDB內(nèi)存緩存大小, default is 64MB
-A num 底層頁面大小, default is 4096, (512B ~ 64KB, power-of-two)
-H dir 數(shù)據(jù)庫家目錄, default is '/data1/memcacheq'
-L num 日志緩沖區(qū)大小, default is 32KB
-C num 多少秒checkpoint一次, 0 for disable, default is 5 minutes
-T num 多少秒memp_trickle一次, 0 for disable, default is 30 seconds
-S num 多少秒queue stats dump一次, 0 for disable, default is 30 seconds
-e num 達(dá)到緩存百分之多少需要刷新, default is 60%
-E num 一個(gè)單一的DB文件有多少頁, default is 16*1024, 0 for disable
-B num 指定消息體的長(zhǎng)度,單位字節(jié), default is 1024
-D num 多少毫秒做一次死鎖檢測(cè)(deadlock detecting), 0 for disable, default is 100ms
-N 開啟DB_TXN_NOSYNC獲得巨大的性能改善, default is off
-R 自動(dòng)刪除不再需要的日志文件, default is off
測(cè)試三、測(cè)試
1.telnet 10.218.31.121 22201
2.stats
2.stats queue
3.set q4 0 0 5
4 hello
5 get q4
6 stats queue
7 delete q4
如果set的時(shí)候補(bǔ)成功not_STORED的話，檢查一下你的啟動(dòng)命令吧，參數(shù)沒設(shè)置好，如果你是新手，干翠多看幾個(gè)帖子，多嘗試啟動(dòng)命令，換換參數(shù)，就行了四，使用
使用以上命令啟動(dòng)mq后，（注意上面的-B參數(shù)表示messag的body長(zhǎng)度不能超過1024 bytes），使用mq時(shí)只需要用到兩個(gè)命令：set和get：
set queue name flags 0 message_len /r/n
put your message body here /r/n
STORED/r/n
get queue name /r/n
VALUE queue name flags message_len /r/n
your message body will come here /r/n
END/r/n
可以看到，和memcache協(xié)議基本一致，只是把key name換成queue name，而且在set的命令中，忽略了expire_time的參數(shù)。畢竟mq的數(shù)據(jù)存儲(chǔ)是存在berkeleyDB中，做了持久化存儲(chǔ)，沒有內(nèi)存的過期時(shí)間。
當(dāng)使用set命令時(shí)，就向指定的消息隊(duì)列中寫入了一條新消息，也就是向BerkeleyDB中新insert了一條數(shù)據(jù)，當(dāng)使用get命令時(shí)，就從指定隊(duì)列中取出一條新消息，也就是向BerkeleyDB中delete了一條數(shù)據(jù)。當(dāng)使用stats查看一個(gè)指定隊(duì)列時(shí)，可以看到這個(gè)隊(duì)列一共接收了多少消息，其中被取出了多少條。
示例：
復(fù)制代碼代碼如下:
fengbo@onlinegame-10-121:~$ telnet 127.0.0.1 22202
Trying 127.0.0.1…
Connected to 127.0.0.1.
Escape character is ‘^]'.
set q4 0 0 5
hello
STORED
set q4 0 0 5
world
STORED
stats queue
STAT q4 2/0
END
get q4
VALUE q4 0 5
hello
END
stats queue
STAT q4 2/1
END

上面執(zhí)行了兩次set的命令，使用stats queue查看時(shí)，可以看到q4的隊(duì)列中共有消息2條，已取出0條；當(dāng)使用get取出第一條后，再此使用stats queue查看，q4中消息有2條，其中已取出1條。
PHP測(cè)試：
復(fù)制代碼代碼如下:
session_start();
$memcache_obj = new Memcache;
$memcache_obj- connect(‘127.0.0.1′, 11212) or die (“error”);
memcache_set($memcache_obj, ‘k',10, 0, 0);
echo “queue”.memcache_get($memcache_obj, ‘k');
memcache_close($memcache_obj);

注釋：
這個(gè)時(shí)候會(huì)出現(xiàn)這樣的問題
memcacheq: error while loading shared libraries: libdb-5.0.so: cannot open shared object file: No such file or directory
解決辦法：在/usr/lib 下建個(gè) libdb-5.0.so 軟鏈就OK啦
ln -s /usr/local/BerkeleyDB.5.0/lib/libdb-5.0.so /usr/lib/五，關(guān)閉memcacheQ
使用ps命令查查memcacheQ的進(jìn)程:ps -ef|grep wuf,然后直接將進(jìn)程kill掉.
PHP教程

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。

上一篇：在Linux系統(tǒng)下一鍵重新安裝WordPress的腳本示例

下一篇：在服務(wù)器上搭建一個(gè)lamp（Linux（CentOS7）+Apache+M