這篇文章主要介紹了使用Nginx作緩存服務器以及刪除其緩存文件的方法,作cache時需要注意一下磁盤的IO瓶頸,需要的朋友可以參考下

使用nginx做cache服務器

需求就是緩存android的軟件包，后綴名是apk。話不多說，直接上配置,供參考:

1. a-->nginx.conf 
2. user www www; 
3. worker_processes 8; 
4. error_log /data/logs/nginx_error.log crit; 
5. pid /usr/local/nginx/nginx.pid; 
6. worker_rlimit_nofile 204800; 
7.  
8. events 
9. { 
10. use epoll; 
11. worker_connections 204800; 
12. } 
13.  
14. http 
15. { 
16. include mime.types; 
17. #apk 文件類型 
18. #default_type application/vnd.android.package-archive; 
19. default_type application/octet-stream; 
20.  
21. charset utf-8; 
22.  
23. server_names_hash_bucket_size 128; 
24. client_header_buffer_size 2k; 
25. large_client_header_buffers 4 4k; 
26. client_max_body_size 8m; 
27.  
28. sendfile on; 
29. tcp_nopush on; 
30.  
31. keepalive_timeout 60; 
32. open_file_cache max=204800 inactive=20s; 
33. open_file_cache_min_uses 1; 
34. open_file_cache_valid 30s; 
35.  
36.  
37.  
38. tcp_nodelay on; 
39. client_body_buffer_size 512k; 
40.  
41. #跟后端服務器連接的超時時間_發起握手等候響應超時時間 
42. proxy_connect_timeout 600; 
43. #連接成功后_等候后端服務器響應的時間_其實已經進入后端的排隊之中等候處理 
44. proxy_read_timeout 600; 
45. #后端服務器數據回傳時間_就是在規定時間內后端服務器必須傳完所有數據 
46. proxy_send_timeout 600; 
47. #代理請求緩存區_這個緩存區間會保存用戶的頭信息以供Nginx進行規則處理_一般只要能保存下頭信息即可 
48. proxy_buffer_size 16k; 
49. #同上 告訴Nginx保存單個用的幾個Buffer最大用多大空間 
50. proxy_buffers 4 64k; 
51. #如果系統很忙的時候可以申請更大的proxy_buffers 官方推薦*2 
52. proxy_busy_buffers_size 128k; 
53. #proxy緩存臨時文件的大小 
54. proxy_temp_file_write_size 128k; 
55.  
56. gzip on; 
57. gzip_proxied expired no-cache no-store private auth; 
58. gzip_min_length 1k; 
59. gzip_buffers 4 16k; 
60. gzip_http_version 1.1; 
61. gzip_comp_level 3; 
62. gzip_types text/plain application/x-javascript text/css application/xml; 
63. gzip_disable "MSIE [1-6]/."; 
64. gzip_vary on; 
65.  
66. #log_format access '$remote_addr - $remote_user [$time_local] ' 
67. # '"$request" $status $body_bytes_sent ' 
68. # '"$http_referer" "$http_user_agent" ' 
69. # '$host $request_time $http_x_forwarded_for'; 
70. #access_log /data/logs/http.a.log; 
71. #error_log /data/logs/http.e.log; 
72.  
73. include vhosts/cache.peiqiang.net.conf; 
74. } 
75.  
76. upstream source_site { 
77. server 192.168.1.1:80 weight=7 max_fails=2 fail_timeout=30s; 
78. server 192.168.1.2:80 weight=4 max_fails=2 fail_timeout=30s; 
79. } 
80.  
81. b-->cache.peiqiang.net.conf 
82. #用于指定本地目錄來緩沖較大的代理請求 
83. proxy_temp_path /data/soft/temp; 
84. #設置web緩存區名為cache_one,內存緩存空間大小為12000M，自動清除超過15天沒有被訪問過的緩存數據，硬盤緩存空間大小200g 
85. proxy_cache_path /data/soft/cache levels=1:2 keys_zone=cache_one:12000m inactive=15d max_size=200g; 
86.  
87. server { 
88. listen 80; 
89. server_name cache.peiqiang.net; 
90. access_log /data/logs/a.log; 
91. error_log /data/logs/e.log notice; 
92.  
93. # PHP Scripts is NOT allowed within this site! 
94. location ~* /.(php|php5|jsp|asp|aspx)$ { 
95. deny all; 
96. } 
97.  
98.  
99. location / { 
100.  
101. proxy_next_upstream http_500 http_502 http_503 http_504 error timeout invalid_header; 
102. proxy_cache cache_one; 
103. proxy_cache_valid 200 304 12h; 
104. proxy_cache_key $uri$is_args$args; 
105.  
106. #反向代理，訪問后端內容源服務器 
107. proxy_set_header Host $host; 
108. proxy_set_header X-Forwarded-For $remote_addr; 
109. proxy_pass http://source_site; 
110. } 
111.  
112. location ~* .*/.(apk)$ { 
113. error_page 302 404 = @fallback; 
114.  
115. #如果后端的服務器返回500、502、503、504執行超時等錯誤、自動將請求轉發到upstream負載均衡池中的另一臺服務器，實現故障轉移 
116. proxy_next_upstream http_500 http_502 http_503 http_504 error timeout invalid_header; 
117.  
118. #使用web緩存區cache_one 
119. proxy_cache cache_one; 
120.  
121. #對不同的HTTP狀態碼緩存設置不同的緩存時間 
122. proxy_cache_valid 200 304 12h; 
123.  
124. #設置Web緩存的Key值，Nginx根據Key值md5哈希存儲緩存，這里根據"域名、URI、參數"組合成key 
125. proxy_cache_key $uri$is_args$args; 
126.  
127.  
128. #反向代理，訪問后端內容源服務器 
129. proxy_set_header Host $host; 
130. proxy_set_header X-Forwarded-For $remote_addr; 
131. proxy_pass http://source_site; 
132. expires 1d; 
133. } 
134.  
135. location @fallback { 
136. rewrite ^ $scheme://apke.peiqiang.net$uri redirect; 
137. expires -1; 
138. } 
139. } 

說明：其實按這個配置location /這個匹配是多余的，因為過來一個后綴名為apk的軟件包location ~* .*/.(apk)$已經給匹配上了，不會再到location /了，不過由于我們還會緩存些其他后綴名的文件，所以location /就是必須的。

1. c-->/etc/rc.local 
2. #!/bin/sh 
3. # 
4. # This script will be executed *after* all the other init scripts. 
5. # You can put your own initialization stuff in here if you don't 
6. # want to do the full Sys V style init stuff. 
7.  
8. touch /var/lock/subsys/local 
9. ulimit -HSn 65535 
10. /usr/local/nginx/sbin/nginx 

刪除nginx緩存文件

一:腳本

a shell版

1. #!/bin/bash 
2.  
3. #Date: 2013-06-27 
4. #Auther: budong 
5.  
6. ####################################################### 
7. #說明： 
8. # 1.本腳本用于清除nginx緩存文件 
9. # 2.查看你的nginx是根據什么作為key來hash的，我的設置是 proxy_cache_key $uri$is_args$args; 
10. # 因此nginx會根據$uri$is_args$args作為key進行hash，因此可以模擬nginx對一個key進行再 
11. # hash找到相應的文件路徑，刪除（具體可隨意找個緩存文件 more 一下看看) 
12. # 3.緩存設置 proxy_cache_path /data/mumayi/cache levels=1:2 keys_zone=cache_one:6000m inactive=15d max_size=200g; 
13. # 根據相應的配置，請做相應修改測試 
14. # 4.uri格式請按照同級目錄下rm_apk_list.txt中填寫 
15. ##################################################### 
16.  
17. while read -r line 
18. do 
19. md5uri=`echo -n $line | md5sum | awk '{ print $1 }'` 
20. filepath=`echo "$md5uri" | awk '{print "/data/mumayi/cache/"substr($0,length($0),1)"/"substr($0,length($0)-2,2)"/"$0}'` 
21. rm -rf $filepath 
22. done < /root/sbin/rm_apk_list.txt 
23. b python版 
24.  
25. #!/usr/local/python2.7/bin/python2.7 
26. # -*- coding:utf8 -*- 
27.  
28. #Date: 2013-06-26 
29. #Name: budong 
30.  
31. ''' 
32. 說明： 
33. 1.本腳本用于清除nginx緩存文件 
34. 2.查看你的nginx是根據什么作為key來hash的，我的設置是 proxy_cache_key $uri$is_args$args; 
35. 因此nginx會根據$uri$is_args$args作為key進行hash，因此可以模擬nginx對一個key進行再 
36. hash找到相應的文件路徑，刪除（具體可隨意找個緩存文件 more 一下看看) 
37. 3.緩存設置 proxy_cache_path /data/mumayi/cache levels=1:2 keys_zone=cache_one:6000m inactive=15d max_size=200g; 
38. 根據相應的配置，請做相應修改測試 
39. 4.uri格式請按照同級目錄下rm_apk_list.txt中填寫 
40. ''' 
41. import os 
42. import sys 
43. try: 
44. from hashlib import md5 
45. except: 
46. from md5 import md5 
47.  
48. reload( sys ) 
49. sys.setdefaultencoding('utf-8') 
50.  
51. PROJECT_ROOT = os.path.dirname(os.path.abspath(__file__)) 
52. URI_FILE = ''.join([PROJECT_ROOT,'/rm_apk_list.txt']) 
53.  
54. def nginx_purge(uri): 
55. m = md5() 
56. m.update("%s" % uri) 
57. md5uri=m.hexdigest() 
58. md5uri_len=len(md5uri) 
59. dir1=md5uri[md5uri_len-1:] 
60. dir2=md5uri[md5uri_len-3:md5uri_len-1] 
61. file_path=("/data/mumayi/cache/%s/%s/%s" % (dir1, dir2, md5uri)) 
62. if os.path.exists(file_path): 
63. os.remove(file_path) 
64.  
65. with open("%s" % URI_FILE,'r') as uri_file: 
66. for line in uri_file: 
67. line = line.rstrip() 
68. nginx_purge(line) 

c ngx_cache_purge不做考慮，據說已經停止開發了

說明：

1 我的 /root/sbin/rm_apk_list.txt 文件

1. [root@budong ~]# cat /root/sbin/rm_apk_list.txt  
2. /2013/08/15/38/382272/shuazanzhushou_V1.8.16_mumayi_95a91.apk 

2 查看一個緩存對象，應該有些明白了吧

1. [root@budong ~]# more /data/mumayi/cache/0/00/db9327b60a6b3c164516117f90d9d000  

?

1. KEY: /2013/10/23/43/432816/dinuochongwuDinoPets_V1.1.1_mumayi_0b399.apk 
2. HTTP/1.1 200 OK 
3. Server: nginx/1.2.6 
4. Date: Sun, 15 Dec 2013 19:51:22 GMT 
5. Content-Type: application/vnd.android.package-archive 
6. Content-Length: 37466293 
7. Connection: close 
8. Last-Modified: Wed, 23 Oct 2013 06:15:06 GMT 
9. Expires: Wed, 18 Dec 2013 17:35:07 GMT 
10. Cache-Control: max-age=604800 
11. Accept-Ranges: bytes