情景
由于公司內網有多臺服務器的http服務要映射到公司外網靜態IP,如果用路由的端口映射來做,就只能一臺內網服務器的80端口映射到外網80端口,其他服務器的80端口只能映射到外網的非80端口。非80端口的映射在訪問的時候要域名加上端口,比較麻煩。并且公司入口路由最多只能做20個端口映射。肯定以后不夠用。
然后k兄就提議可以在內網搭建個nginx反向代理服務器,將nginx反向代理服務器的80映射到外網IP的80,這樣指向到公司外網IP的域名的HTTP請求就會發送到nginx反向代理服務器,利用nginx反向代理將不同域名的請求轉發給內網不同機器的端口,就起到了“根據域名自動轉發到相應服務器的特定端口”的效果,而路由器的端口映射做到的只是“根據不同端口自動轉發到相應服務器的特定端口”,真是喜大普奔啊。
涉及的知識:nginx編譯安裝,nginx反向代理基本配置,路由端口映射知識,還有網絡域名等常識。
本次實驗目標是做到:在瀏覽器中輸入xxx123.tk能訪問到內網機器192.168.10.38的3000端口,輸入xxx456.tk能訪問到內網機器192.168.10.40的80端口。
配置步驟
服務器ubuntu 12.04
###更新倉庫apt-get update -yapt-get install wget -y#下載nginx和相關軟件包
pcre是為了編譯rewrite模塊,zlib是為了支持gzip功能。額,這里nginx版本有點舊,因為我還要做升級nginx的實驗用。大家可以裝新版本。
cd /usr/local/src wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a> wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a> wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a> tar xf pcre-8.33.tar.gz tar xf zlib-1.2.8.tar.gz#安裝編譯環境 apt-get install build-essential libtool -y#創建nginx用戶
所謂的unprivileged user
useradd -s /bin/false -r -M -d /nonexistent www#開始編譯安裝/configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www / --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module make make install#給文件夾授權chown -R www:www /usr/local/nginx#修改配置文件vim nginx.conf
user www www;worker_processes 1;error_log logs/error.log;pid logs/nginx.pid;worker_rlimit_nofile 65535;events { use epoll; worker_connections 65535;}http { include mime.types; default_type application/octet-stream; include /usr/local/nginx/conf/reverse-proxy.conf; sendfile on; keepalive_timeout 65; gzip on; client_max_body_size 50m; #緩沖區代理緩沖用戶端請求的最大字節數,可以理解為保存到本地再傳給用戶 client_body_buffer_size 256k; client_header_timeout 3m; client_body_timeout 3m; send_timeout 3m; proxy_connect_timeout 300s; #nginx跟后端服務器連接超時時間(代理連接超時) proxy_read_timeout 300s; #連接成功后,后端服務器響應時間(代理接收超時) proxy_send_timeout 300s; proxy_buffer_size 64k; #設置代理服務器(nginx)保存用戶頭信息的緩沖區大小 proxy_buffers 4 32k; #proxy_buffers緩沖區,網頁平均在32k以下的話,這樣設置 proxy_busy_buffers_size 64k; #高負荷下緩沖大?。╬roxy_buffers*2) proxy_temp_file_write_size 64k; #設定緩存文件夾大小,大于這個值,將從upstream服務器傳遞請求,而不緩沖到磁盤 proxy_ignore_client_abort on; #不允許代理端主動關閉連接 server { listen 80; server_name localhost; location / { root html; index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } }}
編輯反向代理服務器配置文件:
vim /usr/local/nginx/conf/reverse-proxy.conf
server{ listen 80; server_name xxx123.tk; location / { proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://192.168.10.38:3000; } access_log logs/xxx123.tk_access.log;} server{ listen 80; server_name xxx456.tk; location / { proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://192.168.10.40:80; } access_log logs/xxx456.tk_access.log;}
然后重新加載nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司靜態IP,這樣就成功的做到了在瀏覽器中輸入xxx123.tk的時候訪問的內網服務器192.168.10.38的3000端口,輸入xxx456.tk訪問192.168.10.40的80端口的作用。
如果想對后端機器做負載均衡,像下面這配置就可以把對nagios.xxx123.tk的請求分發給內網的131和132這兩臺機器做負載均衡了。
upstream monitor_server { server 192.168.0.131:80; server 192.168.0.132:80;} server{ listen 80; server_name nagios.xxx123.tk; location / { proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://monitor_server; } access_log logs/nagios.xxx123.tk_access.log;}
額,關于負載均衡和緩存就不多說了,這里只是要起到一個簡單的“域名轉發”功能。
另外,由于http請求最后都是由反向代理服務器傳遞給后段的機器,所以后端的機器原來的訪問日志記錄的訪問IP都是反向代理服務器的IP。
要想能記錄真實IP,需要修改后端機器的日志格式,這里假設后端也是一臺nginx:
在后端配置文件里面加入這一段即可:
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" $HTTP_X_Forwarded_For'; access_log logs/access.log access;
再看看原來日志的格式長什么樣:
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '# '$status $body_bytes_sent "$http_referer" '# '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main;
看出區別了吧
遇到的問題
之前沒配置下面這段,訪問時候偶爾會出現504 gateway timeout,由于偶爾出現,所以不太好排查
proxy_connect_timeout 300s; proxy_read_timeout 300s; proxy_send_timeout 300s; proxy_buffer_size 64k; proxy_buffers 4 32k; proxy_busy_buffers_size 64k; proxy_temp_file_write_size 64k; proxy_ignore_client_abort on;
報錯日志:
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略)
從日志看來是連接超時了,網上一通亂查之后估計可能是后端服務器響應超時了,本著大膽假設,小心求證的原則,既然假設了錯誤原因就要做實驗重現錯誤:那就調整代理超時參數,反過來把代理超時閥值設?。ū热?ms)看會不會次次出現504。后來發現把proxy_read_timeout 這個參數設置成1ms的時候,每次訪問都出現504。于是把這個參數調大,加入上面那段配置,解決問題了。
PS:關于域名轉發
所謂域名URL轉發,是通過服務器的特殊設置,將訪問您當前域名的用戶引導到您指定的另一個網絡地址。 地址轉向(也可稱“URL轉發”)即將一個域名指向到另外一個已存在的站點,英文稱為“ URL FORWARDING ”。域名指向可能這個站點原有的域名或網址是比較復雜難記的。
已經注冊成功的域名,若初設或取消 URL 轉發設置,一般均在 24-48 小時之內生效。對于原有已經設置成功的 URL 轉發域名,如果修改 URL 轉發的目標地址,則只需 1-2 個小時即可生效。
不隱藏路徑 URL 轉發:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目錄);當在瀏覽器地址欄中敲入 http://b.com/ 后回車, IE 瀏覽器的地址欄里顯示的地址會由原來您敲入的 http://b.com/ 自動變為顯示真正的目標地址 http://a.com/xxx/ ;
隱藏路徑的 URL 轉發:例如:先同上, IE 瀏覽器的地址欄里顯示的地址保持不變,仍是 http://b.com/ ,但實際訪問到的是 http://a.com/xxx/ 的內容。