首先我們可以通過ulimit –a命令來查看系統的一些資源限制情況，如下：
# ulimit -acore file size (blocks, -c) 1024data seg size (kbytes, -d) unlimitedscheduling priority (-e) 0file size (blocks, -f) unlimitedpending signals (-i) 127422max locked memory (kbytes, -l) 64max memory size (kbytes, -m) unlimitedopen files (-n) 20480pipe size (512 bytes, -p) 8POSIX message queues (bytes, -q) 819200real-time priority (-r) 0stack size (kbytes, -s) unlimitedcpu time (seconds, -t) unlimitedmax user processes (-u) 81920virtual memory (kbytes, -v) unlimitedfile locks (-x) unlimited
這里重點關注open files和max user processes。分別表示：單個進程打開的最大文件數；系統可以申請最大的進程數。
1、查看、修改文件數（當前session有效）：
# ulimit -n20480# ulimit -n 20480
2、查看、修改進程數（當前session有效）：
# ulimit -u81920# ulimit -u 81920
3、永久設置文件數、最大進程：
# vim /etc/security/limits.conf在其中指定最大設置；/etc/profile文件指定；一、最大進程數：
最近在Linux服務器上發布應用時碰到一個如下的異常：
Caused by: java.lang.OutOfMemoryError: unable to create new native threadat java.lang.Thread.start0(Native Method)at java.lang.Thread.start(Thread.java:640)
初看可能會認為是系統的內存不足，如果這樣想的話就被這段提示帶到溝里面去了。上面這段錯誤提示的本質是Linux操作系統無法創建更多進程，導致出錯。因此要解決這個問題需要修改Linux允許創建更多的進程。
1、臨時設置：
我們可以使用 ulimit -u 81920 修改max user processes的值，但是只能在當前終端的這個session里面生效，重新登錄后仍然是使用系統默認值。
2、永久設置：
1）編輯# vim /etc/security/limits.conf
在文件中添加如下內容：
注： *表示所有用戶，soft、hard表示軟限制、硬限制。（軟限制<=硬限制）
2）或者在/etc/profile文件中添加：
ulimit -u 81920
這樣每次用戶登錄就可以設置最大進程數。
二、最大打開文件數：
最大文件打開數在Linux平臺上，無論編寫客戶端程序還是服務端程序，在進行高并發TCP連接處理時，最高的并發數量都要受到系統對用戶單一進程同時可打開文件數量的限制(這是因為系統為每個TCP連接都要創建一個socket句柄，每個socket句柄同時也是一個文件句柄)。
1、查看最大打開文件數：
$ ulimit -n1024
這表示當前用戶的每個進程最多允許同時打開1024個文件，這1024個文件中還得除去每個進程必然打開的標準輸入，標準輸出，標準錯誤，服務器監聽 socket，進程間通訊的unix域socket等文件，那么剩下的可用于客戶端socket連接的文件數就只有大概1024-10=1014個左右。也就是說缺省情況下，基于Linux的通訊程序最多允許同時1014個TCP并發連接。
對于想支持更高數量的TCP并發連接的通訊處理程序，就必須修改Linux對當前用戶的進程同時打開的文件數量的軟限制(soft limit)和硬限制(hardlimit)。其中：
2、修改最大打開文件數：
[speng@as4 ~]$ ulimit -n 10240
上述命令中，臨時設置的單一進程允許打開的最大文件數（當前session有效）。 如果系統回顯類似于“Operation notpermitted”之類的話，說明上述限制修改失敗，實際上是因為在中指定的數值超過了Linux系統對該用戶打開文件數的軟限制或硬限制。因此，就需要修改Linux系統對用戶的關于打開文件數的軟限制和硬限制。
1）首先，修改/etc/security/limits.conf文件，在文件中添加如下行：
speng soft nofile 10240speng hard nofile 10240
其中speng指定了要修改哪個用戶的打開文件數限制，可用'*'號表示修改所有用戶的限制；soft或hard指定要修改軟限制還是硬限制；10240則指定了想要修改的新的限制值，即最大打開文件數(請注意軟限制值要小于或等于硬限制)。修改完后保存文件。
2）其次，修改/etc/pam.d/login文件，在文件中添加如下行：
session required /lib/security/pam_limits.so
這是告訴Linux在用戶完成系統登錄后，應該調用pam_limits.so模塊來設置系統對該用戶可使用的各種資源數量的最大限制(包括用戶可打開的最大文件數限制)，而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設置這些限制值。修改完后保存此文件。
3）第三步，查看Linux系統級的最大打開文件數限制（硬限制），使用如下命令：
[speng@as4 ~]$ cat /proc/sys/fs/file-max12158
這表明這臺Linux系統最多允許同時打開(即包含所有用戶打開文件數總和)12158個文件，是Linux系統級硬限制，所有用戶級的打開文件數限制都不應超過這個數值。通常這個系統級硬限制是Linux系統在啟動時根據系統硬件資源狀況計算出來的最佳的最大同時打開文件數限制，如果沒有特殊需要，不應該修改此限制，除非想為用戶級打開文件數限制設置超過此限制的值。修改此硬限制的方法是修改/etc/rc.local腳本，在腳本中添加如下行：
echo 22158 > /proc/sys/fs/file-max
這是讓Linux在啟動完成后強行將系統級打開文件數硬限制設置為22158。修改完后保存此文件。
完成上述步驟后重啟系統，一般情況下就可以將Linux系統對指定用戶的單一進程允許同時打開的最大文件數限制設為指定的數值。如果重啟后用 ulimit-n命令查看用戶可打開文件數限制仍然低于上述步驟中設置的最大值，這可能是因為在用戶登錄腳本/etc/profile中使用ulimit -n命令已經將用戶可同時打開的文件數做了限制。由于通過ulimit-n修改系統對用戶可同時打開文件的最大數限制時，新修改的值只能小于或等于上次 ulimit-n設置的值，因此想用此命令增大這個限制值是不可能的。所以，如果有上述問題存在，就只能去打開/etc/profile腳本文件，在文件中查找是否使用了ulimit-n限制了用戶可同時打開的最大文件數量，如果找到，則刪除這行命令，或者將其設置的值改為合適的值，然后保存文件，用戶退出并重新登錄系統即可。
通過上述步驟，就為支持高并發TCP連接處理的通訊處理程序解除關于打開文件數量方面的系統限制。
三、網絡內核對TCP連接的顯示：
1、修改網絡內核對TCP連接的本地端口范圍限制：
在Linux上編寫支持高并發TCP連接的客戶端通訊處理程序時，有時會發現盡管已經解除了系統對用戶同時打開文件數的限制，但仍會出現并發TCP連接數增加到一定數量時，再也無法成功建立新的TCP連接的現象。出現這種現在的原因有多種。第一種原因可能是因為Linux網絡內核對本地端口號范圍有限制。此時，進一步分析為什么無法建立TCP連接，會發現問題出在connect()調用返回失敗，查看系統錯誤提示消息是“Can't assign requestedaddress”。同時，如果在此時用tcpdump工具監視網絡，會發現根本沒有TCP連接時客戶端發SYN包的網絡流量。這些情況說明問題在于本地Linux系統內核中有限制。其實，問題的根本原因在于Linux內核的TCP/ip協議實現模塊對系統中所有的客戶端TCP連接對應的本地端口號的范圍進行了限制(例如，內核限制本地端口號的范圍為1024~32768之間)。
當系統中某一時刻同時存在太多的TCP客戶端連接時，由于每個TCP客戶端連接都要占用一個唯一的本地端口號(此端口號在系統的本地端口號范圍限制中)，如果現有的TCP客戶端連接已將所有的本地端口號占滿，則此時就無法為新的TCP客戶端連接分配一個本地端口號了，因此系統會在這種情況下在connect()調用中返回失敗，并將錯誤提示消息設為“Can't assignrequested address”。內核編譯時默認設置的本地端口號范圍可能太小，因此需要修改此本地端口范圍限制。
1）第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_local_port_range = 1024 65000
這表明將系統對本地端口范圍限制設置為1024~65000之間。請注意，本地端口范圍的最小值必須大于或等于1024；而端口范圍的最大值則應小于或等于65535。修改完后保存此文件。
2）第二步，執行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統沒有錯誤提示，就表明新的本地端口范圍設置成功。如果按上述端口范圍進行設置，則理論上單獨一個進程最多可以同時建立60000多個TCP客戶端連接。
2、修改網絡內核IP_TABLE防火墻對最大跟蹤的TCP連接數限制：
修改了最大文件打開數，但仍會出現并發TCP連接數增加到一定數量時，再也無法成功建立新的TCP連接的現象。第二種無法建立TCP連接的原因可能是因為Linux網絡內核的IP_TABLE防火墻對最大跟蹤的TCP連接數有限制。此時程序會表現為在 connect()調用中阻塞，如同死機，如果用tcpdump工具監視網絡，也會發現根本沒有TCP連接時客戶端發SYN包的網絡流量。由于 IP_TABLE防火墻在內核中會對每個TCP連接的狀態進行跟蹤，跟蹤信息將會放在位于內核內存中的conntrackdatabase中，這個數據庫的大小有限，當系統中存在過多的TCP連接時，數據庫容量不足，IP_TABLE無法為新的TCP連接建立跟蹤信息，于是表現為在connect()調用中阻塞。此時就必須修改內核對最大跟蹤的TCP連接數的限制，方法同修改內核對本地端口號范圍的限制是類似的：
1）第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_conntrack_max = 10240
這表明將系統對最大跟蹤的TCP連接數限制設置為10240。請注意，此限制值要盡量小，以節省對內核內存的占用。
2）第二步，執行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統沒有錯誤提示，就表明系統對新的最大跟蹤的TCP連接數限制修改成功。如果按上述參數進行設置，則理論上單獨一個進程最多可以同時建立10000多個TCP客戶端連接。
【補充】優化好的內核參數sysctl.conf：
/etc/sysctl.conf 是用來控制linux網絡的配置文件，對于依賴網絡的程序（如web服務器和cache服務器）非常重要，RHEL默認提供的最好調整。推薦配置（把原/etc/sysctl.conf內容清掉，把下面內容復制進去）：
net.ipv4.ip_local_port_range = 1024 65536net.core.rmem_max=16777216net.core.wmem_max=16777216net.ipv4.tcp_rmem=4096 87380 16777216net.ipv4.tcp_wmem=4096 65536 16777216net.ipv4.tcp_fin_timeout = 10net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_timestamps = 0net.ipv4.tcp_window_scaling = 0net.ipv4.tcp_sack = 0net.core.netdev_max_backlog = 30000net.ipv4.tcp_no_metrics_save=1net.core.somaxconn = 262144net.ipv4.tcp_syncookies = 0net.ipv4.tcp_max_orphans = 262144net.ipv4.tcp_max_syn_backlog = 262144net.ipv4.tcp_synack_retries = 2net.ipv4.tcp_syn_retries = 2
修改完畢后，執行/sbin/sysctl -p 生效。
四、使用支持高并發網絡I/O的編程技術：
在Linux上編寫高并發TCP連接應用程序時，必須使用合適的網絡I/O技術和I/O事件分派機制。
可用的I/O技術有同步I/O，非阻塞式同步I/O(也稱反應式I/O)，以及異步I/O。在高TCP并發的情形下，如果使用同步I/O，這會嚴重阻塞程序的運轉，除非為每個TCP連接的I/O創建一個線程。但是，過多的線程又會因系統對線程的調度造成巨大開銷。因此，在高TCP并發的情形下使用同步 I/O是不可取的，這時可以考慮使用非阻塞式同步I/O或異步I/O。非阻塞式同步I/O的技術包括使用select()，poll()，epoll等機制。異步I/O的技術就是使用AIO。
從I/O事件分派機制來看，使用select()是不合適的，因為它所支持的并發連接數有限(通常在1024個以內)。如果考慮性能，poll()也是不合適的，盡管它可以支持的較高的TCP并發數，但是由于其采用“輪詢”機制，當并發數較高時，其運行效率相當低，并可能存在I/O事件分派不均，導致部分TCP連接上的I/O出現“饑餓”現象。而如果使用epoll或AIO，則沒有上述問題(早期Linux內核的AIO技術實現是通過在內核中為每個 I/O請求創建一個線程來實現的，這種實現機制在高并發TCP連接的情形下使用其實也有嚴重的性能問題。但在最新的Linux內核中，AIO的實現已經得到改進)。
綜上所述，在開發支持高并發TCP連接的Linux應用程序時，應盡量使用epoll或AIO技術來實現并發的TCP連接上的I/O控制，這將為提升程序對高并發TCP連接的支持提供有效的I/O保證。
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。謝謝大家對VEVB武林網的支持。
新聞熱點
疑難解答
圖片精選
