閱讀目錄:
基礎
Socket編程
多線程并發
阻塞式同步IO
基礎
在現今軟件開發中,網絡編程是非常重要的一部分,本文簡要介紹下網絡編程的概念和實踐。
Socket是一種網絡編程接口,它是對傳輸層TCP、UDP通信協議的一層封裝,通過友好的API暴露出去,方便在進程或多臺機器間進行網絡通信。
在網絡編程中分客戶端和服務端兩種角色,比如通過打開瀏覽器訪問到掛在Web軟件上的網頁,從程序角度上來看,即客戶端(瀏覽器)發起了一個Socket請求到服務器端,服務器把網頁內容返回到瀏覽器解析后展示。在客戶端和服務端數據通信前,會進行三次確認才會正式建立連接,也即是三次握手。
TCP/IP協議是網絡間通信的基礎協議,在不同編程語言及不同操作系統下暴露的Socket接口用法也大同小異,僅是其內部實現有所不同,比如Linux下的epoll和windows下的IOCP。
IPEndPoint ip = new IPEndPoint(IPAddress.Any, 6389); Socket listenSocket = new Socket(ip.AddressFamily, SocketType.Stream, ProtocolType.Tcp); listenSocket.Bind(ip); listenSocket.Listen(100); listenSocket.Accept();
listen函數中有個int類型參數,它表示最大等待處理連接的數量,表示已建立連接但還未處理的數量,每調用Accept函數一下即從這個等待隊列中拿出一個連接。 通常服務端要服務多個客戶端請求的連接,所以會循環從等待隊列中拿出連接,進行接收發送。
while (true) { var accept= listenSocket.Accept(); accept.Receive(); accept.Send(); }
多線程并發
上面的服務端程序處理接收和發送消息都是在當前線程下完成的,這意味著要處理完一個客戶端連接后才能去處理下一個連接,如果當前連接是進行數據庫或者文件讀取寫入等IO操作,那會極大浪費服務器的CPU資源,降低了服務器吞吐量。
while (true) { var accept = listenSocket.Accept(); ThreadPool.QueueUserWorkItem((obj) => { byte[] receive = new byte[100]; accept.Receive(receive); byte[] send = new byte[100]; accept.Send(receive); }); }
如例子中,當監聽到有新連接請求過來時,調用Accept()取出當前連接的socket,使用新的線程去處理接收和發送信息,這樣服務端就能實現并發處理多個客戶端了。 上述代碼中,在高并發下其實是有問題的,如果客戶端連接請求成千上萬個,那線程數量也會有這么多,每個線程的??臻g都需要消耗部分內存,再加上線程上下文切換,容易導致服務器負載過高,吞吐量大大下降,嚴重時會引起宕機。 當前例子中使用系統ThreadPool的話,線程數量會固定在一個數量上,默認是1000,不會無限制開線程,會把處理超出線程數量的請求放到線程池中的隊列上面。
在unix下類似的實現有2種:
fork一個新進程去處理客戶端的連接:
var connfd = Accept(listenfd,(struct sockaddr *)&cliaddr,&cliaddr_len); var m = fork(); if(m == 0) { //do something }
創建一個新的線程處理限流:
var *clientsockfd = accept(serversockfd,(struct sockaddr *)&clientaddress, (socklent *)&clientlen); if(pthreadcreate(&thread, NULL, recdata, clientsockfd)!=0) { //do something }
阻塞式同步IO
上述例子中使用的即是該模型,使用起來簡單方便。
while (true) { var accept = listenSocket.Accept(); byte[] receive = new byte[100]; accept.Receive(receive); byte[] send = new byte[100]; accept.Send(receive); }
從調用Receive函數起到接受到客戶端發過來的數據期間,該函數會一直阻塞等待著,這個阻塞期間處理流程如下:
至此處理成功,開始處理下一個連接請求。 調用發送函數同樣會阻塞在當前,然后把用戶緩沖區(send字節數組)數據拷貝到內核中TCP發送緩沖區中。 TCP的發送緩沖區也有一定的大小限制,如果發送的數據大于該限制,send函數會一直等待發送緩沖區有空閑時完全拷貝完才會返回,繼續處理后續連接請求。
異步IO
上篇提到用多線程處理多個阻塞同步IO而實現并發服務端,這種模式在連接數量比較小的時候非常適合,一旦連接過多,性能會急速下降。 在大多數服務端網絡軟件中會采用一種異步IO的方式來提高性能。
同步IO方式:連接Receive請求->等待->等待->接收成功
異步IO方式:連接Receive請求->立即返回->事件或回調通知
采用異步IO方式,意味著單線程可以處理多個請求了,連接發起一個Receive請求后,當前線程可以立即去做別的事情,當數據接收完畢通知線程處理即可。
其數據接收分2部分:
數據從別的機器發送內核緩沖區
內核緩沖區拷貝到用戶緩沖區
第二部分示例代碼:
byte[] msg = new byte[256]; socket.Receive(msg);
介紹這2部分的目的是方便區分其他幾種方式。 對于用戶程序來說,同步IO和異步IO的區別在于第二部分是否需要等待。
非阻塞式同步IO
非阻塞式同步IO,由同步IO延伸出來,把這個名詞拆分成2部分描述:
既然是第一部分是非阻塞的,那就需要一種方法得知什么時候內核緩沖區是OK的。 設置非阻塞模式后,在連接調用Receive方法時,會立即返回一個標記,告知用戶程序內核緩存區有沒有數據,如果有數據開始進行第二部分操作,從內核緩沖區拷貝到用戶程序緩沖區。 由于系統會返回個標記,那可以通過輪詢方式來判斷內核緩沖區是否OK。
設置非阻塞模式參考代碼:
SocketInformation sif=new SocketInformation();sif.Options=SocketInformationOptions.NonBlocking;sif.ProtocolInformation = new byte[24];Socket socket = new Socket(sif);
輪詢參考代碼:
while(true) {byte[] msg = new byte[256];var temp = socket.Receive(msg);if (temp=="OK"){//do something}else{ continue }}
這種方式近乎淘汰了,了解即可。
基于回調的異步IO
上面介紹過:
異步IO方式:連接Receive請求->立即返回->事件或回調通知
當回調到執行時,數據已經在用戶程序緩沖區已經準備好了,在回調代碼中對這部分數據進行相應的邏輯即可。
發出接收請求:
static byte[] msg = new byte[256]; var temp = socket.BeginReceive(msg, 0, msg.Length, 0, new AsyncCallback(ReadCallback), socket);
回調函數中對數據做處理:
public static void ReadCallback(IAsyncResult ar) { var socket = (Socket)ar.AsyncState; int read = socket.EndReceive(ar);DoSomething(msg); socket.BeginReceive(msg, 0, msg.Length, 0, new AsyncCallback(Read_Callback), socket);}
當回調函數執行時,表示數據已經準備好,需要先結束接收請求EndReceive,以便第二次發出接收請求。 在服務端程序中要處理多個客戶端的接收,再次發出BeginReceive接收數據請求即可。
這里的回調函數是在另外一個線程的觸發,必要時要對數據加鎖防止數據競爭:
Console.WriteLine(Thread.CurrentThread.ManagedThreadId);
針對C#網絡編程的介紹就到這了,具體的大家可以查看VEVB武林網之前發布的文章。
新聞熱點
疑難解答