一、ARP協議

ARP（Address Resolution PRotocol）地址解析協議，將ip地址解析成MAC地址。

IP地址在OSI模型第三層，MAC地址在OSI第二層，彼此不直接通信；

在通過以太網發生IP數據包時，先封裝第三層（32位IP地址）和第二層（48位MAC地址）的報頭；

但由于發送數據包時只知道目標IP地址，不知道其Mac地址，且不能跨越第二、三層，所以需要使用地址解析協議。

ARP工作流程分請求和響應：

在dos窗口內“ping”某個域名抓取到的包：

二、IP協議

IP（Internet Protocol）互聯網協議，主要目的是使得網絡間能夠互相通信，位于OSI第三層，負責跨網絡通信的地址。

當以廣播方式發送數據包的時候，是以MAC地址定位，并且需要電腦在同一子網絡。

當不在同一子網絡就需要路由發送，這時候就需要IP地址來定位。

同樣在dos窗口內“ping”某個域名抓取到的包：

三、TCP協議

TCP（Transmission Control Protocol）傳輸控制協議，一種面向連接、可靠、基于IP的傳輸層協議，主要目的是為數據提供可靠的端到端傳輸。

在OSI模型的第四層工作，能夠處理數據的順序和錯誤恢復，最終保證數據能夠到達其應到達的地方。

1）標志位

SYN： 同步，在建立連接時用來同步序號。SYN=1， ACK=0表示一個連接請求報文段。SYN=1，ACK=1表示同意建立連接。

FIN： 終止，FIN=1時，表明此報文段的發送端的數據已經發送完畢，并要求釋放傳輸連接。

ACK： 確認，ACK = 1時代表這是一個確認的TCP包，取值0則不是確認包。

DUP ACK：重復，重復確認報文，有重復報文，一般是是丟包或延遲引起的，從這個報文看應該是丟包了。

URG：緊急，當URG=1時，表示報文段中有緊急數據，應盡快傳送

PSH：推送，當發送端PSH=1時，接收端盡快的交付給應用進程

RST：復位，當RST=1時，表明TCP連接中出現嚴重差錯，必須釋放連接，再重新建立連接

2）端口

客戶端與不同服務器建立連接時，源端口和目標端口可不同。

3）TCP三次握手

4）TCP四次揮手

TCP四次斷開，例如關閉頁面的時候就會斷開連接。

5）TCP概念

1. 發送窗口

無法簡單的看出發送窗口的大小，發送窗口會由網絡因素決定。發送窗口定義了一次發的字節，而MSS定義了這些字節通過多少個包發送。

2. 擁塞窗口（cwnd）

描述源端在擁塞控制情況下一次最多能發送的數據包的數量。

在發送方維護一個虛擬的擁塞窗口，并利用各種算法使它盡可能接近真實的擁塞點。

網絡對發送窗口的限制，就是通過擁塞窗口實現的。

3. 在途字節數（bytes in flight）

已經發送出去，但尚未被確認的字節數。

在途字節數 = Seq + Len - Ack

其中Seq和Len來自上一個數據發送方的包，而Ack來自上一個數據接收方的包。

4. 擁塞點（congestion point）

發生擁塞時候的在途字節數就是該時刻的網絡擁塞點。

先從Wireshark中找到一連串重傳包中的第一個，再根據該Seq找到原始包最后計算該原始包發送時刻的在途字節數。

5. 慢啟動

RFC建議初始擁塞窗口發送2、3、或4個MSS，如果發出去的包都能得到確認，則表明還沒到擁塞點，可以收到n個確認增加n個MSS

6. 擁塞避免

慢啟動持續一段時間后，擁塞窗口達到一個較大的值，就得放慢RFC建議在每個往返時間增加1個MSS，比如發了16個MSS全部確認，那么就增加到17個MSS

7. 超時重傳

發出去的包在等待一段時間（RTO）后，沒有收到確認，就只能重傳了

8. 快速重傳（Fast Retransmit）

不以時間驅動，而以數據驅動重傳。如果包沒有連續到達，就ACK最后那個可能被丟了的包，如果發送方連續收到3次相同的ACK，就重傳。

9. SACK（Selective Acknowledgment）

選擇性確認重傳，ACK還是Fast Retransmit的ACK，SACK則是匯報收到的數據，在發送端就可以根據回傳的SACK來知道哪些數據到了，哪些沒有到。

10. 延遲確認（Delayed ACK）

如果收到一個包后暫時沒什么數據發給對方，那就延遲一段時間再確認。假如這段時間恰好有數據要發送，那數據和確認信息可以在一個包中發送。

11. LSO

LSO拯救CPU而出的創意，為了緩解CPU的壓力，把它的一部分工作外包給了網卡，比如TCP的分段。

啟用LSO之后，TCP層就可以把大于MSS的數據塊直接傳給網卡，讓網卡負責分段。

比如“Seq=348586，Len=2776”，被網卡分為“Seq=348586，Len=1388”和“Seq=349974，Len=1388”兩個包。

在發送端抓包相當于站在CPU角度，只看到一個分段前的大包，而接收端就可以看到兩個包。

所以才會出現只見重傳包，不見原始包的情況。

12. Nagle算法

在發出去的數據還沒有被確認之前，假如又有小數據生成，那就把小數據收集起來，湊滿一個MSS或等收到確認后再發送。

13. Vegas算法

通過監控網絡狀態來調整發包速度。

當網絡狀態良好時，數據包的RTT比較穩定，這時可以增大擁塞窗口；

當網絡開始繁忙時，數據包開始排隊，RTT就會變大，這時就減小擁塞窗口。

6）選項字段

PTR（Pointer Record）：指針記錄，PTR記錄解析IP地址到域名

TTL（Time to live）：

存活時間，限制數據包在網絡中存在的時間，防止數據包不斷的在IP互聯網絡上循環，初始值一般為64，每經過一個路由減去1。

通過TTL過濾運營商劫持包，假的包是搶先應答的，所以和真實包的TTL可能不同（例如ip.ttl == 54）

Seq：數據段的序號，當接收端收到亂序的包，就能根據此序號重新排序，當前Seq等上一個Seq號與長度相加獲取到

Len：數據段的長度，這個長度不包括TCP頭

Ack：確認號，接收方向發送方確認已經收到了哪些字節

RTT（Round Trip Time）：也就是一個數據包從發出去到回來的時間

RTO（Retransmission TimeOut）：超時重傳計數器，描述數據包從發送到失效的時間間隔，是判斷數據包丟失與否及網絡是否擁塞的重要參數

MTU（Maximum Transmit Unit）：最大傳輸單元

MSS（Maximum Segment Size）：最長報文段，TCP包所能攜帶的最大數據量，不包含TCP頭和Option。一般為MTU值減去IPv4頭部(至少20字節)和TCP頭部(至少20字節)得到。

Win（Window Size）：聲明自己的接收窗口

TCP Window Scale：窗口擴張，放在TCP頭之外的Option，向對方聲明一個shift count，作為2的指數，再乘以TCP定義的接收窗口，得到真正的TCP窗口

DF（Don't fragment）：在網絡層中，如果帶了就丟棄沒帶就分片

MF（More fragments）：0表示最后一個分片，1表示不是最后一片

7）過濾表達式

握手請求被對方拒絕：tcp.flags.reset === 1 && tcp.seq === 1

重傳的握手請求：tcp.flags.syn === 1 && tcp.analysis.retransmission

過濾延遲確認：tcp.analysis.ack_rtt > 0.2 and tcp.len == 0

四、UDP協議

UDP（User Datagram Protocol）用戶數據報協議，提供面向事務的簡單不可靠信息傳送服務。

將網絡數據流壓縮成數據包的形式。每一個數據包的前8個字節保存包頭信息，剩余的包含具體的傳輸數據。

雖然UDP是不可靠的傳輸協議，但它是分發信息的理想協議，例如在屏幕上報告股票市場、顯示航空信息；

在路由信息協議RIP（Routing Information Protocol）中修改路由表、QQ聊天、迅雷、網絡電話等。

TCP的效率不一定比UDP低，只要窗口足夠大，TCP也可以不受往返時間的約束而源源不斷地傳數據。

1）UDP的優勢

1. UDP 協議的頭長度不到TCP頭的一半，所以同樣大小的包里UDP攜帶的凈數據比TCP包多，

2. 沒有Seq和Ack等概念，省去了建立連接的開銷，DNS解析就使用UDP協議。

2）UDP的劣勢

1. 超過MTU的時候，發送方的網絡層負責分片，接收方收到分片后再組裝起來，這個過程會消耗資源，降低性能。

2. 沒有重傳機制，丟包由應用層處理，某個寫操作有6個包，當有一個丟失的時候，就要將6個包重新發送。

3. 分片機制存在弱點，接收方是根據包中的“More fragments”的flag來判斷是否包已接收完，1表示還有分片，0表示最后一個分片，可以組裝了。

如果持續發送flag為1的UDP，接收方無法組裝，就有可能耗盡內存。

五、ICMP協議

ICMP（Internet Control Message Protocol）網際報文控制協議，用于傳輸錯誤報告控制信息，對網絡安全有極其重要的意義。

例如請求的服務不可用、主機或路由不可達，ICMP協議依靠IP協議來完成任務，是IP協議的一個集成部分。

通常不被用戶網絡程序直接使用，多用于ping和tracert等這樣的診斷程序。

六、DNS協議

DNS（Domain Name System）域名系統，DNS就是進行域名解析的服務器。

DNS協議運行在UDP協議之上，端口為53，工作原理如下：

DNS的解析過程：

DNS客戶機向本地域名服務器A發送查詢，如果A中沒有保存IP地址記錄，A就會發請求給根域名服務器B

如果B中也沒有，A就發請求給C，再沒有就發請求給D，然后是E，找到后將地址發給DNS客戶機。

域名解析過程涉及到遞歸查詢和迭代查詢。

客戶機再與Web服務器連接。

七、HTTP協議

HTTP（HyperText Transfer Protocol）超文本傳輸協議，HTTP是一個應用層協議，無狀態，由請求和響應構成，是一個標準的客戶端服務器模型。

HTTP工作流程如下：

HTTP請求頭域：

HTTP應答頭域：

HTTP通用頭域：

HTTP實體頭域：

八、HTTPS協議

HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）基于SSL的HTTP協議，HTTP的安全版。

使用端口43，HTTPS協議是由SSL+HTTP協議構建的可進行加密傳輸和身份認證的網絡協議。

1）HTTPS工作流程

2）SSL

SSL（Secure Sockets Layer）安全套接層，TLS（Transport Layer Security）傳輸層安全是其繼任者。

SSL和TLS在傳輸層對網絡連接進行加密。

SSL協議分為兩層，SSL記錄協議（SSL Record Protocol）和SSL握手協議（SSL Handshake Protocol）。

SSL記錄協議建立在TCP之上，提供數據封裝、壓縮加密基本功能的支持。

SSL握手協議建立在SSL記錄協議之上，在數據傳輸之前，通信雙方進行身份認證、協商加密算法和交換加密秘鑰等。

SSL工作分為兩個階段，服務器認證和用戶認證。

SSL協議既用到了公鑰加密（非對稱加密）又用到了對稱加密技術。

3）數據包

客戶端與服務器之間的通信：

1.客戶端發出請求（Client Hello）

2.服務器響應（Server Hello）

3）證書信息

3.密鑰交換

4.應用層信息通信

用戶可以發送通過TLS層使用RC4的寫實例加密過的普通HTTP消息，也可以解密服務端RC4寫實例發過來的消息。

此外，TLS層通過計算消息內容的HMAC_md5哈希值來校驗每一條消息是否被篡改。

參考資料：

Wireshark網絡分析的藝術

Wireshark數據包分析實戰詳解

車小胖談網絡：MTU 與 MSS

MTU & MSS 詳解記錄

網絡傳輸分片、MTU、MSS

理解TCP序列號（Sequence Number）和確認號（Acknowledgment Number）

wireshark抓包圖解 TCP三次握手/四次揮手詳解

TCP 的那些事兒（下）

TCP segment of a reassembled PDU

SSL/TLS協議運行機制的概述

如何通過Wireshark查看HTTPS、HTTP/2網絡包（解碼TLS、SSL）