前言

Docker作為目前最火的輕量級容器技術，有很多令人稱道的功能，如Docker的鏡像管理。然而，Docker同樣有著很多不完善的地方，網絡 方面就是Docker比較薄弱的部分。因此，我們有必要深入了解Docker的網絡知識，以滿足更高的網絡需求。

Docker網絡模式選擇

目前已有不少文章介紹了Docker的網絡模型，但是在實際應用中還是有不少坑和需要注意的點

在Docker應用到生產環境的時候，網絡模型的選擇主要有以下幾種

     1、原生Bridge NAT模式

     2、Linux Bridge VLAN模式

     3、利用第三方的網絡方案

原生的Bridge NAT模式

這是Docker原生的網絡模式，每臺主機的容器都在一個獨立的子網中，外部訪問必須通過主機端口映射的方式。同時不同主機間的容器間訪問也必須通過這種主機端口映射的方式。換句話說，一臺主機上的容器其實是不知道另外一臺主機的容器的。這種方式是否可以用于生產，一開始我是憂郁的，同時之前有寫文章寫NAT的性能損耗比較大，在沒有資源做完整測試的情況下，我們最初的方案就沒敢用這個網絡方案。但是最近測試自己測試的結果看，NAT的性能是可以接受的（QPS和Latency和VLAN的模式都比較接近），只要有合適的方案將不同主機的容器聯通就可。如用Mesos+Marathon+Bamboo+HAProxy的方式就可以的。

Linux Bridge VLAN模式

這是我考慮Docker網絡模型一開始就想決定好的，主要有幾方面的原因：

     1、NAT的方式一開始不敢用

     2、其它第三飯的工具還不太成熟

     3、一開始容器的數量不可能太多（因為VLAN的模式受限于VLAN的整體數量，只能4096個容器），如果按照一個主機10-16個容器算，可以支持到256臺主機，這個還是可以接受的

     4、每個主機需要一個獨立IP，并且可以互聯互通

     5、運維管理要簡單，畢竟我們的運維體系還是物理機體系的

     6、可以做到主機網絡和VLAN網絡的隔離

我們用的主機是CentosOS 7.X系列， 主機的網絡配置如下：兩個1G的網卡，通過Bond的方式綁在一起，然后配置主機一個虛擬網卡在VALN 1上，容器的Docker0的Bridge在另外一個VLAN 1上

網卡配置:

這里需要注意的是必須安裝了bridge-utils, NetworkManager包

步驟

配置兩個網卡，不要配置IP/GATEWAY等網絡參數，增加MASTER=bond0以及SLAVE=yes

完整例子如：

TYPE=EthernetBOOTPROTO=noneDEFROUTE=yesPEERDNS=yesPEERROUTES=yesIPV4_FAILURE_FATAL=noIPV6INIT=noIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_FAILURE_FATAL=noNAME=enp2s0f0UUID=7f6fa8e9-0177-46a8-b8ea-55c2187bea11DEVICE=enp2s0f0ONBOOT=yesMASTER=bond0SLAVE=yes

增加bond0網絡配置/etc/sysconfig/network-scripts/ifcfg-bond0，并根據使用情況選擇 mode值，內容如下。因為要在bond0上再配置VLAN所以沒有配置IP等相關參數。如果配置了IP等參數則可以認為bond0就是一個普通網卡了。

DEVICE=bond0NAME=bond0TYPE=BondBONDING_MASTER=yesONBOOT=yesBOOTPROTO=noneBONDING_OPTS="miimon=100 mode=0"

可以通過cat /proc/net/bonding/bond0看配置的情況

在bond0上配置vlan，這里的vlan號為136，所以文件名為/etc/sysconfig/network-scripts/ifcfg-bond0.136，內容為：

VLAN=yesTYPE=EthernetDEVICE=bond0.136NAME=bond0.136PHYSDEV=bond0ONBOOT=yesBOOTPROTO=staticBRIDGE=docker0

因為后續需要將docker的bridge(docker0)掛在這個vlan上，所以TYPE必須是Ethernet，而且多了項配置BRIDGE=docker0

配置docker的bridge( /etc/sysconfig/network-scripts/ifcfg-docker0)，名字也可以用別的，為了減少docker engine需要增加-b啟動參數，所以用了默認的名字。同時沒有給docker0配置IP，因為有另外一個vlan的ip來管理主機

TYPE=bridgeVLAN=yesDEVICE=docker0SLAVE=bond0.136NAME=docker0ONBOOT=yesBOOTPROTO=none

Docker的配置

按機器用途類型，修改 Docker 啟動文件 /usr/lib/systemd/system/docker.service，內容如下：

      在 ExecStart=/usr/bin/docker daemon -H fd:// 這行后面加上：

   --fixed-cidr=172.20.56.16/28 --default-gateway=172.20.56.1 --registry-mirror=http://registry.xxxx.com:5000 --insecure-registry=docker.xxx.com:5000 --storage-driver=overlay --ip-forward=false --iptables=false --log-driver=journald   （注釋："--fixed-cidr="后面填寫的是該機器容器IP子網段；"--default-gateway="后面填寫的是容器IP子網網關；"--registry-mirror="后面填寫的是生產環境的docker registry域名。）

這里有幾個坑：

     1、對于Docker的存儲，不要使用默認的方式，而是要使用overlay，同時是配合CentOS 7.X

     2、因為開始安裝機器的時候網絡配置不是Bond的模式，需要配置好bond后需要清理下原有的配置

          修改 /etc/sysctl.conf 文件，把 “net.ipv4.ip_forward” 的值修改為1

          不需要在/etc/sysconfig/network文件上配置gateway

          創建文件 /etc/modules-load.d/bonding.conf，內容如下：bonding

     3、默認情況，安裝好docker后，并沒有docker用戶組和docker用戶，必須使用root之行，如果不用root則需要:

          創建docker用戶組：sudo groupadd docker

          把當前用戶加入docker用戶組，例如當前使用的是apps用戶：sudo usermod -aG docker apps

          創建docker用戶并加入docker用戶組：sudo useradd docker -g docker

          修改“/var/lib/docker”目錄及其子目錄的owner和group：sudo chown -R docker:docker

          退出并重新登錄，刷新當前用戶的權限。

          最大的坑是我們在某些主機上安裝一些平臺服務如Zookeeper，如果容器想訪問這些配置為容器的主機上的服務是訪問不通，，這個弄好了好久都沒有辦法，找網絡的同事，從交換機配置等來看都沒有問題，然后在老羅的指導下做以下嘗試：

              － 在主機上啟動tcpdump，然后在主機上抓取來自于容器的ping包，可以發現主機收到了容器發來的ICMP包，但是容器沒有收到任何響應，ping總是超時，難道是主機拋棄了ICMP包？

                    a、打開火星文檢測看看是否有包進來: sudo sysctl net.ipv4.conf.bond0/51.log_martians=1 (bond0/51為對應bond0.51的網卡)可以看到有包進來說明有來源不明的數據包。

                    b、從以上兩點可以想到網絡上我們配置了兩個不同的網卡，不同的網斷，原理上他們應該是各自隔離的，及訪問網段1的數據要從網段1的網卡進來，如果從網段2進來，Linux認為是非法包

                    d、據其原因，是因為Linux的RP(Reverse Path)過濾的問題，在這種情況下，需要將這臺主機的RP關閉就可

sudo sysctl net.ipv4.conf.bond0/51.rp_filter=0sudo sysctl net.ipv4.conf.bond0/52.rp_filter=0sudo sysctl net.ipv4.conf.all.rp_filter=0sudo sysctl net.ipv4.conf.bond0.rp_filter=0

第三方網絡Plugin

目前比較好的選擇是以下幾種，不過還在摸索中

    Calico, http://projectcalico.org/

    Contiv, http://docs.contiv.io

總結

以上就是Docker中VLAN網絡模式配置的詳細介紹，希望這篇文章的全部內容對大家學習或者使用Docker能有所幫助，如果有疑問大家可以留言交流。