一、Docker 容器監控報警方式
接著上篇文章的記錄,看到grafana的版本已經更新到4.2了,并且在4.0以后的版本中,加入了Alert Notifications 功能,這樣在對容器 監控完,可以加入報警規則。根據官網介紹,報警方式也有很多種,常見的Email、Slack即時通訊、webhook等。
本篇記錄的是郵件的報警設置。環境和上篇基本一致,都是在Docker 平臺測試環境下,另外本篇使用的grafana容器的版本是用的 dockerhub上最新版本,該版本為grafana/grafana:latest; 還有一點需要說明,由于該容器是使用了docker file 生成的,并且容器進程grafana-server 的服務啟動腳本是run.sh,所以我們要對run.sh進行修改,之后重啟容器,然后去界面上配置。
整體大概步驟:創建容器-->修改容器內的run.sh文件,添加smtp相關配置 -->重啟容器-->登陸grafana 界面,添加報警Notifications-->添加inFluxdb數據源-->編輯Graph,定義報警規則-->測試報警郵件驗證
二、部署grafana容器并配置郵件報警
1.運行創建一個grafana 容器
[root@docker ~]# docker run -d -p 80:3000 -e INFLUXDB_HOST=localhost -e INFLUXDB_PORT=8086 -e INFLUXDB_NAME=cadvisor -e INFLUXDB_USER=root -e INFLUXDB_PASS=root --link influxsrv:influxsrv --name grafana-alerting grafana/grafanaf9495c492b9e4c735f0002d47fc4af668691f83e60b70d7b09defbfa2c806f6d
2.修改容器內grafana服務運行的腳本
分為2種方法,
第一種:
將grafana-alerting 容器內的 run.sh 拷貝到宿主機上進行修改,修改完成后再copy 過去 覆蓋替換即可
[root@docker ~]# docker cp grafana-alerting:/run.sh /tmp/run.sh
編輯/tmp/run.sh 文件(后面會給出文件完整內容)修改完成后,將該腳本替換容器內的腳本
[root@docker ~]# docker cp /tmp/run.sh grafana-alerting:/run.sh
第二種:
進入到容器內,先apt-get update 更新系統,之后安裝vim(默認官方鏡像內,沒有找到vim、vi、nano類似的編輯器。我是沒有找到哈,也許可能會有),這個方式就不細說了吧。
run.sh 文件完整內容如下:
#!/bin/bash -e: "${GF_PATHS_DATA:=/var/lib/grafana}": "${GF_PATHS_LOGS:=/var/log/grafana}": "${GF_PATHS_PLUGINS:=/var/lib/grafana/plugins}": "${GF_SMTP_ENABLED:=true}": "${GF_SMTP_HOST:=smtp.163.com:25}": "${GF_SMTP_USER:=fkcloudstack@163.com}": "${GF_SMTP_PASSWORD:=fuck123}": "${GF_SMTP_FROM_ADDRESS:=fkcloudstack@163.com}"chown -R grafana:grafana "$GF_PATHS_DATA" "$GF_PATHS_LOGS"chown -R grafana:grafana /etc/grafanaif [ ! -z ${GF_AWS_PROFILES+x} ]; then mkdir -p ~grafana/.aws/ touch ~grafana/.aws/credentials for profile in ${GF_AWS_PROFILES}; do access_key_varname="GF_AWS_${profile}_ACCESS_KEY_ID" secret_key_varname="GF_AWS_${profile}_SECRET_ACCESS_KEY" region_varname="GF_AWS_${profile}_REGION" if [ ! -z "${!access_key_varname}" -a ! -z "${!secret_key_varname}" ]; then echo "[${profile}]" >> ~grafana/.aws/credentials echo "aws_access_key_id = ${!access_key_varname}" >> ~grafana/.aws/credentials echo "aws_secret_access_key = ${!secret_key_varname}" >> ~grafana/.aws/credentials if [ ! -z "${!region_varname}" ]; then echo "region = ${!region_varname}" >> ~grafana/.aws/credentials fi fi done chown grafana:grafana -R ~grafana/.aws chmod 600 ~grafana/.aws/credentialsfiif [ ! -z "${GF_INSTALL_PLUGINS}" ]; then OLDIFS=$IFS IFS=',' for plugin in ${GF_INSTALL_PLUGINS}; do grafana-cli --pluginsDir "${GF_PATHS_PLUGINS}" plugins install ${plugin} done IFS=$OLDIFSfiexec gosu grafana /usr/sbin/grafana-server / --homepath=/usr/share/grafana / --config=/etc/grafana/grafana.ini / cfg:default.paths.data="$GF_PATHS_DATA" / cfg:default.paths.logs="$GF_PATHS_LOGS" / cfg:default.paths.plugins="$GF_PATHS_PLUGINS" / cfg:default.smtp.enabled="$GF_SMTP_ENABLED" / cfg:default.smtp.host="$GF_SMTP_HOST" / cfg:default.smtp.user="$GF_SMTP_USER" / cfg:default.smtp.password="$GF_SMTP_PASSWORD" /cfg:default.smtp.from_address="$GF_SMTP_FROM_ADDRESS"
文件較容器內的文件只增加了10汗內容。前半部分加入的內容:
: "${GF_SMTP_ENABLED:=true}" #啟用smtp配置: "${GF_SMTP_HOST:=smtp.163.com:25}" #smtp服務器的地址:端口: "${GF_SMTP_USER:=fkcloudstack@163.com}" #認證的郵箱賬戶: "${GF_SMTP_PASSWORD:=fuck123}" #郵箱密碼(注:163使用的客戶端授權碼作為用戶密碼): "${GF_SMTP_FROM_ADDRESS:=fkcloudstack@163.com}" #郵箱發件人地址,注意!此處一定要和上面的郵箱認證賬戶保持一致。不然會報553錯誤。?。。?/pre>
后半部分加入的內容:
cfg:default.smtp.enabled="$GF_SMTP_ENABLED" / cfg:default.smtp.host="$GF_SMTP_HOST" / cfg:default.smtp.user="$GF_SMTP_USER" / cfg:default.smtp.password="$GF_SMTP_PASSWORD" /cfg:default.smtp.from_address="$GF_SMTP_FROM_ADDRESS"
小注釋:
Grafana服務器有一些配置選項,可以在.ini配置文件中指定或使用環境變量指定。默認配置文件路徑/etc/grafana/grafana.ini,也可以在啟動grafana-server時指定配置文件路徑。
環境變量格式:GF_<SectionName>_<KeyName> ;其中SectionName指的是配置文件中的中括號中的節名稱,KeyName 指的是參數名稱。要大寫。
cfg:default.smtp.host:這是在grafana 腳本啟動時指定的參數。
3.修改完腳本,重啟該容器,相當于重啟服務
[root@docker ~]# docker stop grafana-alertinggrafana-alerting[root@docker ~]# docker start grafana-alertinggrafana-alerting
4.打開瀏覽器,訪問http://ip,首頁如下:
添加一個通知組,(可添加多個,方便分組發送報警設置)
Name: 定義一個通知名,可在后期的Graph 添加Alert 報警規則時,指定Send to
Type:這里定義的email
Email addresses: 定義接收人郵件列表
最后保存,點擊SendTest,如果你的郵箱收到以下郵件,配置就成功了。
5.添加數據源,和上篇內容中添加信息一樣。此步就略過啦。
6.添加一個Dashboard
然后新建一個Graph,編輯,下面有個Alert,,創建一個Alert。如下圖:
Alert Config 填寫內容如下:
Notifications處填寫如下:
主要選擇發送到之前定義的通知組
7.進入所監控的容器內,使用以下命令模擬內存升高
進入容器:
[root@docker ~]# docker exec -it cadvisor /bin/ash
使用dd命令,如下:
/ # swapoff -a/ # dd if=/dev/zero of=/dev/shm/test bs=1k count=80000kdd: writing '/dev/shm/test': No space left on device65537+0 records in65536+0 records out
然后觀察Grafana的graph 界面,可以發現報警規則已經生效,可以登錄設定的郵箱,看下有無收到郵件。
郵件內容如下:
釋放內存,只需要刪除/dev/shm/test 文件即可。
/ # rm -f /dev/shm/test
等待5分鐘(這個5分鐘是在報警規則那定義的5m)后,警告就會解除。♥ 的顏色也會由紅色變成綠色
OK的郵件也已經收到,如下 :)
另外,可以在Alerting--Alert Llist中查看警告列表。
三、后記
目前Grafana 只支持graph添加報警規則,官方說后續會支持Singlestat和Table 面板,詳細介紹的,可以參考這里。grafana監控報警方面暫時學習記錄到這里吧,后期有什么擴展學習,在繼續分享。文中有不足之處,還望大家多多指教。如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對VEVB武林網網站的支持!
新聞熱點
疑難解答
圖片精選