背景
這兩天遇到一個比較有意思的日志問題.
近期對我之前的python代碼進(jìn)行java的重構(gòu), 一方面是因為java使用的醫(yī)療庫非常健全穩(wěn)定, 可以商用. 另一方面是因為java速度快, 這個庫的實現(xiàn)的效率也高, 性能是Python版本的好幾倍.
但是作為這個項目的唯一作者, 我的癖好也成為這個項目的風(fēng)格. 這個項目會給很多部署工程師使用. 當(dāng)然項目的可用性和性能作為第一考慮的因素, 但是作為一個懶人, 對使用軟件時候的復(fù)雜部署過程和混亂調(diào)試信息深惡痛絕. 所以我在項目中使用了高度可配置/易用和多文件日志.
說道多文件日志, 它的優(yōu)點是每個日志只容納自身的邏輯, 所以對于一般的入門開發(fā)者或者是初級運維工程師查看起來非常方便.
初步嘗試
因為spring boot的配置一般來講是application.properties, 但是同時開發(fā)者可以使用yml格式的配置, 二者相比, yml文件更為簡潔. 熟讀python之禪的我當(dāng)然是簡潔勝于冗余選擇了yml.
發(fā)現(xiàn)spring-boot可以通過application.yml配置日志. 高興的配置一番之后發(fā)現(xiàn)沒法配置多個logger, 棄用! 改用logback-spring.xml(為什么不用logback.xml? 因為-spring這種文件可以獲取到spring配置中的變量.下面再說)
第一次實現(xiàn)
我有好幾個服務(wù)需要打日志. 一般來講我的日志風(fēng)格是 *.log 保存 INFO以上級別日志. *.err.log保存ERROR以上級別日志. 我如果每個文件日志都使用一個Appender的話, 配置文件太長了. 而且很難看, 不是我的風(fēng)格.
Google了一下, 發(fā)現(xiàn)了這種方案:
<?xml version="1.0" encoding="UTF-8"?><configuration> # 下面這一行的意思是使用application.yml中的global.log-dir變量 <springProperty scope="context" name="LOG_DIR" source="global.log-dir" defaultValue="./log/"/> <!-- 追加器開始 --> # 這個是一個可以定義變量的Appender <appender name="SIFT" class="ch.qos.logback.classic.sift.SiftingAppender"> # 使用 LoggerNameBasedDiscriminator 這個類根據(jù)當(dāng)前Logger獲取變量 <discriminator class="com.utils.loggers.LoggerNameBasedDiscriminator"> <defaultValue>general</defaultValue> </discriminator> <sift> # 根據(jù)變量loggerName名字生成根據(jù)日期滾動的Appender <appender name="FILE-${loggerName}" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file> ${LOG_DIR}/${loggerName}.log </file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern> ${LOG_DIR}/${loggerName}.%d{yyyy-MM-dd}.log.gz </fileNamePattern> <maxHistory>15</maxHistory> </rollingPolicy> <filter class="ch.qos.logback.classic.filter.ThresholdFilter"> <level>INFO</level> </filter> <encoder> <pattern>%d{HH:mm:ss.SSS} %-5level - %msg%n </pattern> </encoder> </appender> <appender name="FILE-ERROR-${loggerName}" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${LOG_DIR}/${loggerName}.err.log</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern> ${LOG_DIR}/${loggerName}.%d{yyyy-MM-dd}.err.log.gz </fileNamePattern> <maxHistory>15</maxHistory> </rollingPolicy> <filter class="ch.qos.logback.classic.filter.ThresholdFilter"> <level>ERROR</level> </filter> <encoder> <pattern>%d{HH:mm:ss.SSS} %-5level - %msg%n </pattern> </encoder> </appender> </sift> </appender> <!-- 追加器結(jié)束 --> <!-- 日志開始 --> <logger name="com.some.service" level="INFO" additivity="false"> <appender-ref ref="SIFT"/> </logger> <!-- 日志結(jié)束 --></configuration>下的是對應(yīng)的 LoggerNameBasedDiscriminator 類
package com.utils.loggers;import ch.qos.logback.classic.spi.ILoggingEvent;import ch.qos.logback.core.sift.AbstractDiscriminator;public class LoggerNameBasedDiscriminator extends AbstractDiscriminator<ILoggingEvent> { private static final String KEY = "loggerName"; private String defaultValue; public String getDefaultValue() { return defaultValue; } public void setDefaultValue(String defaultValue) { this.defaultValue = defaultValue; } # 這就是之所以xml里面可以引用loggerName變量的原因 public String getKey() { return KEY; } public void setKey() { throw new UnsupportedOperationException("Key not settable. Using " + KEY); } public String getDiscriminatingValue(ILoggingEvent e) { String loggerName = e.getLoggerName(); if (loggerName == null) return defaultValue; else { String[] split = loggerName.split("http://."); return split[split.length - 1]; } }}最開始我的日志里面沒有報錯信息, 正常的生成INFO日志. 但是后來發(fā)現(xiàn)事情好像不是想象的那樣
問題出現(xiàn)
后來我把程序改成多線程. 發(fā)現(xiàn)所有涉及到多線程的服務(wù)日志里面都沒信息了. Google半天, 發(fā)現(xiàn)幾個令我震驚的真相:
問題解決
對于之前的兩個問題, 分而治之.
不支持異步
再次谷歌(到這里讀者基本上發(fā)現(xiàn)了我搬磚的本質(zhì)), 發(fā)現(xiàn)有個Appender名字叫AsyncAppender, 這玩意是一個其他Appender的Wrapper. 說白了, 就是你打日志的命令是異步的, 放到隊列里面, 而它真正的打日志的動作是一個單獨的同步線程. 這就牛逼了, 使用這玩意收集我所有日志, 然后再轉(zhuǎn)發(fā)給SiftingAppender 進(jìn)行分發(fā)即可.
SiftingAppender 內(nèi)部最多嵌套一個Appender
這個好辦, 把INFO的Appender和ERROR的Appender拆開放到兩個SiftingAppender里面就行了, 不過這樣的話, 前面提到的的AsyncAppender 也要寫兩個.
最后, logback-spring.xml文件如下
<?xml version="1.0" encoding="UTF-8"?><configuration> <springProperty scope="context" name="LOG_DIR" source="global.log-dir" defaultValue="./log/"/> <!-- 追加器開始 --> <appender name="SIFT" class="ch.qos.logback.classic.sift.SiftingAppender"> <discriminator class="com.utils.loggers.LoggerNameBasedDiscriminator"> </discriminator> <sift> <appender name="FILE-${loggerName}" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${LOG_DIR}/${loggerName}.log</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern> ${LOG_DIR}/${loggerName}.%d{yyyy-MM-dd}.log </fileNamePattern> <maxHistory>15</maxHistory> </rollingPolicy> <filter class="ch.qos.logback.classic.filter.ThresholdFilter"> <level>INFO</level> </filter> <encoder> <pattern>%d{HH:mm:ss.SSS} %-5level - %msg%n </pattern> </encoder> </appender> </sift> </appender> <appender name="SIFT-ERR" class="ch.qos.logback.classic.sift.SiftingAppender"> <discriminator class="com.infervision.utils.loggers.LoggerNameBasedDiscriminator"> </discriminator> <sift> <appender name="FILE-ERROR-${loggerName}" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${LOG_DIR}/${loggerName}.err.log</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern> ${LOG_DIR}/${loggerName}.%d{yyyy-MM-dd}.err.log </fileNamePattern> <maxHistory>15</maxHistory> <totalSizeCap>50MB</totalSizeCap> </rollingPolicy> <filter class="ch.qos.logback.classic.filter.ThresholdFilter"> <level>ERROR</level> </filter> <encoder> <pattern>%d{HH:mm:ss.SSS} %-5level - %msg%n </pattern> </encoder> </appender> </sift> </appender> <!-- 異步輸出 --> <appender name ="ASYNC" class= "ch.qos.logback.classic.AsyncAppender"> <!-- 不丟失日志.默認(rèn)的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 --> <discardingThreshold >0</discardingThreshold> <!-- 更改默認(rèn)的隊列的深度,該值會影響性能.默認(rèn)值為256 --> <queueSize>512</queueSize> <!-- 添加附加的appender,最多只能添加一個 --> <appender-ref ref ="SIFT"/> </appender> <!-- 異步輸出 --> <appender name ="ASYNC-ERR" class= "ch.qos.logback.classic.AsyncAppender"> <!-- 不丟失日志.默認(rèn)的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 --> <discardingThreshold >0</discardingThreshold> <!-- 更改默認(rèn)的隊列的深度,該值會影響性能.默認(rèn)值為256 --> <queueSize>512</queueSize> <!-- 添加附加的appender,最多只能添加一個 --> <appender-ref ref ="SIFT-ERR"/> </appender> <!-- 追加器結(jié)束 --> <!-- 日志開始 --> <logger name="com.some.service" level="INFO" additivity="false"> <appender-ref ref="ASYNC"/> </logger> <!-- 日志結(jié)束 --></configuration>以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持武林網(wǎng)。
新聞熱點
疑難解答
圖片精選
