亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 網站 > WEB服務 > 正文

Nginx的error_log和Access_log分析

2020-05-27 13:11:08
字體:
來源:轉載
供稿:網友

   nginx配置中有關日志的配置主要是圍繞著下面兩個指令:

  1、error_log

  2、access_log:記錄訪問日志

  首先要強調的一點是,如果access日志和error日志都是常量文件名(因為access支持變量文件名,后續會講到),那么nginx進程會緩存文件描述符直到進程結束。

  什么時候日志的fd會改變呢?

  1)進程重啟

  2)收到了NGX_REOPEN_SIGNAL信號,會產生新的日志文件

  其他情況下,日志的fd不變,所以當進程運行中,刪除了日志文件的話,并不會生成新的日志文件,且日志都會丟失

  下面詳細講一下這兩個指令的來龍去脈

  一:先說error_log:

  nginx有兩個模塊支持error_log指令:

  一個是 ngx_errlog_module ,這個模塊只有一個指令,就是error_log ,配置類型為:NGX_MAIN_CONF,回調函數為:ngx_error_log;

  另一個是 ngx_http_core_module,這個模塊中也有指令:error_log ,配置類型為:NGX_HTTP_MAIN_CONF|NGX_HTTP_SRV_CONF|NGX_HTTP_LOC_CONF,回調函數為:ngx_http_core_error_log。

  static ngx_command_t ngx_errlog_commands[] = {

  {ngx_string("error_log"),

  NGX_MAIN_CONF|NGX_CONF_1MORE,

  ngx_error_log,

  0,

  0,

  NULL},

  ngx_null_command

  };

  static ngx_command_t ngx_http_core_commands[] = {

  { ngx_string("error_log"),

  NGX_HTTP_MAIN_CONF|NGX_HTTP_SRV_CONF|NGX_HTTP_LOC_CONF|NGX_CONF_1MORE,

  ngx_http_core_error_log,

  NGX_HTTP_LOC_CONF_OFFSET,

  0,

  NULL },

  }

  這樣會產生幾個疑問:

  1:為什么需要兩個相同的指令實現相同的功能。

  2:兩個指令的類型均支持NGX_HTTP_MAIN_CONF ,那么在main中配置的error_log到底使用的是哪一個

  3:兩者的作用關系。

  下面來解釋一下:

  nginx在進行模塊注冊時,會發現 ngx_errlog_module 模塊是先于 ngx_http_core_module 模塊注冊的 。

  在nginx在解析配置文件的時候 ,見到 error_log,會按照注冊模塊的順序查找指令,這樣,會先找到ngx_errlog_module模塊,如果此時,error_log是在main配置的,那么和ngx_errlog_module模塊error_log的NGX_HTTP_MAIN_CONF match,執行ngx_error_log。

  如果error_log是在http{}配置的,也會按照注冊模塊的順序查找指令,找到ngx_errlog_module模塊的error_log,發現type是NGX_HTTP_MAIN_CONF,不match,繼續往下找,找到ngx_http_core_module的error_log,type是NGX_HTTP_MAIN_CONF|NGX_HTTP_SRV_CONF|NGX_HTTP_LOC_CONF ,match后執行ngx_http_core_error_log。

  上面提到了ngx_error_log 和 ngx_http_core_error_log兩個函數,這兩個函數的功能基本一致,但是因為兩個配置作用域不同,所以配置存儲位置不同:ngx_errlog_module存儲在cycle->new_log,ngx_http_core_module存儲在http core模塊數據結構ngx_http_core_loc_conf_s的error_log(在此簡寫成:clcf->error_log)。

  clcf->error_log是http模塊中的,其主要記錄和http請求相關的日志。

  cycle->new_log主要記錄如進程啟動,event等。

  但是主進程啟動的時候,此時還沒有讀取配置文件,即沒有指定日志打印在哪里。nginx這時候雖然可以將一些出錯內容或者結果輸到標準輸出,但是如果要記錄一些系統初始化情況,socket監聽狀況,還是需要寫到日志文件中去的。在nginx的main函數中,首先會調用ngx_log_init 函數,默認日志文件為:安裝路徑/logs/error.log,如果這個文件沒有權限訪問的話,會直接報錯退出。在mian函數結尾處,在ngx_master_process_cycle函數調用之前,會close掉這個日志文件。

  如果只在main配置了error_log,http{}中沒有設置,那么clcf->error_log賦值為clcf->error_log,如下:

  static char *

  ngx_http_core_merge_loc_conf(ngx_conf_t *cf, void *parent, void *child)

  {

  ngx_http_core_loc_conf_t *prev = parent;

  ngx_http_core_loc_conf_t *conf = child;

  。。。。。。

  if (conf->error_log == NULL) {

  if (prev->error_log) {

  conf->error_log = prev->error_log;

  } else {

  conf->error_log = &cf->cycle->new_log;

  }

  }

  。。。。。。

  }

  那為什么不把兩個指令合并到一起呢。

  首先看一下模塊注冊順序:

  ngx_module_t *ngx_modules[] = {

  &ngx_core_module,

  &ngx_errlog_module,

  &ngx_conf_module,

  &ngx_events_module,

  &ngx_event_core_module,

  &ngx_rtsig_module,

  &ngx_epoll_module,

  &ngx_regex_module,

  &ngx_http_module,

  &ngx_http_core_module,

  &ngx_http_log_module,

  ......

  }

  可見ngx_errlog_module 和 ngx_http_core_module中間有n多模塊。這些模塊是獨立于http的,而且需要日志的打印,這些日志肯定是需要記錄的。

  則此模塊不可省,那么考慮把ngx_http_core_module的error_log合并過來呢,想想也不行,為什么呢?

  想想ngx_errlog_module將error_log信息存在哪里,想想ngx_http_core_module的error_log信息存在哪里。

  在調用ngx_error_log時候,把針對不同server或者location的error_log信息存儲在哪里。(模塊之間不能深度耦合)

  為了兩個模塊互不影響,這是個好辦法呀!

  二:access_log

  接下來看一下access_log,access_log指令是屬于ngx_http_log_module模塊。

  ngx_http_log_module有三個指令:

  static ngx_command_t ngx_http_log_commands[] = {

  { ngx_string("log_format"),

  NGX_HTTP_MAIN_CONF|NGX_HTTP_SRV_CONF|NGX_HTTP_LOC_CONF|NGX_CONF_2MORE,

  ngx_http_log_set_format,

  NGX_HTTP_MAIN_CONF_OFFSET,

  0,

  NULL },

  { ngx_string("access_log"),

  NGX_HTTP_MAIN_CONF|NGX_HTTP_SRV_CONF|NGX_HTTP_LOC_CONF|NGX_HTTP_LIF_CONF

  |NGX_HTTP_LMT_CONF|NGX_CONF_TAKE123,

  ngx_http_log_set_log,

  NGX_HTTP_LOC_CONF_OFFSET,

  0,

  NULL },

  { ngx_string("open_log_file_cache"),

  NGX_HTTP_MAIN_CONF|NGX_HTTP_SRV_CONF|NGX_HTTP_LOC_CONF|NGX_CONF_TAKE1234,

  ngx_http_log_open_file_cache,

  NGX_HTTP_LOC_CONF_OFFSET,

  0,

  NULL },

  ngx_null_command

  };

  每個block都可以配置上面的指令 ,這些指令對應著各個block配置中的loc[ngx_http_log_module.index](要理解這個,需要知道配置文件的整個解析過程和block對應關系),即下面這個數據結構:

  typedef struct {

  ngx_array_t *logs; /* array of ngx_http_log_t */

  ngx_open_file_cache_t *open_file_cache;

  time_t open_file_cache_valid;

  ngx_uint_t open_file_cache_min_uses;

  ngx_uint_t off; /* unsigned off:1 */

  } ngx_http_log_loc_conf_t;

  關于access_log主要有以下幾個點:

  1、ngx_http_log_module是屬于nginx狀態機最后一個階段NGX_HTTP_LOG_PHASE的處理模塊,即一個http請求結束時執行的,它的任務就是打印這次request的訪問情況。

  2、access_log支持根據變量指令路徑,如:

  access_log logs/$remote_addraccess.log main;

  3、不管是變量路徑還是常量路徑,都將信息放入了 ngx_http_log_loc_conf_t的logs這個數組里進行管理,logs數組的元素是ngx_http_log_t。

  typedef struct {

  ngx_open_file_t *file;

  ngx_http_log_script_t *script;

  time_t disk_full_time;

  time_t error_log_time;

  ngx_http_log_fmt_t *format;

  } ngx_http_log_t;

  當是常量的時候使用file記錄,這個文件記錄會放入到cycle->open_files

  struct ngx_open_file_s {

  ngx_fd_t fd;

  ngx_str_t name;

  u_char *buffer;

  u_char *pos;

  u_char *last;

  };

  當是變量的時候使用script記錄

  typedef struct {

  ngx_array_t *lengths;

  ngx_array_t *values;

  } ngx_http_log_script_t;

  4、不管是error_log還是access_log,nginx都是通過保存文件句柄來進行快速寫日志文件的。但是因為access_log支持根據變量指令路徑,如果按照request或者ip來分隔不同的access日志,那么可想而至,若還按照保存文件句柄的方式來寫日志文件,會造成系統fd的大量占用。nginx在此進行了優化:

  1)如果用常量指定acess日志路徑:

  access_log logs/access.log main;

  那么和error_log一樣,將文件路徑名稱放到cycle->open_files中去,這是個list,在路徑加入這個list的時候會進行除重操作的。在所有的模塊初始化完畢,會依次打開這些文件路徑,獲取到fd,以備打印日志使用。

  打印日志的時候調用函數:ngx_write_fd

  2)如果用變量指定acess日志路徑:

  使用script標記日志文件為變量文件名的。

  打印日志的時候調用函數:ngx_http_log_script_write

  在這個函數里,體現出了對緩存fd的管理。這些和指令open_file_log_cache的配置是息息相關的(后面會詳細介紹)。

  打日志的函數:

  static void

  ngx_http_log_write(ngx_http_request_t *r, ngx_http_log_t *log, u_char *buf,

  size_t len)

  {

  u_char *name;

  time_t now;

  ssize_t n;

  ngx_err_t err;

  if (log->script == NULL) {

  name = log->file->name.data;

  n = ngx_write_fd(log->file->fd, buf, len);

  } else {

  name = NULL;

  n = ngx_http_log_script_write(r, log->script, &name, buf, len);

  }

  ......

  }

  5、說到緩存文件描述符,nginx有兩個指令是管理緩存文件描述符的

  一個就是本文中說到的ngx_http_log_module模塊的open_file_log_cache;

  一個是ngx_http_core_module模塊的 open_file_cache;

  前者是只用來管理access變量日志文件。

  后者用來管理的就多了,包括:static,index,tryfiles,gzip,mp4,flv,看到了沒,都是靜態文件哦!

  這兩個指令的handler都調用了函數 ngx_open_file_cache_init ,這就是用來管理緩存文件描述符的第一步:初始化

  ngx_open_file_cache_t *

  ngx_open_file_cache_init(ngx_pool_t *pool, ngx_uint_t max, time_t inactive)

  {

  ngx_pool_cleanup_t *cln;

  ngx_open_file_cache_t *cache;

  cache = ngx_palloc(pool, sizeof(ngx_open_file_cache_t));

  if (cache == NULL) {

  return NULL;

  }

  ngx_rbtree_init(&cache->rbtree, &cache->sentinel,

  ngx_open_file_cache_rbtree_insert_value);

  ngx_queue_init(&cache->expire_queue);

  cache->current = 0;

  cache->max = max;

  cache->inactive = inactive;

  cln = ngx_pool_cleanup_add(pool, 0);

  if (cln == NULL) {

  return NULL;

  }

  cln->handler = ngx_open_file_cache_cleanup;

  cln->data = cache;

  return cache;

  }

  可以看到nginx管理緩存文件描述符,使用了紅黑樹和隊列,這個后續還是作為一篇文章來敘述吧,涉及的內容有點多,本文還是以分析日志模塊為主。

  6、說一下指令 open_file_log_cache

  1)nginx下默認這個指令的配置是:open_file_log_cache off;

  也就是說不對access變量日志文件的fd做緩存,每寫一個文件就打開,然后寫日志。那么這個文件fd什么時候關閉呢。

  這就涉及到nginx內存管理的cleanup了,cleanup可以注冊,在內存池被銷毀的時候,調用cleanup鏈表中各個cleanup的handler(詳細可以去翻閱nginx內存池管理)

  而此時的文件fd就是在request完畢后,銷毀內存池的時候,關閉fd。

  配置open_log_file_cache off; 時的運行

  這是獲取access變量文件fd的函數,返回值應該是access日志的fd。

  ngx_int_t

  ngx_open_cached_file(ngx_open_file_cache_t *cache, ngx_str_t *name,

  ngx_open_file_info_t *of, ngx_pool_t *pool)

  {

  time_t now;

  uint32_t hash;

  ngx_int_t rc;

  ngx_file_info_t fi;

  ngx_pool_cleanup_t *cln;

  ngx_cached_open_file_t *file;

  ngx_pool_cleanup_file_t *clnf;

  ngx_open_file_cache_cleanup_t *ofcln;

  of->fd = NGX_INVALID_FILE;

  of->err = 0;

  //配置open_log_file_cache off的話,cache為空

  if (cache == NULL) {

  ......

  //添加一個cleanup

  cln = ngx_pool_cleanup_add(pool, sizeof(ngx_pool_cleanup_file_t));

  if (cln == NULL) {

  return NGX_ERROR;

  }

  //打開日志文件,獲得fd rc = ngx_open_and_stat_file(name, of, pool->log);

  rc = ngx_open_and_stat_file(name, of, pool->log);

  //打開日志文件成功

  if (rc == NGX_OK && !of->is_dir) {

  //添加cleanup回調,在銷毀內存池的時候調用ngx_pool_cleanup_file,函數內采用了close關閉fd

  cln->handler = ngx_pool_cleanup_file;

  clnf = cln->data;

  clnf->fd = of->fd;

  clnf->name = name->data;

  clnf->log = pool->log;

  }

  return rc;

  }

  ......

  }

  2)如果配置open_file_log_cache的話,支持四種參數:

  max = N [ inactive = time ] [ min_uses = N ] [ valid = time ]

  max 最大緩存文件描述符數量

  inactive 在多少時間內不活動,就會被刪除

  min_uses 必須在 inactive時間內活動N次,才會被緩存

  valid 檢查inactive的時間。

  具體的緩存文件fd的來龍去脈值得用一篇文章來詳細描述,在這里就暫且不說了,希望最近有時間整理出來。

  The End

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产成人精品久久二区二区91| 亚洲欧洲日产国码av系列天堂| 欧美在线视频免费观看| 久久国产精品久久久久久久久久| 久久精品国产成人精品| 亚洲国产精品免费| 国产不卡精品视男人的天堂| 欧美寡妇偷汉性猛交| 欧美裸身视频免费观看| 97超级碰碰人国产在线观看| 欧美高清视频在线观看| 国产欧美日韩精品专区| 国产精品视频内| 综合国产在线观看| 欧美电影免费观看高清完整| 丝袜一区二区三区| 亚洲国产精品推荐| 亚洲国产精品热久久| 国产成人精品一区二区三区| 国产亚洲精品久久久久久| 欧美wwwxxxx| 成人动漫网站在线观看| 97色在线观看免费视频| 欧美黄色www| 久久中文字幕国产| 日韩在线中文视频| 国产精品入口日韩视频大尺度| 日韩小视频在线观看| 久久久www成人免费精品张筱雨| 98视频在线噜噜噜国产| 91九色单男在线观看| 亚洲精品视频二区| 日韩精品极品视频| 精品亚洲一区二区三区四区五区| 国产成人在线一区| 国产一区二区三区四区福利| 亚洲成人精品久久| 久久久久久久久久久成人| 91久热免费在线视频| 日韩亚洲在线观看| 亚洲一区亚洲二区亚洲三区| 欧洲中文字幕国产精品| 久久91亚洲精品中文字幕奶水| 亚洲另类xxxx| 欧美日韩国产专区| 成人免费视频97| 国产成人精品最新| 91精品国产91久久久| 国产黑人绿帽在线第一区| 超碰精品一区二区三区乱码| 成人欧美一区二区三区在线| 亚洲色无码播放| 欧美午夜丰满在线18影院| 97国产成人精品视频| 色狠狠av一区二区三区香蕉蜜桃| 57pao成人永久免费视频| 国产成人亚洲综合| 国产精品27p| 久久久久久久久久婷婷| 精品久久在线播放| 欧美性做爰毛片| 久久av红桃一区二区小说| 综合网中文字幕| 欧美激情精品久久久久久变态| 亚洲福利视频网站| 国产精品伦子伦免费视频| 日韩毛片中文字幕| 亚洲国产精品高清久久久| 国产精品揄拍一区二区| 欧美日韩国产成人高清视频| 在线一区二区日韩| 国产精品18久久久久久首页狼| 亚洲视频在线播放| 92福利视频午夜1000合集在线观看| 久久久久久久久爱| 成人国产精品日本在线| 久久国产一区二区三区| 两个人的视频www国产精品| 怡红院精品视频| 国产ts一区二区| 亚洲精品第一国产综合精品| 国产成人在线视频| 91在线播放国产| 另类色图亚洲色图| 51视频国产精品一区二区| 国产精品久久久av久久久| 国产亚洲精品久久久久久777| 91免费综合在线| 亚洲欧洲日产国码av系列天堂| 狠狠躁夜夜躁人人爽超碰91| 欧美日韩ab片| 亚洲免费中文字幕| 最近2019年日本中文免费字幕| 国产亚洲欧洲在线| 亚洲国产精品久久久久秋霞蜜臀| 精品国产一区二区在线| 欧美精品videos另类日本| 日韩有码在线播放| 一区二区三区日韩在线| 欧美成人精品激情在线观看| 精品福利在线看| 亚洲国模精品私拍| 黄色精品一区二区| 日韩欧美在线国产| 亚洲精品国产拍免费91在线| 欧美激情视频一区二区三区不卡| 亚洲福利在线观看| 91精品成人久久| 亚洲日韩欧美视频一区| 国产91色在线免费| 国产成人精品国内自产拍免费看| 亚洲精品99999| 久久久精品免费| 欧美激情小视频| 精品久久久久久久久久国产| 亚洲一区www| 亚洲美腿欧美激情另类| 韩国国内大量揄拍精品视频| 欧美成人h版在线观看| 亚洲品质视频自拍网| 中文字幕精品一区二区精品| 岛国av一区二区三区| 久久天天躁狠狠躁夜夜av| 蜜臀久久99精品久久久无需会员| 亚洲福利在线播放| 欧美成人午夜激情在线| 91精品视频免费| 国产视频精品一区二区三区| 亚洲国内精品视频| 欧美成人免费一级人片100| 亚洲毛片在线观看.| 欧美老肥婆性猛交视频| 色偷偷综合社区| 日韩视频免费中文字幕| 国产在线视频2019最新视频| 韩国精品美女www爽爽爽视频| 亚洲色图综合网| 欧美中文字幕视频在线观看| 日韩高清中文字幕| 亚洲精品日韩久久久| 日韩一区二区欧美| 国产精品欧美日韩| 日韩欧美一区二区在线| 亚洲国产精品免费| 一区国产精品视频| 亚洲视频精品在线| 日韩av在线一区| 久久精品成人欧美大片| 久久久久久成人| 国产成人中文字幕| 97精品国产97久久久久久春色| 欧美大片免费观看在线观看网站推荐| 日韩欧美国产一区二区| 亚洲美腿欧美激情另类| 九九九热精品免费视频观看网站| 欧美激情精品久久久久久变态| 久久视频免费观看| 57pao国产精品一区| 日韩精品www| 成人性生交大片免费看视频直播| 欧美性在线观看| 欧美麻豆久久久久久中文| 欧美在线视频在线播放完整版免费观看| 国产精品99久久久久久www|