亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 語言 > PHP > 正文

php curl批處理實現可控并發異步操作示例

2024-05-05 00:03:35
字體:
來源:轉載
供稿:網友

本文實例講述了php curl批處理實現可控并發異步操作。分享給大家供大家參考,具體如下:

通常情況下 PHP 中的 cURL 是阻塞運行的,就是說創建一個 cURL 請求以后必須等它執行成功或者超時才會執行下一個請求:API接口訪問一般會首選CURL

在實際項目或者自己編寫小工具(比如新聞聚合,商品價格監控,比價)的過程中, 通常需要從第3方網站或者API接口獲取數據, 在需要處理1個URL隊列時, 為了提高性能, 可以采用cURL提供的curl_multi_*族函數實現簡單的并發.

<?phpinclude 'curl.class.php';function callback($response, $info, $error, $request){ echo 'response:<br>'; print_r($response); echo '<br>' . date("Y-m-d H:i:s") . '   <br>'; echo '<br>' . str_repeat("-", 100) . '<br>';}$USER_COOKIE = (!empty($_REQUEST['cookie'])) ? $_REQUEST['cookie'] : file_get_contents("cookie.txt");$curl = new Curl ("callback");$data = array( array(  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=qmr&type=rec_gametime&referfrom=&rt=0.42521539455332336', //秦美人  'method' => 'POST',  'post_data' => '',  'header' => null,  'options' => array(   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=qmr&fenQuNum=3",   CURLOPT_COOKIE => $USER_COOKIE,  ) ), array(  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=sq&type=rec_gametime&referfrom=&rt=0.42521539455332336', //神曲  'method' => 'POST',  'post_data' => '',  'header' => null,  'options' => array(   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=sq&fenQuNum=41",   CURLOPT_COOKIE => $USER_COOKIE,  ) ), array(  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=frxz&type=rec_gametime&referfrom=&rt=0.42521539455332336', //凡人修真  'method' => 'POST',  'post_data' => '',  'header' => null,  'options' => array(   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=frxz&fenQuNum=3",   CURLOPT_COOKIE => $USER_COOKIE,  ) ), array(  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=smxj&type=rec_gametime&referfrom=&rt=0.42521539455332336', //神魔仙界  'method' => 'POST',  'post_data' => '',  'header' => null,  'options' => array(   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=smxj&fenQuNum=2",   CURLOPT_COOKIE => $USER_COOKIE,  ) ), array(  'url' => 'http://dyactive2.vip.xunlei.com/com_sign/?game=qsqy&type=rec_gametime&referfrom=&rt=0.42521539455332336', //傾世情緣  'method' => 'POST',  'post_data' => '',  'header' => null,  'options' => array(   CURLOPT_REFERER => "http://niu.xunlei.com/entergame/?gameNo=qsqy&fenQuNum=11",   CURLOPT_COOKIE => $USER_COOKIE,  ) ),);foreach ($data as $val) { $request = new Curl_request ($val ['url'], $val ['method'], $val ['post_data'], $val ['header'], $val ['options']); $curl->add($request);}$curl->execute();echo $curl->display_errors();

使用下來效果很好,沒有副作用,并發數可控,應用之處多多,自己發揮想象吧

<?php/** * cURL批量處理 工具類 *  * @since Version 1.0 * @author Justmepzy <justmepzy@gmail.com> * @link http://t.qq.com/JustPzy *//** *單一的請求對象 */class Curl_request { public $url   = ''; public $method   = 'GET'; public $post_data  = null; public $headers  = null; public $options  = null; /**  *   * @param string $url  * @param string $method  * @param string $post_data  * @param string $headers  * @param array $options  * @return void  */ public function __construct($url, $method = 'GET', $post_data = null, $headers = null, $options = null) {  $this->url = $url;  $this->method = strtoupper( $method );  $this->post_data = $post_data;  $this->headers = $headers;  $this->options = $options; } /**  * @return void  */ public function __destruct() {  unset ( $this->url, $this->method, $this->post_data, $this->headers, $this->options ); }}/** * 包含請求列隊處理 */class Curl { /**  * 請求url個數  * @var int  */ private $size    = 5; /**  * 等待所有cURL批處理中的活動連接等待響應時間  * @var int  */ private $timeout   = 5; /**  * 完成請求回調函數  * @var string  */ private $callback   = null; /**  * cRUL配置  * @var array  */ private $options   = array (CURLOPT_SSL_VERIFYPEER => 0,CURLOPT_RETURNTRANSFER => 1,CURLOPT_CONNECTTIMEOUT => 30 ); /**  * 請求頭  * @var array  */ private $headers   = array (); /**  * 請求列隊  * @var array  */ private $requests   = array (); /**  * 請求列隊索引  * @var array  */ private $request_map  = array (); /**  * 錯誤  * @var array  */ private $errors   = array (); /**  * @access public  * @param string $callback 回調函數  * 該函數有4個參數($response,$info,$error,$request)  * $response url返回的body  * $info  cURL連接資源句柄的信息  * $error  錯誤  * $request  請求對象  */ public function __construct($callback = null) {  $this->callback = $callback; } /**  * 添加一個請求對象到列隊  * @access public  * @param object $request  * @return boolean  */ public function add($request) {  $this->requests [] = $request;  return TRUE; } /**  * 創建一個請求對象并添加到列隊  * @access public  * @param string $url  * @param string $method  * @param string $post_data  * @param string $headers  * @param array $options  * @return boolean  */ public function request($url, $method = 'GET', $post_data = null, $headers = null, $options = null) {  $this->requests [] = new Curl_request ( $url, $method, $post_data, $headers, $options );  return TRUE; } /**  * 創建GET請求對象  * @access public  * @param string $url  * @param string $headers  * @param array $options  * @return boolean  */ public function get($url, $headers = null, $options = null) {  return $this->request ( $url, "GET", null, $headers, $options ); } /**  * 創建一個POST請求對象  * @access public  * @param string $url  * @param string $post_data  * @param string $headers  * @param array $options  * @return boolean  */ public function post($url, $post_data = null, $headers = null, $options = null) {  return $this->request ( $url, "POST", $post_data, $headers, $options ); } /**  * 執行cURL  * @access public  * @param int $size 最大連接數  * @return Ambigous <boolean, mixed>|boolean  */ public function execute($size = null) {  if (sizeof ( $this->requests ) == 1) {   return $this->single_curl ();  } else {   return $this->rolling_curl ( $size );  } } /**  * 單個url請求  * @access private  * @return mixed|boolean  */ private function single_curl() {  $ch = curl_init ();  $request = array_shift ( $this->requests );  $options = $this->get_options ( $request );  curl_setopt_array ( $ch, $options );  $output = curl_exec ( $ch );  $info = curl_getinfo ( $ch );  // it's not neccesary to set a callback for one-off requests  if ($this->callback) {   $callback = $this->callback;   if (is_callable ( $this->callback )) {    call_user_func ( $callback, $output, $info, $request );   }  } else   return $output;  return true; } /**  * 多個url請求  * @access private  * @param int $size 最大連接數  * @return boolean  */ private function rolling_curl($size = null) {  if ($size)   $this->size = $size;  else    $this->size = count($this->requests);  if (sizeof ( $this->requests ) < $this->size)   $this->size = sizeof ( $this->requests );  if ($this->size < 2)   $this->set_error ( 'size must be greater than 1' );  $master = curl_multi_init ();  //添加cURL連接資源句柄到map索引  for($i = 0; $i < $this->size; $i ++) {   $ch = curl_init ();   $options = $this->get_options ( $this->requests [$i] );   curl_setopt_array ( $ch, $options );   curl_multi_add_handle ( $master, $ch );   $key = ( string ) $ch;   $this->request_map [$key] = $i;  }  $active = $done = null;  do {   while ( ($execrun = curl_multi_exec ( $master, $active )) == CURLM_CALL_MULTI_PERFORM )    ;   if ($execrun != CURLM_OK)    break;   //有一個請求完成則回調   while ( $done = curl_multi_info_read ( $master ) ) {    //$done 完成的請求句柄    $info = curl_getinfo ( $done ['handle'] );//    $output = curl_multi_getcontent ( $done ['handle'] );//    $error = curl_error ( $done ['handle'] );//    $this->set_error ( $error );    //調用回調函數,如果存在的話    $callback = $this->callback;    if (is_callable ( $callback )) {     $key = ( string ) $done ['handle'];     $request = $this->requests [$this->request_map [$key]];     unset ( $this->request_map [$key] );     call_user_func ( $callback, $output, $info, $error, $request );    }    curl_close ( $done ['handle'] );    //從列隊中移除已經完成的request    curl_multi_remove_handle ( $master, $done ['handle'] );   }   //等待所有cURL批處理中的活動連接   if ($active)    curl_multi_select ( $master, $this->timeout );  } while ( $active );  //完成關閉  curl_multi_close ( $master );  return true; } /**  * 獲取沒得請求對象的cURL配置  * @access private  * @param object $request  * @return array  */ private function get_options($request) {  $options = $this->__get ( 'options' );  if (ini_get ( 'safe_mode' ) == 'Off' || ! ini_get ( 'safe_mode' )) {   $options [CURLOPT_FOLLOWLOCATION] = 1;   $options [CURLOPT_MAXREDIRS] = 5;  }  $headers = $this->__get ( 'headers' );  if ($request->options) {   $options = $request->options + $options;  }  $options [CURLOPT_URL] = $request->url;  if ($request->post_data && strtolower($request->method) == 'post' ) {   $options [CURLOPT_POST] = 1;   $options [CURLOPT_POSTFIELDS] = $request->post_data;  }  if ($headers) {   $options [CURLOPT_HEADER] = 0;   $options [CURLOPT_HTTPHEADER] = $headers;  }  return $options; } /**  * 設置錯誤信息  * @access public  * @param string $msg  */ public function set_error($msg) {  if (! empty ( $msg ))   $this->errors [] = $msg; } /**  * 獲取錯誤信息  * @access public  * @param string $open  * @param string $close  * @return string  */ public function display_errors($open = '<p>', $close = '</p>') {  $str = '';  foreach ( $this->errors as $val ) {   $str .= $open . $val . $close;  }  return $str; } /**  * @access public  * @param string $name  * @param string $value  * @return boolean  */ public function __set($name, $value) {  if ($name == 'options' || $name == 'headers') {   $this->{$name} = $value + $this->{$name};  } else {   $this->{$name} = $value;  }  return TRUE; } /**  *   * @param string $name  * @return mixed  * @access public  */ public function __get($name) {  return (isset ( $this->{$name} )) ? $this->{$name} : null; } /**  * @return void  * @access public  */ public function __destruct() {  unset ( $this->size, $this->timeout, $this->callback, $this->options, $this->headers, $this->requests, $this->request_map, $this->errors ); }}// END Curl Class/* End of file curl.class.php */

希望本文所述對大家PHP程序設計有所幫助。


注:相關教程知識閱讀請移步到PHP教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表

圖片精選

亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
在线电影欧美日韩一区二区私密| 国产精品视频男人的天堂| 久久中文字幕在线| 欧美老女人www| 成人在线国产精品| 日韩黄色在线免费观看| 日韩中文字幕在线视频播放| 精品一区二区三区三区| 久久777国产线看观看精品| 国产主播喷水一区二区| 亚洲电影免费观看| 精品亚洲一区二区三区| 久久久国产一区二区| 久久久精品中文字幕| 国产va免费精品高清在线观看| 欧美激情在线一区| 狠狠久久亚洲欧美专区| 97视频com| 亚洲电影第1页| 一本色道久久综合亚洲精品小说| 久久久久久久999| 国产日产亚洲精品| 2019最新中文字幕| 成人做爽爽免费视频| 庆余年2免费日韩剧观看大牛| 午夜精品三级视频福利| 色噜噜狠狠色综合网图区| 69av成年福利视频| 欧美在线视频在线播放完整版免费观看| 精品久久久久久中文字幕大豆网| 亚洲一区二区三区成人在线视频精品| 亚洲人成电影在线播放| 亚洲综合自拍一区| 欧美日韩高清在线观看| 91网站在线看| 国产精品视频成人| 久久久久久久久久久免费精品| 国产精品96久久久久久又黄又硬| 国产精品99久久久久久久久久久久| 国产精品999999| 92看片淫黄大片看国产片| 热99精品只有里视频精品| 亚洲精品电影在线| 国产精品欧美激情| 日本国产一区二区三区| 欧美国产日韩一区| 国产精品视频一| 亚洲成人久久电影| 91久久久久久国产精品| 欧美激情性做爰免费视频| 亚洲第一页自拍| 亚洲sss综合天堂久久| 91精品久久久久久久久中文字幕| 欧美成人精品一区二区三区| 亚洲成人在线视频播放| 2020国产精品视频| 国产精品a久久久久久| 91在线观看免费网站| 国产精品视频自在线| 免费91在线视频| 尤物yw午夜国产精品视频| 38少妇精品导航| 欧美在线日韩在线| 国产精品爱久久久久久久| 亚洲一级黄色av| 91九色视频在线| 欧美在线日韩在线| 国产精品第七十二页| 亚洲高清一二三区| 国产成人一区二区在线| 92福利视频午夜1000合集在线观看| 欧美性高潮在线| 97国产精品视频人人做人人爱| 97av在线视频| 久久精品人人爽| 国产欧美va欧美va香蕉在| 国产suv精品一区二区三区88区| 亚洲精品国产品国语在线| 91沈先生在线观看| 久久网福利资源网站| 97在线免费视频| 国产精品久久久久免费a∨| 国产91在线视频| 中文在线不卡视频| 日韩视频―中文字幕| 亚洲第一视频网| 日韩视频精品在线| 国产精品揄拍500视频| 97在线看免费观看视频在线观看| 91在线高清免费观看| 欧美日韩国产丝袜另类| 国产一区二区色| 欧美乱妇40p| 精品自在线视频| 国产精品久久久久久久美男| 日韩成人网免费视频| 大量国产精品视频| 国产亚洲a∨片在线观看| 精品日本美女福利在线观看| 亚洲欧美制服丝袜| 欧美高清激情视频| 亚洲精品99999| 久久99热精品这里久久精品| 91精品国产91久久久久久久久| 中文字幕日韩av电影| 国产视频亚洲精品| 国产日韩精品在线播放| 欧美成人在线影院| 亚洲激情视频在线观看| 日韩欧美国产网站| 国产色综合天天综合网| 色诱女教师一区二区三区| 亚洲色图激情小说| 亚洲电影中文字幕| 欧美日本精品在线| 日韩精品免费电影| 成人有码视频在线播放| 国产午夜精品一区理论片飘花| 久久成人精品一区二区三区| 欧美在线观看日本一区| 国产精品对白刺激| 2020国产精品视频| 欧美人与物videos| 亚洲一区二区三区四区视频| 欧美激情国产日韩精品一区18| 在线观看日韩欧美| 国产亚洲日本欧美韩国| 久久久av亚洲男天堂| 国产精品久久久久久久久借妻| 亚洲欧美日韩图片| 午夜精品久久久久久久99黑人| 日韩中文字幕视频在线观看| 久久久国产精彩视频美女艺术照福利| 亚洲成人免费网站| 亚洲精品美女久久久| 日韩精品中文字幕在线播放| 精品久久中文字幕| 久99九色视频在线观看| 亚洲国产欧美在线成人app| 日韩在线观看免费全集电视剧网站| 欧美大片大片在线播放| 色婷婷av一区二区三区久久| 98午夜经典影视| 精品视频在线观看日韩| 4444欧美成人kkkk| 亚洲精品美女视频| 久久亚洲精品网站| 孩xxxx性bbbb欧美| 亚洲综合中文字幕68页| 66m—66摸成人免费视频| 精品久久久久久久久久久久| 91精品久久久久久久久青青| 日韩电影中文字幕在线| 久久97久久97精品免视看| 在线看片第一页欧美| 成人在线播放av| 亚洲国产高清自拍| 91亚洲va在线va天堂va国| 综合欧美国产视频二区| 国产日韩在线视频| 中文字幕日韩视频| 国产精品久久综合av爱欲tv| 亚洲欧美日韩精品久久| 日韩精品999|