亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 開發 > PHP > 正文

自己寫的php curl庫實現整站克隆功能

2024-05-04 23:31:15
字體:
來源:轉載
供稿:網友
這篇文章主要介紹了自己寫的php curl庫實現整站克隆功能,本文給出工具庫源碼下載和使用示例,需要的朋友可以參考下
 

有時候經常會用到一些在線手冊,比如國內或國外的,有些是訪問速度慢,有些是作者直接吧網站關閉了,有些是服務器總是宕機,所以還是全盤克隆到自己服務器比較爽。

庫特點:

給定一初始連接,初始鏈接以下的層級所有文件會拷貝到本地。
多次克隆可以配置是否覆蓋。
可以配置是否下載圖片。
所有鏈接替換為相對鏈接,所以可以隨便rewrite。
絕對不會出現文件覆蓋等問題。
最NB的特點是,沒有比這更NB的庫了。

SVN:http://svn.phpdr.net/repos/ares/php/library/trunk/lib/CurlMulti/MyCurl/Clone.php

克隆結果展示(這個克隆操作幾秒鐘就完成了):

克隆源網站:http://www.laruence.com/manual/
克隆結果:http://manual.phpdr.net/yaf/

Demo代碼:

復制代碼代碼如下:

<?php
class Controller_Spider extends MyYaf_Controller_Base{
 function init(){
  parent::init();
  if(!$this->getRequest()->isCli()){
      Ares_Http::error403();
  }
  include 'CurlMulti/CurlMulti.php';
  include 'CurlMulti/MyCurl.php';
  include 'phpQuery.php';
 }
}

 

 

復制代碼代碼如下:

<?php
class YafdocController extends Controller_Spider {
 function init() {
  parent::init ();
  include 'CurlMulti/MyCurl/Clone.php';
 }
 function indexAction() {
  $url = 'http://www.laruence.com/manual';
  $dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
  $cacheDir = $this->getBaseDir () . '/cache/curl';
  if (! is_dir ( $cacheDir )) {
   mkdir ( $cacheDir );
  }
  $curl = new CurlMulti ();
  $curl->maxThread = 10;
  $curl->cache ['enable'] = true;
  $curl->cache ['enableDownload'] = true;
  $curl->cache ['dir'] = $cacheDir;
  $curl->cache ['compress'] = true;
  $clone = new MyCurl_Clone ( $curl, $url, $dir );
  $clone->overwrite = true;
  $clone->start ();
  return false;
 }
}

 

 

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产成人中文字幕| 亚洲成人久久久久| 亚洲欧美一区二区三区久久| 57pao国产精品一区| 国产精品电影一区| 精品国产一区二区三区久久久狼| 日韩电影中文字幕在线| 另类天堂视频在线观看| 精品视频中文字幕| 日韩国产激情在线| 国产精品三级久久久久久电影| 精品国偷自产在线视频| 国产精品人成电影| 日韩精品视频免费专区在线播放| 亚洲欧美色图片| 岛国精品视频在线播放| 另类视频在线观看| 亚洲天堂网站在线观看视频| 国产99久久久欧美黑人| 国产精品自产拍在线观看中文| 亚洲欧美激情一区| 亚洲欧美国产va在线影院| 亚洲香蕉成视频在线观看| 国产999精品| 狠狠色狠色综合曰曰| 91精品久久久久久综合乱菊| 国产精品福利在线| 亚洲福利在线视频| 成人精品视频久久久久| 国产精品丝袜久久久久久高清| 欧美中文字幕第一页| 2019中文字幕在线观看| 黄色成人av在线| 亚洲肉体裸体xxxx137| 久久精品视频免费播放| 久久国产精品偷| zzijzzij亚洲日本成熟少妇| 丝袜美腿精品国产二区| 成人性生交xxxxx网站| 亚洲已满18点击进入在线看片| 亚洲最大福利视频网| 黄色成人av网| 精品国产老师黑色丝袜高跟鞋| 国内精品一区二区三区四区| 国产一区二区三区视频在线观看| 久久影视免费观看| 欧日韩不卡在线视频| 午夜精品视频在线| 欧美色道久久88综合亚洲精品| 亚洲欧洲一区二区三区在线观看| 久久69精品久久久久久久电影好| 日韩av观看网址| 亚洲欧美日韩精品久久| 中文字幕免费国产精品| 国产精品综合不卡av| 欧美激情a∨在线视频播放| 亚洲黄色www| 久久九九免费视频| 国产精品久久久久久搜索| 91欧美精品成人综合在线观看| 性日韩欧美在线视频| 亚洲成人久久一区| 久久91超碰青草是什么| 日韩一区二区三区在线播放| 久久久久久国产精品久久| 色播久久人人爽人人爽人人片视av| 在线观看欧美视频| 动漫精品一区二区| 88国产精品欧美一区二区三区| 欧美高清视频免费观看| 色婷婷综合久久久久中文字幕1| 欧美激情按摩在线| 中文字幕在线观看日韩| 亚洲自拍小视频免费观看| 国产精品美女主播在线观看纯欲| 欧美自拍视频在线| 久久精品福利视频| 91免费精品视频| 亚洲无线码在线一区观看| 日韩av在线免费看| 日韩亚洲第一页| 亚洲成人黄色网| 国产视频自拍一区| 欧美日韩国产丝袜另类| 日韩一区二区三区xxxx| 亚洲亚裔videos黑人hd| 欧美黄色片在线观看| 精品一区二区电影| 久久99久久久久久久噜噜| 国产精品老牛影院在线观看| 亚洲国产精品va在看黑人| 麻豆一区二区在线观看| 国产日韩欧美在线| 色综合天天综合网国产成人网| 国产精品99久久久久久久久| 国产精品美女久久| 在线观看国产欧美| 最近2019免费中文字幕视频三| 人体精品一二三区| 国产一区二区三区高清在线观看| 91精品国产91久久久| 欧美亚洲午夜视频在线观看| 98精品国产自产在线观看| 久久久久久久电影一区| 一区二区三区四区精品| 热久久美女精品天天吊色| 一本一道久久a久久精品逆3p| 亚洲第一天堂av| 欧美猛交免费看| 91精品视频免费观看| 欧美另类精品xxxx孕妇| 亚洲天堂开心观看| 国产丝袜视频一区| 欧美性受xxxx白人性爽| 亚洲一二在线观看| 神马久久久久久| 精品国偷自产在线视频| 日韩一区二区精品视频| 亚洲第一av网站| 国产69精品久久久久99| 日日骚av一区| 国产精品av在线播放| 久久久久国产精品免费网站| 欧美黑人性生活视频| 国产va免费精品高清在线| 777精品视频| 成人自拍性视频| 日韩亚洲精品视频| 亚洲桃花岛网站| 国产精品欧美日韩一区二区| 亚洲精品免费av| 98精品国产高清在线xxxx天堂| 日韩高清免费观看| 色综合久久天天综线观看| 日韩电影大片中文字幕| 久久久成人的性感天堂| 中文字幕av日韩| 亚洲激情小视频| 色综久久综合桃花网| 亚洲人高潮女人毛茸茸| 亚洲第一精品夜夜躁人人躁| 国产精品美女午夜av| 欧美精品福利在线| 视频直播国产精品| 91久热免费在线视频| 成人激情视频免费在线| 久久资源免费视频| 日韩在线视频线视频免费网站| 国产精品福利无圣光在线一区| 国产视频精品久久久| 亚洲精品自拍偷拍| 69**夜色精品国产69乱| 欧美成人精品不卡视频在线观看| 国产精品福利小视频| 欧美精品手机在线| 韩剧1988免费观看全集| 久久精品国产综合| 亚洲香蕉av在线一区二区三区| 国产精品一区二区久久精品| 18久久久久久| 亚洲qvod图片区电影| 国产精欧美一区二区三区| 中文字幕亚洲色图| 日韩国产精品一区|