亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > C# > 正文

C#制作多線程處理強化版網絡爬蟲

2020-01-24 00:59:55
字體:
來源:轉載
供稿:網友

上次做了一個幫公司妹子做了爬蟲,不是很精致,這次公司項目里要用到,于是有做了一番修改,功能添加了網址圖片采集,下載,線程處理界面網址圖片下載等。

說說思路:首相獲取初始網址的所有內容 在初始網址采集圖片 去初始網址采集鏈接 把采集到的鏈接放入隊列 繼續采集圖片,然后繼續采集鏈接,無限循環

還是上圖片大家看一下,

處理網頁內容抓取跟網頁網址爬取都做了改進,下面還是大家來看看代碼,有不足之處,還請之處!

網頁內容抓取HtmlCodeRequest,

網頁網址爬取GetHttpLinks,用正則去篩選html中的Links

圖片抓取GetHtmlImageUrlList,用正則去篩選html中的Img

都寫進了一個封裝類里面 HttpHelper

  /// <summary>      /// 取得HTML中所有圖片的 URL。      /// </summary>      /// <param name="sHtmlText">HTML代碼</param>      /// <returns>圖片的URL列表</returns> public static string HtmlCodeRequest(string Url)    {      if (string.IsNullOrEmpty(Url))      {        return "";      }      try      {        //創建一個請求        HttpWebRequest httprequst = (HttpWebRequest)WebRequest.Create(Url);        //不建立持久性鏈接        httprequst.KeepAlive = true;        //設置請求的方法        httprequst.Method = "GET";        //設置標頭值        httprequst.UserAgent = "User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";        httprequst.Accept = "*/*";        httprequst.Headers.Add("Accept-Language", "zh-cn,en-us;q=0.5");        httprequst.ServicePoint.Expect100Continue = false;        httprequst.Timeout = 5000;        httprequst.AllowAutoRedirect = true;//是否允許302        ServicePointManager.DefaultConnectionLimit = 30;        //獲取響應        HttpWebResponse webRes = (HttpWebResponse)httprequst.GetResponse();        //獲取響應的文本流        string content = string.Empty;        using (System.IO.Stream stream = webRes.GetResponseStream())        {          using (System.IO.StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("utf-8")))          {            content = reader.ReadToEnd();          }        }        //取消請求        httprequst.Abort();        //返回數據內容        return content;      }      catch (Exception)      {        return "";      }    }/// <summary>    /// 提取頁面鏈接    /// </summary>    /// <param name="html"></param>    /// <returns></returns>public static List<string> GetHtmlImageUrlList(string url)    {      string html = HttpHelper.HtmlCodeRequest(url);      if (string.IsNullOrEmpty(html))      {        return new List<string>();      }      // 定義正則表達式用來匹配 img 標簽        Regex regImg = new Regex(@"<img/b[^<>]*?/bsrc[/s/t/r/n]*=[/s/t/r/n]*[""']?[/s/t/r/n]*(?<imgUrl>[^/s/t/r/n""'<>]*)[^<>]*?/?[/s/t/r/n]*>", RegexOptions.IgnoreCase);      // 搜索匹配的字符串        MatchCollection matches = regImg.Matches(html);      List<string> sUrlList = new List<string>();      // 取得匹配項列表        foreach (Match match in matches)        sUrlList.Add(match.Groups["imgUrl"].Value);      return sUrlList;    }    /// <summary>    /// 提取頁面鏈接    /// </summary>    /// <param name="html"></param>    /// <returns></returns>    public static List<string> GetHttpLinks(string url)    {      //獲取網址內容      string html = HttpHelper.HtmlCodeRequest(url);      if (string.IsNullOrEmpty(html))      {        return new List<string>();      }      //匹配http鏈接      const string pattern2 = @"http(s)?://([/w-]+/.)+[/w-]+(/[/w- ./?%&=]*)?";      Regex r2 = new Regex(pattern2, RegexOptions.IgnoreCase);      //獲得匹配結果      MatchCollection m2 = r2.Matches(html);      List<string> links = new List<string>();      foreach (Match url2 in m2)      {        if (StringHelper.CheckUrlIsLegal(url2.ToString()) || !StringHelper.IsPureUrl(url2.ToString()) || links.Contains(url2.ToString()))          continue;        links.Add(url2.ToString());      }      //匹配href里面的鏈接      const string pattern = @"(?i)<a/s[^>]*?href=(['""]?)(?!javascript|__doPostBack)(?<url>[^'""/s*#<>]+)[^>]*>"; ;      Regex r = new Regex(pattern, RegexOptions.IgnoreCase);      //獲得匹配結果      MatchCollection m = r.Matches(html);      foreach (Match url1 in m)      {        string href1 = url1.Groups["url"].Value;        if (!href1.Contains("http"))        {          href1 = Global.WebUrl + href1;        }        if (!StringHelper.IsPureUrl(href1) || links.Contains(href1)) continue;        links.Add(href1);      }      return links;    }  

這邊下載圖片有個任務條數限制,限制是200條。如果超過的話線程等待5秒,這里下載圖片是異步調用的委托

public string DownLoadimg(string url)    {      if (!string.IsNullOrEmpty(url))      {        try        {          if (!url.Contains("http"))          {            url = Global.WebUrl + url;          }          HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);          request.Timeout = 2000;          request.UserAgent = "User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";          //是否允許302          request.AllowAutoRedirect = true;          WebResponse response = request.GetResponse();          Stream reader = response.GetResponseStream();          //文件名          string aFirstName = Guid.NewGuid().ToString();          //擴展名          string aLastName = url.Substring(url.LastIndexOf(".") + 1, (url.Length - url.LastIndexOf(".") - 1));          FileStream writer = new FileStream(Global.FloderUrl + aFirstName + "." + aLastName, FileMode.OpenOrCreate, FileAccess.Write);          byte[] buff = new byte[512];          //實際讀取的字節數          int c = 0;          while ((c = reader.Read(buff, 0, buff.Length)) > 0)          {            writer.Write(buff, 0, c);          }          writer.Close();          writer.Dispose();          reader.Close();          reader.Dispose();          response.Close();          return (aFirstName + "." + aLastName);        }        catch (Exception)        {          return "錯誤:地址" + url;        }      }      return "錯誤:地址為空";    }

話不多說,更多的需要大家自己去改進咯!歡迎讀者來與樓主進行交流。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产一区二区三区视频| 国产成人精品久久| 亚洲视频在线播放| 色播久久人人爽人人爽人人片视av| 美女视频黄免费的亚洲男人天堂| 精品中文视频在线| 成人免费视频97| 久久久亚洲成人| 欧美日韩免费区域视频在线观看| 亚洲欧美日韩中文在线| 亚洲人线精品午夜| 国产精品青青在线观看爽香蕉| 国产精品女人网站| 亚洲综合中文字幕68页| 国产精品成人一区二区| 国产成人精品一区| 两个人的视频www国产精品| 国产成人短视频| 福利微拍一区二区| 精品成人久久av| 1769国内精品视频在线播放| 国产91精品视频在线观看| 久久久99免费视频| 欧美精品video| 欧美精品久久一区二区| 色偷偷av一区二区三区乱| 国产成人福利视频| 久久精品夜夜夜夜夜久久| 国产97在线亚洲| 91精品国产自产在线| 国产精品r级在线| 日韩av手机在线看| 欧美wwwwww| 国产不卡一区二区在线播放| 91最新在线免费观看| 成人国产在线激情| 国产精品视频午夜| 川上优av一区二区线观看| 91av在线视频观看| 国产福利精品视频| 精品国产乱码久久久久久婷婷| 久久久久久伊人| 欧美精品一二区| 亚洲第一精品夜夜躁人人爽| 国产成人拍精品视频午夜网站| 欧美高清videos高潮hd| 欧美日韩ab片| 亚洲电影av在线| 欧美孕妇孕交黑巨大网站| 国产成人自拍视频在线观看| 91精品国产自产在线老师啪| 亚洲欧美一区二区激情| 欧美性极品xxxx娇小| 亚洲娇小xxxx欧美娇小| 色偷偷噜噜噜亚洲男人的天堂| 91中文精品字幕在线视频| 色综合五月天导航| 2020久久国产精品| 国产精品一区二区三区毛片淫片| 亚洲www永久成人夜色| 国产成人精品免费视频| 亚洲第一视频在线观看| 日韩成人在线网站| 亚洲精品日韩欧美| 亚洲摸下面视频| 色777狠狠综合秋免鲁丝| 成人久久久久久久| 成人有码视频在线播放| 亚洲精品美女免费| 成人久久久久爱| 国产一区二区丝袜高跟鞋图片| 亚州av一区二区| 欧美日本黄视频| 国产亚洲欧美另类中文| 色无极影院亚洲| 亚洲欧美中文日韩在线v日本| 欧美整片在线观看| 久久夜色精品亚洲噜噜国产mv| 亚洲欧洲成视频免费观看| 精品国产乱码久久久久久婷婷| 国内精品久久久久伊人av| 欧美一级视频在线观看| 亚洲精品视频免费| 久久精品这里热有精品| 国产精品久久久久999| 精品国产一区二区三区四区在线观看| 久久精品91久久久久久再现| 欧美成人激情视频免费观看| 26uuu亚洲伊人春色| 亚洲娇小xxxx欧美娇小| 国产美女高潮久久白浆| 91精品国产综合久久香蕉最新版| 亚洲精品一区二区三区婷婷月| 成人免费自拍视频| 亚洲国产精品女人久久久| 欧美有码在线视频| 一区二区三区精品99久久| 北条麻妃一区二区三区中文字幕| 九九九热精品免费视频观看网站| 亚洲欧洲国产精品| 中文精品99久久国产香蕉| 日韩高清人体午夜| 日韩国产精品视频| 亚洲欧美日韩在线一区| 国产男人精品视频| 中文字幕国产日韩| 国产97人人超碰caoprom| 亚洲综合一区二区不卡| 欧美精品久久久久久久久久| 欧美成人在线免费| 国产日韩精品在线| 日韩极品精品视频免费观看| 91亚洲精品一区| 久久99精品久久久久久青青91| 日韩av高清不卡| 亚洲精品按摩视频| 欧美成人激情在线| 91在线无精精品一区二区| 一区二区三区美女xx视频| 亚洲第一中文字幕| 国产欧美日韩高清| 亚洲精品一区中文字幕乱码| 亚洲精品wwww| 久久在精品线影院精品国产| 欧美电影免费观看高清| 欧美噜噜久久久xxx| 国产精品主播视频| 自拍亚洲一区欧美另类| 亚洲人成网站在线播| 日韩一级裸体免费视频| 亚洲国产成人精品久久久国产成人一区| 免费99精品国产自在在线| 欧美猛交免费看| 亚洲激情视频在线播放| 欧美一级高清免费| 日韩av在线最新| 欧美又大粗又爽又黄大片视频| 中文字幕精品久久| 日本亚洲欧美成人| 成人xxxxx| 欧美性视频在线| 国产精品久久国产精品99gif| 国产国产精品人在线视| 国产成人高潮免费观看精品| 青青久久av北条麻妃海外网| 免费成人高清视频| 欧美一级视频在线观看| 久久97精品久久久久久久不卡| 国产欧美一区二区三区久久人妖| 在线日韩欧美视频| 亚洲丁香婷深爱综合| 日韩欧美亚洲范冰冰与中字| 国产精品久久久久久久久久ktv| 欧美极品美女电影一区| 亚洲综合最新在线| 成人天堂噜噜噜| www.日韩不卡电影av| 亚洲欧美日韩一区二区在线| 欧美精品在线免费观看| 亚洲欧美另类人妖| 欧美大学生性色视频| 在线视频欧美性高潮| 亚洲区中文字幕| 亚洲最新av在线网站|