亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > C# > 正文

c#遠程html數據抓取實例分享

2020-01-24 03:02:11
字體:
來源:轉載
供稿:網友

復制代碼 代碼如下:

/// <summary>
        /// 獲取遠程html
        /// </summary>
        /// <param name="url"></param>
        /// <param name="methed"></param>
        /// <param name="param"></param>
        /// <param name="html"></param>
        /// <returns></returns>
        public static bool GetHttp(string url, string methed, string param, out string html)
        {
            methed = methed.ToLower();

            if (param != null && methed == "get" && param.Length > 0)
            {
                url += "?" + param;
            }

            try
            {
                MSXML2.XMLHTTP mx = new MSXML2.XMLHTTPClass();

                mx.open(methed, url, false, null, null);

                if (param != null && methed == "post" && param.Length > 0)
                {
                    mx.setRequestHeader("Content-Length", param.Length.ToString());
                    mx.setRequestHeader("Content-Type", "application/x-www-form-urlencoded");
                }

                mx.send(param);

                if (mx.readyState != 4)
                {
                    html = "遠程連接失?。?4";
                    return false;
                }
                html = mx.responseText;
                return true;
            }
            catch (Exception ex)
            {
                html = "遠程連接失?。?+ex.Message;
                return false;
            }
        }

        public static bool GetHttp1(string url, string methed, string param, string referer, string encode, out string html)
        {
            //return GetHttp(url,methed,param,out html);

            //string encode = "utf-8";
            //string methed = sendType.ToString();

            if (param != null && methed == "get" && param.Length > 0)
            {
                if (url.IndexOf("?") >= 0)
                {
                    url += "&" + param;
                }
                else
                {
                    url += "?" + param;
                }
            }

            try
            {
                HttpWebRequest webreq = (HttpWebRequest)WebRequest.Create(url);

                webreq.Proxy=null;
                webreq.Timeout = 1000 * 6;
                webreq.ContentType = "application/x-www-form-urlencoded";
                webreq.UserAgent = "User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0";

                //webreq.UserAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)";

                //谷歌的:User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36
                //火狐的:User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0
                //標準格式為: 瀏覽器標識 (操作系統標識; 加密等級標識; 瀏覽器語言) 渲染引擎標識 版本信息

                //webreq.AllowAutoRedirect = false;

                //頻繁請求一個網址時,過段時間就會出現“基礎連接已經關閉”
                //webreq.KeepAlive = false;
                //webreq.ProtocolVersion = HttpVersion.Version10;

                if (referer.Length > 0)
                {
                    webreq.Referer = referer;
                }

                CookieContainer mycookies = new CookieContainer();
                webreq.CookieContainer = mycookies;

                //if (this.cookieList != null)
                //{
                //    webreq.CookieContainer.Add(this.GetCookies(webreq.RequestUri, this.cookieList));
                //}

                webreq.Method = methed;

                //post 開始
                if (param != null && methed == "post")
                {
                    byte[] arrbyte = Encoding.GetEncoding(encode).GetBytes(param);
                    webreq.ContentLength = arrbyte.Length;

                    Stream newStream = webreq.GetRequestStream();
                    newStream.Write(arrbyte, 0, arrbyte.Length);
                    newStream.Close();
                }
                //post 結束

 
                WebResponse w = webreq.GetResponse();

                //返回HTML
                using (HttpWebResponse webres = (HttpWebResponse)webreq.GetResponse())
                {
                    using (Stream dataStream = webres.GetResponseStream())
                    {
                        using (StreamReader reader = new StreamReader(dataStream, Encoding.GetEncoding(encode)))
                        {
                            html = reader.ReadToEnd();
                            //this.cookieList = webreq.CookieContainer.GetCookies(webreq.RequestUri);
                            webreq.Abort();//可能會解決卡住或阻塞問題
                        }
                    }
                }
            }
            catch (Exception ex)
            {

                html = "出現異常(HttpHelper.GetHTML),遠程連接失?。? + ex.Message + " url:" + url;
                //System.Windows.Forms.MessageBox.Show(html);
                return false;
            }

            return true;
        }

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
欧美日韩在线免费观看| 久久精品小视频| 日韩av电影在线播放| 国产亚洲精品综合一区91| 欧美肥老太性生活视频| 91久久精品美女| 久久香蕉频线观| 韩国19禁主播vip福利视频| 亚洲国产精品悠悠久久琪琪| 91精品国产777在线观看| 97碰在线观看| 神马国产精品影院av| 欧美日韩国产第一页| 国产精品亚洲欧美导航| 精品久久久久久久久久久久久| 久久精品视频导航| 亚洲在线观看视频网站| 亚洲精品成人久久久| 欧美国产乱视频| 国产精品一区二区三区久久久| 国产成人高清激情视频在线观看| 午夜精品久久久久久久男人的天堂| 中文字幕久热精品视频在线| 久久国产精品视频| 久久久久久久电影一区| 亚洲天堂免费视频| 久久久免费精品视频| 成人在线免费观看视视频| 国产不卡一区二区在线播放| 日本最新高清不卡中文字幕| 亚洲精品福利视频| 亚洲精品国产精品久久清纯直播| 成人精品一区二区三区| 国产精品影院在线观看| 国产精品第2页| 日本精品久久中文字幕佐佐木| 97香蕉超级碰碰久久免费的优势| 中文字幕亚洲综合| 亚洲电影免费观看高清| 精品福利在线视频| 91大神在线播放精品| 久热精品视频在线观看一区| 久久久成人av| www.午夜精品| 久久综合88中文色鬼| 一区二区三区天堂av| 亚洲午夜精品久久久久久性色| 成人羞羞国产免费| 中文字幕亚洲图片| 91欧美精品成人综合在线观看| 国产免费一区二区三区在线能观看| 久久91亚洲人成电影网站| 中文字幕亚洲情99在线| 欧美精品手机在线| 中文字幕在线看视频国产欧美| 久久在线免费观看视频| 国产一区二区日韩精品欧美精品| 亚洲变态欧美另类捆绑| 在线午夜精品自拍| 国产91精品黑色丝袜高跟鞋| 91久久精品日日躁夜夜躁国产| 久久精品久久久久久国产 免费| 在线观看视频亚洲| 欧美黄色片视频| 久久男人的天堂| 亚洲天堂av女优| 欧美高清videos高潮hd| 欧美日韩精品在线| 日韩免费观看视频| 欧美日韩国产区| 色婷婷成人综合| 国产精品专区第二| 久久综合久中文字幕青草| 日韩av一区在线| 精品国偷自产在线| 日韩电影免费在线观看中文字幕| 国产小视频国产精品| 91国语精品自产拍在线观看性色| 亚洲天堂网站在线观看视频| 久久久99久久精品女同性| 国产精品视频永久免费播放| 国产精品小说在线| 日韩中文字幕在线播放| 这里只有精品视频| 国产99久久精品一区二区 夜夜躁日日躁| 亚洲人午夜精品免费| 久久免费观看视频| 亚洲一区二区三区在线视频| 欧美激情综合亚洲一二区| 久久亚洲私人国产精品va| 欧美日韩国产123| 欧美一区二区影院| 日本午夜精品理论片a级appf发布| 国产日本欧美一区二区三区在线| 国产精品一区二区三区免费视频| 欧美日韩综合视频| 国产成人精品一区二区在线| 欧美专区日韩视频| 狠狠色香婷婷久久亚洲精品| 国产成人亚洲综合| 国语自产精品视频在线看抢先版图片| www.精品av.com| 538国产精品视频一区二区| 国产精品偷伦视频免费观看国产| 欧美日韩xxx| 中文字幕综合一区| 欧美成人精品激情在线观看| 欧美视频二区36p| 色婷婷亚洲mv天堂mv在影片| 亚洲欧美日韩视频一区| 91色视频在线导航| 欧美日韩免费在线观看| 亚洲美女激情视频| 国产中文日韩欧美| 亚洲影院污污.| 久久久精品视频成人| 色无极亚洲影院| 免费av在线一区| 亚洲jizzjizz日本少妇| 91欧美精品午夜性色福利在线| 久热在线中文字幕色999舞| 亚洲精品综合精品自拍| 欧美伊久线香蕉线新在线| 欧美高清激情视频| 亚洲精品国产精品国自产观看浪潮| 久久精品免费播放| 欧美在线精品免播放器视频| 久久精品国产久精国产思思| 亚洲第一精品福利| 亚洲国产99精品国自产| 久久久久久免费精品| 在线亚洲午夜片av大片| 久久影视电视剧凤归四时歌| 在线观看国产精品淫| 欧美日韩免费网站| 日韩欧美在线免费观看| 色99之美女主播在线视频| 亚洲男女性事视频| 日韩欧美中文在线| 欧美精品福利视频| 亚洲成人黄色在线观看| 亚洲精品乱码久久久久久金桔影视| 欧美成人午夜免费视在线看片| 欧美国产日韩二区| 国产成人高潮免费观看精品| 91精品国产乱码久久久久久蜜臀| 亚洲一区二区在线播放| 欧美色图在线视频| xxxxxxxxx欧美| 国内精品久久久久伊人av| 日韩视频欧美视频| 精品国产乱码久久久久久天美| 日本久久久久久久| 欧美成年人在线观看| 日韩av手机在线看| 精品高清一区二区三区| 日韩欧美精品在线观看| 午夜精品蜜臀一区二区三区免费| 久久精品视频中文字幕| 久久青草精品视频免费观看| 97av在线影院| 久久久久久久久国产| 日韩av免费看| 精品久久久久久久久久国产|