亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > C# > 正文

c# 抓取Web網頁數據分析

2019-10-29 21:48:22
字體:
來源:轉載
供稿:網友
通過程序自動的讀取其它網站網頁顯示的信息,類似于爬蟲程序。比方說我們有一個系統,要提取BaiDu網站上歌曲搜索排名。分析系統在根據得到的數據進行數據分析。為業務提供參考數據。
 
 
為了完成以上的需求,我們就需要模擬瀏覽器瀏覽網頁,得到頁面的數據在進行分析,最后把分析的結構,即整理好的數據寫入數據庫。那么我們的思路就是: 
  1、發送HttpRequest請求。 
  2、接收HttpResponse返回的結果。得到特定頁面的html源文件。 
  3、取出包含數據的那一部分源碼。 
  4、根據html源碼生成HtmlDocument,循環取出數據。 
  5、寫入數據庫。 
程序如下:   
復制代碼代碼如下:

//根據Url地址得到網頁的html源碼 
private string GetWebContent(string Url) 

string strResult=""; 
try 

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url); 
    //聲明一個HttpWebRequest請求 
request.Timeout = 30000; 
//設置連接超時時間 
request.Headers.Set("Pragma", "no-cache"); 
HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
Stream streamReceive = response.GetResponseStream(); 
Encoding encoding = Encoding.GetEncoding("GB2312"); 
StreamReader streamReader = new StreamReader(streamReceive, encoding); 
strResult = streamReader.ReadToEnd(); 

catch 

MessageBox.Show("出錯"); 

return strResult; 

為了使用HttpWebRequest和HttpWebResponse,需填名字空間引用 
  using System.Net; 
以下是程序具體實現過程: 
private void button1_Click(object sender, EventArgs e) 

//要抓取的URL地址 
string Url = "http://list.mp3.baidu.com/topso/mp3topsong.html?id=1#top2"; 
//得到指定Url的源碼 
   string strWebContent = GetWebContent(Url); 
richTextBox1.Text = strWebContent; 
   //取出和數據有關的那段源碼 
int iBodyStart = strWebContent.IndexOf("<body", 0); 
int iStart = strWebContent.IndexOf("歌曲TOP500", iBodyStart); 
int iTableStart = strWebContent.IndexOf("<table", iStart); 
int iTableEnd = strWebContent.IndexOf("</table>", iTableStart); 
string strWeb = strWebContent.Substring(iTableStart, iTableEnd - iTableStart + 8); 
//生成HtmlDocument 
   WebBrowser webb = new WebBrowser(); 
webb.Navigate("about:blank"); 
HtmlDocument htmldoc = webb.Document.OpenNew(true); 
htmldoc.Write(strWeb); 
HtmlElementCollection htmlTR = htmldoc.GetElementsByTagName("TR"); 
foreach (HtmlElement tr in htmlTR) 

string strID = tr.GetElementsByTagName("TD")[0].InnerText; 
string strName = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "MusicName"); 
string strSinger = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "Singer"); 
strID = strID.Replace(".", ""); 
//插入DataTable 
AddLine(strID, strName, strSinger,"0"); 
string strID1 = tr.GetElementsByTagName("TD")[2].InnerText; 
string strName1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "MusicName"); 
string strSinger1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "Singer"); 
//插入DataTable 
strID1 = strID1.Replace(".", ""); 
AddLine(strID1, strName1, strSinger1,"0"); 
string strID2 = tr.GetElementsByTagName("TD")[4].InnerText; 
string strName2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "MusicName"); 
string strSinger2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "Singer"); 
//插入DataTable 
strID2 = strID2.Replace(".", ""); 
AddLine(strID2, strName2, strSinger2,"0"); 

//插入數據庫 
InsertData(dt); 
    
dataGridView1.DataSource = dt.DefaultView; 

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
亚洲午夜国产成人av电影男同| 日本欧美爱爱爱| 中文字幕国产精品| 成人激情视频免费在线| 国产视频精品免费播放| 久久伊人精品一区二区三区| 亚洲性69xxxbbb| 亚洲一级一级97网| 日本精品中文字幕| 国产亚洲精品va在线观看| 亚洲第一精品电影| 色综合久久中文字幕综合网小说| 国产成人精品在线播放| 国产亚洲精品激情久久| 久久精品成人一区二区三区| 18性欧美xxxⅹ性满足| 亚洲欧美日韩在线一区| 欧美精品久久久久久久免费观看| 中文字幕日本欧美| 日韩大片免费观看视频播放| 欧美精品videosex牲欧美| 亚洲第一免费网站| 97在线观看视频国产| 亚洲人免费视频| 国产精品亚洲综合天堂夜夜| 国产精品美女呻吟| 日韩高清a**址| 欧美国产精品人人做人人爱| 高清欧美电影在线| 欧美激情乱人伦| 久久久久九九九九| 国产裸体写真av一区二区| 国产精品久久久久久婷婷天堂| www高清在线视频日韩欧美| 日韩理论片久久| 狠狠躁夜夜躁人人爽超碰91| 91国内免费在线视频| 欧美中文字幕在线| 日韩欧美主播在线| 亚洲国产精品一区二区久| 人人爽久久涩噜噜噜网站| 久久久999成人| 色综合五月天导航| 欧美午夜丰满在线18影院| 精品免费在线视频| 在线看国产精品| 国产视频欧美视频| 亚洲视频欧美视频| 在线视频免费一区二区| 高清欧美性猛交| 亚洲精品国产精品国自产在线| 欧美性猛交xxxx黑人猛交| 欧美激情视频免费观看| 亚洲精品理论电影| 97热在线精品视频在线观看| 国产成人精品在线播放| 亚洲成人在线网| 精品久久久久久国产| 91精品国产综合久久香蕉最新版| 高跟丝袜一区二区三区| www.欧美精品| 欧美国产日本在线| 国产精品免费一区| 成人妇女免费播放久久久| 精品日本美女福利在线观看| 欧美精品电影在线| 日韩av免费在线| 欧美一区深夜视频| 国产一区二区三区三区在线观看| 亚洲欧美国内爽妇网| 久久在线观看视频| 日韩高清a**址| 在线视频亚洲欧美| 中文字幕亚洲精品| 亚洲午夜未满十八勿入免费观看全集| 午夜精品美女自拍福到在线| 久久久久久噜噜噜久久久精品| 国产欧美日韩专区发布| 中文字幕精品—区二区| 久久69精品久久久久久国产越南| 国产精品一区二区久久国产| 98精品国产高清在线xxxx天堂| 一区二区三区日韩在线| 视频在线观看一区二区| 狠狠躁夜夜躁人人爽超碰91| 91在线免费观看网站| 久久久久久久一| 精品久久久91| 不卡av在线播放| 日韩电影在线观看永久视频免费网站| 这里只有精品久久| 国产一区二区黑人欧美xxxx| www高清在线视频日韩欧美| 日韩电影在线观看中文字幕| www.99久久热国产日韩欧美.com| 国产剧情日韩欧美| 一区二区福利视频| 欧美日本黄视频| 亚洲午夜色婷婷在线| 岛国av一区二区在线在线观看| 91精品国产综合久久久久久久久| 国产午夜精品全部视频在线播放| 在线观看欧美成人| 菠萝蜜影院一区二区免费| 国产精品视频区1| 欧美视频13p| 自拍视频国产精品| 色偷偷偷综合中文字幕;dd| 亚洲视频在线免费看| 国产精品亚洲激情| 国产精品一区=区| 亚洲第一中文字幕在线观看| 久久亚洲精品小早川怜子66| 成人免费视频网址| 欧美黑人一级爽快片淫片高清| 日韩在线观看免费高清完整版| 国产成人+综合亚洲+天堂| 在线观看欧美日韩国产| 欧美激情va永久在线播放| 国产精品人成电影在线观看| 欧美美女操人视频| 欧美精品videossex88| 91久久在线观看| 狠狠躁夜夜躁人人爽超碰91| 2025国产精品视频| 丝袜亚洲欧美日韩综合| 日韩av手机在线| 91成人在线播放| 亚洲男人天堂2023| 国模私拍一区二区三区| 日韩精品视频观看| 久久久久久综合网天天| 亚洲丝袜在线视频| 久久99亚洲精品| 久久99国产精品自在自在app| 亚洲片在线观看| 成人网在线观看| 91精品免费看| 亚洲视屏在线播放| 国产69精品99久久久久久宅男| 久久久精品在线| 国产色综合天天综合网| 欧美午夜片欧美片在线观看| 亚洲高清在线观看| 亚洲国产成人91精品| 成人a在线观看| 亚洲一区二区日本| 精品福利一区二区| 国语自产偷拍精品视频偷| 国产亚洲人成网站在线观看| 亚洲精品在线看| 日韩经典中文字幕在线观看| 亚洲国产精品成人av| 国产欧美日韩中文字幕在线| 欧美激情综合色综合啪啪五月| 中文字幕在线亚洲| 久久久久在线观看| 中文字幕国内精品| 久久久影视精品| 国产999精品久久久影片官网| 日韩精品中文字幕久久臀| 中文字幕成人精品久久不卡| 激情成人在线视频| 欧美一级视频在线观看|