亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 學院 > 開發設計 > 正文

通過線程，HttpWebResponse，正則獲取句子迷中的句子

2019-11-10 18:57:32
字體：大 中 小
來源：轉載
供稿：網友

之前一直在關注句子迷這個網站，在里面可以找到自己喜歡的名人的金典語錄。 這里寫圖片描述 每一次都去打開，再去翻頁查看太煩，有沒有什么方法可以把網站中的句子直接抓出來，保存到本地txt文件中？ 然后在網上查看了一些資料，自己動手寫了一個控制臺應用程序。

注：代碼存在點問題，多次發起請求，線程會被占用，目前沒有解決；求救中

具體實現方式：

步驟1：通過HttpWebResponse發送一個請求，將整個HTML頁面請求過來，將全部數據讀入StreamReader中，下圖html代碼 這里寫圖片描述 步驟2：將讀入流中的數據進行處理，只取包含句子的文本，這里面需要查詢頁面的中html。 這里寫圖片描述 在取文本的過程中，使用正則表達式，取出想要的數據

///正則表達式 Regex regText = new Regex(@"<div/s+class/=/""views-field-phpcode-1/"">([/S/s]*?)</div>", RegexOptions.IgnoreCase);

步驟3：對上面的標簽，在進一步進行提取

Regex objRegExp = new Regex("<(.|/n)+?>");

具體代碼如下：

class PRogram { static ReaderWriterLock writeLock = new ReaderWriterLock(); const int LOCK = 1000; //申請讀寫時間 const int SLEEP = 100; //線程掛起時間 static void Main(string[] args) { Console.WriteLine("-------------------句子迷文檔下載----------"); Console.WriteLine("操作API："); Console.WriteLine("注釋1：查詢的的作者名,以逗號（英文）隔開，例子如下："); Console.WriteLine(" 魯迅,胡適,顧城"); Console.WriteLine("注釋2：保存的盤符，例子如下："); Console.WriteLine(" X:////句子迷 "); Console.WriteLine("-------------------文檔結束----------"); Console.WriteLine("請輸入需要保存的盤:"); directoryName1 = Console.ReadLine(); Console.WriteLine("請輸入作者姓名:"); string writers = Console.ReadLine(); string[] strWriter = writers.Split(','); //string[] strWriter = { "魯迅", "胡適", "belle", "stars" }; for (int i = 0; i < strWriter.Length; i++) { Thread thread = new Thread(DownLoad1); thread.Name = strWriter[i]; thread.Start(); } Console.ReadKey(); } #region 通過網頁獲取句子迷中的名言名句 /// <summary> /// 通過網頁獲取句子迷中的名言名句 /// </summary> /// <param name="category"></param> public static void DownLoad1() { string url = string.Empty; bool flag = true;//遇到取文件異常就直接跳出 for (int pageSize = 0; pageSize < 10; pageSize++) { try { string writerName = Thread.CurrentThread.Name; ; //查詢作者列子 //if (pageSize == 0) // url = "http://www.juzimi.com/writer/徐志摩"; //else // url = "http://www.juzimi.com/writer/徐志摩?page=" + pageSize; //第一版查詢功能 //if (pageSize == 0) // url = "http://www.juzimi.com/writer/"+writerName; //else // url = "http://www.juzimi.com/writer/" + writerName + "?page=" + pageSize; if (pageSize == 0) url = "http://www.juzimi.com/search/node/" + writerName + "%20type:sentence"; else url = "http://www.juzimi.com/search/node/" + writerName + "%20type%3Asentence?page=" + pageSize; //創建http鏈接 var request = (HttpWebRequest)WebRequest.Create(url); //request.Timeout = 1000 * 10; //5s過期 var response = (HttpWebResponse)request.GetResponse(); Stream stream = response.GetResponseStream(); StreamReader sr = new StreamReader(stream); string content = sr.ReadToEnd(); var list = GetHtmlTextList(content); if (list.Count == 0) { Console.WriteLine("時間：" + DateTime.Now + " 當前網址：" + url + "：未找到相關信息；" + "當前線程：" + Thread.CurrentThread.ManagedThreadId); flag = false; break; } try { //文件保存文件夾 string directoryName = string.IsNullOrEmpty(directoryName1) ? "X://句子迷" : directoryName1; //文件名 string fileName = writerName; Write(directoryName, fileName, list); Console.WriteLine("時間：" + DateTime.Now + " 當前網址：" + url + "句子信息下載完成！" + "當前線程：" + Thread.CurrentThread.ManagedThreadId); } catch (Exception e) { Console.WriteLine("時間：" + DateTime.Now + " 當前網址：" + url + " 錯誤信息：" + e.Message + "當前線程：" + Thread.CurrentThread.ManagedThreadId); continue; } } catch (Exception ex) { if (ex.ToString().Contains("404")) { Console.WriteLine("時間：" + DateTime.Now + " 當前網址：" + url + " 錯誤信息：" + ex.Message + "當前線程：" + Thread.CurrentThread.ManagedThreadId); flag = false; break; } else { Console.WriteLine("時間：" + DateTime.Now + " 當前網址：" + url + " 錯誤信息：" + ex.Message + "當前線程：" + Thread.CurrentThread.ManagedThreadId); } } if (!flag) { break; } } } /// <summary> /// 保存句子迷中的句子 /// </summary> /// <param name="path">保存路勁地址</param> /// /// <param name="path">句子迷中的句子</param> public static void Write(string path, string fileName, List<string> strBook) { writeLock.AcquireWriterLock(LOCK); FileStream fs = null; //判斷文件夾是否存在 if (!Directory.Exists(path)) Directory.CreateDirectory(path); //判斷集體文件保存路徑是否存在 string filePalce = path + "http://" + fileName + ".txt"; if (!File.Exists(filePalce)) { File.Create(filePalce); fs = new FileStream(filePalce, FileMode.Create); } else { fs = new FileStream(filePalce, FileMode.Append); } StreamWriter sw = new StreamWriter(fs); foreach (var item in strBook) { //開始寫入 sw.Write(item + "/r/n/r/n"); } Thread.Sleep(SLEEP); //清空緩沖區 sw.Flush(); //關閉流 sw.Close(); fs.Close(); writeLock.ReleaseWriterLock(); } /// <summary> /// 取得HTML中所有圖片的 URL。 /// </summary> /// <param name="sHtmlText">HTML代碼</param> /// <returns>圖片的URL列表</returns> public static List<string> GetHtmlTextList(string sHtmlText) { // 定義正則表達式用來匹配 text 標簽 Regex regText = new Regex(@"<div/s+class/=/""views-field-phpcode-1/"">([/S/s]*?)</div>", RegexOptions.IgnoreCase); // 搜索匹配的字符串 MatchCollection matches = regText.Matches(sHtmlText); List<string> sUrlList = new List<string>(); // 取得匹配項列表 foreach (Match match in matches) { sUrlList.Add(replceHtml(match.Value)); } return sUrlList; } /// <summary> /// 將取出來的含有html的標簽替換掉，只留下里面的值 /// </summary> /// <param name="strHtml"></param> /// <returns></returns> public static string replceHtml(string strHtml) { Regex objRegExp = new Regex("<(.|/n)+?>"); return objRegExp.Replace(strHtml, ""); } #endregion

運行結果：

這里寫圖片描述

本地保存路徑，及打開文件效果：

這里寫圖片描述

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
日韩av综合网| 成人久久久久爱| 欧美怡红院视频一区二区三区| 国产精品视频999| 97视频在线观看视频免费视频| 精品国产电影一区| 国产亚洲精品91在线| 久久天天躁狠狠躁夜夜躁2014| 96精品视频在线| 国产成人精品日本亚洲专区61| 国产精品xxx视频| 国产午夜精品全部视频在线播放| 久久综合免费视频| 日韩av片免费在线观看| 日韩电影免费在线观看中文字幕| 日韩专区在线观看| 亚洲精品国精品久久99热一| 亚洲小视频在线观看| 精品国产乱码久久久久久天美| 国内精品久久久久久久| 色综合久综合久久综合久鬼88| 69av在线播放| 伊人亚洲福利一区二区三区| 热草久综合在线| 青青草一区二区| 亚洲欧洲国产一区| 亚洲精品www久久久久久广东| 国产一区二区日韩| 亚洲香蕉在线观看| 久久成人精品电影| 欧美视频裸体精品| 久久精品成人欧美大片古装| 精品国产一区二区三区久久久| 国产91精品久久久久| 91国产精品电影| 欧美丰满老妇厨房牲生活| 国产午夜精品一区理论片飘花| 成人免费网视频| 另类少妇人与禽zozz0性伦| 国产精品视频1区| 亚洲自拍高清视频网站| 亚洲一区二区三区xxx视频| 欧美天天综合色影久久精品| 日本免费久久高清视频| 奇米四色中文综合久久| 亚洲免费av片| 欧美激情综合色综合啪啪五月| 亚洲iv一区二区三区| 日韩欧美在线免费| 国产精品视频午夜| 最新的欧美黄色| 国产精品jvid在线观看蜜臀| 97福利一区二区| 日本在线精品视频| 欧美日韩国产综合新一区| 国产精品国产三级国产aⅴ浪潮| 国产综合久久久久| www.午夜精品| 深夜精品寂寞黄网站在线观看| 一级做a爰片久久毛片美女图片| 亚洲视频一区二区三区| 欧美高清在线视频观看不卡| 亚洲一区二区三区视频播放| 亚洲男人天堂2023| 日韩不卡在线观看| 91精品久久久久久综合乱菊| 韩国v欧美v日本v亚洲| 欧美激情视频一区| 亚洲欧美制服第一页| 欧美高清videos高潮hd| 最新国产成人av网站网址麻豆| 国产综合香蕉五月婷在线| 亚洲精品午夜精品| 欧美久久精品一级黑人c片| 91极品女神在线| 中文字幕久热精品在线视频| 国产91久久婷婷一区二区| 欧美激情视频网| 欧美华人在线视频| 亚洲视频axxx| 国产成人精品视频在线观看| 国产精品青青在线观看爽香蕉| 国产中文字幕91| 国产中文字幕亚洲| 亚洲大胆人体av| 91亚洲精品久久久| 欧美大肥婆大肥bbbbb| 国产日韩欧美中文| 国产v综合v亚洲欧美久久| 久久精品亚洲精品| 久久精品国亚洲| 久久亚洲精品成人| 欧美激情中文字幕乱码免费| 久久亚洲一区二区三区四区五区高| 国产精品极品美女粉嫩高清在线| 亚洲免费av电影| 成人免费视频a| 日韩在线欧美在线国产在线| 欧美成人午夜视频| 欧美限制级电影在线观看| 国产精品自拍视频| 欧美黑人性猛交| 亚洲福利视频免费观看| 国产精品老牛影院在线观看| 亚洲成人av片在线观看| 亚洲精品资源美女情侣酒店| 精品久久久国产| 91成人性视频| 热99精品里视频精品| 中文字幕在线视频日韩| 国产在线精品成人一区二区三区| 久久精品视频免费播放| 中文字幕精品国产| 亚洲第一福利在线观看| 欧美成人激情视频免费观看| 欧美老妇交乱视频| 亚洲成人黄色在线观看| 97热在线精品视频在线观看| 亚洲国产精品久久久久久| 欧美在线www| 日韩av第一页| 欧洲日本亚洲国产区| 亚洲日韩欧美视频| 98视频在线噜噜噜国产| 亚洲欧美制服中文字幕| 欧美日韩综合视频| 亚洲风情亚aⅴ在线发布| 欧美黑人性生活视频| 国语自产精品视频在线看| 亚洲国产精品久久久| 伊人伊成久久人综合网小说| 精品久久久久久电影| 国产69精品久久久久99| 国产精品香蕉国产| 久久人人爽亚洲精品天堂| 国产婷婷97碰碰久久人人蜜臀| 久久久女人电视剧免费播放下载| 狠狠躁天天躁日日躁欧美| 欧美日韩国产一区二区三区| 欧美日韩在线看| 亚洲人成电影网站| 亚洲欧洲高清在线| 久久99热精品这里久久精品| 亚洲欧美中文日韩在线| 欧美怡红院视频一区二区三区| 97婷婷大伊香蕉精品视频| 国模精品一区二区三区色天香| 午夜精品免费视频| 亚洲视频日韩精品| 欧美丰满老妇厨房牲生活| 久久91亚洲精品中文字幕奶水| 91网站免费看| 国产精品入口福利| 亚洲国语精品自产拍在线观看| 亚洲国产精品电影在线观看| 久久福利视频导航| 一区二区三区国产在线观看| 精品二区三区线观看| 高清一区二区三区日本久| 亚洲精品98久久久久久中文字幕| 日产精品99久久久久久| 成人午夜小视频| 亚洲日韩欧美视频一区| 亚州精品天堂中文字幕|