獲取遠程網頁的內容之二（downmoon原創）

2024-07-10 13:14:18

字體：大中小

來源：轉載

供稿：網友

本文僅針AD下代理上網的情況：
代碼如下：
1、定義變量：

定義變量#region　定義變量

復制代碼代碼如下:

	
	private string strFireWallIP 
	...{ 
	get 
	...{ 
	return System.Configuration.ConfigurationSettings.AppSettings["strFireWallIP"]; 
	} 
	} 
	private string strFireWallPort 
	...{ 
	get 
	...{ 
	return System.Configuration.ConfigurationSettings.AppSettings["strFireWallPort"]; 
	} 
	} 
	private string strUID 
	...{ 
	get 
	...{ 
	return System.Configuration.ConfigurationSettings.AppSettings["strUID"]; 
	} 
	} 
	private string strPWD 
	...{ 
	get 
	...{ 
	return System.Configuration.ConfigurationSettings.AppSettings["strPWD"]; 
	} 
	} 
	private string strDomain 
	...{ 
	get 
	...{ 
	return System.Configuration.ConfigurationSettings.AppSettings["strDomain"]; 
	} 
	} 
	#endregion 

方法：
獲取指定遠程網頁內容

復制代碼代碼如下:

	
	/**//// <summary> 
	/// 獲取指定遠程網頁內容 
	/// </summary> 
	/// <param name="strUrl">所要查找的遠程網頁地址</param> 
	/// <returns></returns> 
	//[WebMethod(Description = "獲取指定遠程網頁內容。")] 
	public string getPageContent(string strUrl) 
	...{ 
	string strResult = ""; 
	this.CurrentUrl = strUrl; 
	if(this.CurrentUrl.ToLower().StartsWith("http://")==false) 
	this.CurrentUrl = "http://"+this.CurrentUrl; 
	try 
	...{ 
	contentBytes = GetHtmlByte(CurrentUrl); 
	
	} 
	catch(Exception err) 
	...{ 
	strResult = "請求錯誤：" + err.Message; 
	} 
	if(contentBytes==null) 
	...{ 
	throw new Exception("沒有獲得返回值"); 
	} 
	strResult = getStringFromByteArray(contentBytes,Encoding.UTF8); 
	return strResult; 
	} 

獲取指定遠程網頁元素字節數組::

獲取指定遠程網頁元素字節數組#region 獲取指定遠程網頁元素字節數組

復制代碼代碼如下:

	
	/**//// <summary> 
	/// 獲取指定遠程網頁元素字節數組 
	/// </summary> 
	/// <param name="strUrl">所要查找的遠程網頁地址</param> 
	/// <returns></returns> 
	private byte[] GetHtmlByte(string strUrl) 
	...{ 
	string strPara=(strUrl.IndexOf("?")>=0?strUrl.Substring(strUrl.IndexOf("?")+1):""); 
	System.Text.Encoding encoding = new UTF8Encoding(); 
	byte[] byte1 = encoding.GetBytes(strPara); 
	byte[] byteReturn = new byte[10000000]; 
	if(strUrl.Trim().ToLower().StartsWith("http://")==false) 
	...{ 
	strUrl = "http://"+strUrl; 
	} 
	HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(strUrl); 
	myHttpWebRequest.AllowAutoRedirect = true; 
	myHttpWebRequest.KeepAlive = true; 
	myHttpWebRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)"; 
	System.Net .WebProxy proxy = new WebProxy(strFireWallIP+":"+strFireWallPort,true); 
	//proxy=(WebProxy)System.Net.GlobalProxySelection.Select; 
	System.Net.NetworkCredential myCredential = new NetworkCredential(strUID,strPWD,strDomain); 
	proxy.Credentials =myCredential; 
	myHttpWebRequest.Proxy = proxy; 
	
	
	HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse(); 
	byte[] bRead = new byte[1024]; 
	int lngCount = 1; 
	int totalLen = 0; 
	Stream recWeb = myHttpWebResponse.GetResponseStream(); 
	lngCount = recWeb.Read(bRead,0,1024); 
	while(lngCount>0) 
	...{ 
	Array.Copy(bRead,0,byteReturn,totalLen,lngCount); 
	totalLen += lngCount; 
	lngCount = recWeb.Read(bRead,0,1024); 
	} 
	recWeb.Close(); 
	byte[] byteGets = new byte[totalLen]; 
	Array.Copy(byteReturn,0,byteGets,0,totalLen); 
	byteReturn = null; 
	bRead = null; 
	
	return byteGets; 
	} 
	#endregion 

轉換指定字節數組為字符串::

轉換指定字節數組為字符串#region　轉換指定字節數組為字符串

復制代碼代碼如下:

	
	/**//// <summary> 
	/// 轉換指定字節數組為字符串 
	/// </summary> 
	/// <param name="ByteGet">字節數組Byte[]</param> 
	/// <param name="myEncoding">編碼方式</param> 
	/// <returns></returns> 
	private static string getStringFromByteArray(Byte[] ByteGet,Encoding myEncoding) 
	...{ 
	int i,lngCount; 
	StringBuilder aTemp = new StringBuilder(10000); 
	lngCount = ByteGet.Length; 
	for(i = 0;i<lngCount;i+= 10000) 
	...{ 
	aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount>=i+10000?10000:lngCount - i))); 
	} 
	if(i<=lngCount) 
	...{ 
	aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount - i))); 
	} 
	return aTemp.ToString(); 
	} 
	
	#endregion 
	 