零基礎寫Java知乎爬蟲之將抓取的內容存儲到本地

2019-11-26 15:21:46

字體：大中小

來源：轉載

供稿：網友

說到Java的本地存儲，肯定使用IO流進行操作。
首先，我們需要一個創建文件的函數createNewFile：

public static boolean createNewFile(String filePath) {
        boolean isSuccess = true;
        // 如有則將"http://"轉為"/",沒有則不產生任何變化
        String filePathTurn = filePath.replaceAll("////", "/");
        // 先過濾掉文件名
        int index = filePathTurn.lastIndexOf("/");
        String dir = filePathTurn.substring(0, index);
        // 再創建文件夾
        File fileDir = new File(dir);
        isSuccess = fileDir.mkdirs();
        // 創建文件
        File file = new File(filePathTurn);
        try {
            isSuccess = file.createNewFile();
        } catch (IOException e) {
            isSuccess = false;
            e.printStackTrace();
        }
        return isSuccess;
    }

然后，我們需要一個寫入文件的函數：

復制代碼代碼如下:

public static boolean writeIntoFile(String content, String filePath,  
            boolean isAppend) {  
        boolean isSuccess = true;  
        // 先過濾掉文件名  
        int index = filePath.lastIndexOf("/");  
        String dir = filePath.substring(0, index);  
        // 創建除文件的路徑  
        File fileDir = new File(dir);  
        fileDir.mkdirs();  
        // 再創建路徑下的文件  
        File file = null;  
        try {  
            file = new File(filePath);  
            file.createNewFile();  
        } catch (IOException e) {  
            isSuccess = false;  
            e.printStackTrace();  
        }  
        // 寫入文件  
        FileWriter fileWriter = null;  
        try {  
            fileWriter = new FileWriter(file, isAppend);  
            fileWriter.write(content);  
            fileWriter.flush();  
        } catch (IOException e) {  
            isSuccess = false;  
            e.printStackTrace();  
        } finally {  
            try {  
                if (fileWriter != null)  
                    fileWriter.close();  
            } catch (IOException e) {  
                e.printStackTrace();  
            }  
        }  
  
        return isSuccess;  
    }  

我們把這兩個函數封裝到一個FileReaderWriter.java文件中以便后續使用。
接著我們回到知乎爬蟲中。
我們需要給知乎的Zhihu封裝類加個函數，用來格式化寫入到本地時的排版。

復制代碼代碼如下:

public String writeString() {  
        String result = "";  
        result += "問題：" + question + "/r/n";  
        result += "描述：" + questionDescription + "/r/n";  
        result += "鏈接：" + zhihuUrl + "/r/n";  
        for (int i = 0; i < answers.size(); i++) {  
            result += "回答" + i + "：" + answers.get(i) + "/r/n";  
        }  
        result += "/r/n/r/n";  
        return result;  
}  

OK，這樣就差不多了，接下來吧mian方法中的System.out.println改成

復制代碼代碼如下:

// 寫入本地  
        for (Zhihu zhihu : myZhihu) {  
            FileReaderWriter.writeIntoFile(zhihu.writeString(),  
                    "D:/知乎_編輯推薦.txt", true);  
        }  

運行，便可以看到本來在控制臺看到的內容已經被寫到了本地的txt文件里：

大體一看沒什么問題，仔細看看發現問題：存在太多的html標簽，主要是<b>和<br>。
我們可以在輸出的時候對這些標記進行處理。
先把<br>換成io流里面的/r/n，再把所有的html標簽都刪除，這樣看起來便會清晰很多。

復制代碼代碼如下:

public String writeString() {  
    // 拼接寫入本地的字符串  
    String result = "";  
    result += "問題：" + question + "/r/n";  
    result += "描述：" + questionDescription + "/r/n";  
    result += "鏈接：" + zhihuUrl + "/r/n";  
    for (int i = 0; i < answers.size(); i++) {  
        result += "回答" + i + "：" + answers.get(i) + "/r/n/r/n";  
    }  
    result += "/r/n/r/n/r/n/r/n";  
    // 將其中的html標簽進行篩選  
    result = result.replaceAll("<br>", "/r/n");  
    result = result.replaceAll("<.*?>", "");  
    return result;  
}  

這里的replaceAll函數可以使用正則，于是所有的<>標簽在最后就都被刪除了。

上一篇：零基礎寫Java知乎爬蟲之進階篇

下一篇：零基礎寫Java知乎爬蟲之抓取知乎答案