如果您正在尋找最強大的爬蟲？ 不要再觀望！ 這一行代碼將讓您立即啟動并運行。

是一個庫，可以輕松地抓取網(wǎng)頁并從中提取數(shù)據(jù)。 它可用于從單個頁面抓取數(shù)據(jù)或從多個頁面抓取數(shù)據(jù)。 它還可用于從 PDF 和 HTML 表格中提取數(shù)據(jù)。

讓你只用一行代碼就可以抓取網(wǎng)站，它非常易于使用并為你處理一切。 您只需指定要抓取的站點以及要接收的數(shù)據(jù)類型，剩下的就由它來完成。

爬蟲在編寫時考慮到了快速使用。 它提供了以下主要功能：

如何使用

通過點子下載

$ 點

用它

考慮易用性。首先，從

從 , 頁

初始化網(wǎng)站

首先，讓我們創(chuàng)建一個新的網(wǎng)站對象。 對于此方法，只需提供主頁的 URL。 我將使用多年前創(chuàng)建的網(wǎng)站的 URL：

網(wǎng)頁 =("

獲取所有子站點的鏈接

好的，現(xiàn)在我們的站點已經(jīng)初始化，我們對存在于 上的所有子站點感興趣，為了找出這一點，讓 web 對象接收到所有子頁面的鏈接。

= 網(wǎng)頁.()

根據(jù)您本地的互聯(lián)網(wǎng)連接和您要抓取的網(wǎng)站的服務(wù)器速度，此請求可能需要一段時間，請確保不要使用這種非常笨重的方法抓取整個網(wǎng)頁。

但是回到鏈接獲取：通過調(diào)用 .()網(wǎng)站開發(fā)，您請求所有子頁面作為鏈接，并將收到一個 URL 列表。

= 網(wǎng)頁.()

您可能已經(jīng)注意到缺乏典型。 這沒有任何意義，只會讓您的生活更輕松地進一步使用該鏈接。 但請確保 - 當您真正想在瀏覽器中或通過請求調(diào)用它們時 - 在每個鏈接前加上。

尋找媒體

讓我們試著找到他們網(wǎng)站上所有圖片的鏈接。

我們通過調(diào)用 .() 方法來做到這一點。

= 網(wǎng)頁.()

響應(yīng)將包含指向所有可用圖像的鏈接。

下載媒體

現(xiàn)在讓我們做一些更高級的事情。 我們喜歡他們網(wǎng)站上的圖片，所以讓我們將它們?nèi)肯螺d到我們的本地磁盤。 聽起來工作量很大？ 其實很簡單！

網(wǎng)絡(luò)。（“img”，“/”）

首先，我們定義通過關(guān)鍵字 img 下載所有圖像媒體。 接下來，我們定義輸出文件夾，圖像應(yīng)保存到的位置。 而已！ 運行代碼php統(tǒng)計網(wǎng)站訪問量代碼網(wǎng)站優(yōu)化，看看會發(fā)生什么。 幾秒鐘之內(nèi)，您就收到了網(wǎng)站上的所有圖片。

獲取鏈接

接下來，讓我們找出鏈接到哪些頁面。 為了獲得總體概覽，讓我們找出它鏈接到的其他站點，因此我們指定只獲取域鏈接。

= web.(=, =, =True)

所以我們得到了所有鏈接的列表。

好的，但是現(xiàn)在我們想知道更多關(guān)于這些鏈接的信息，我們該怎么做呢？

獲取鏈接域

好吧，更詳細的鏈接不過是外部鏈接，所以，我們做同樣的請求，但這次包括外部，但不包括域。

= web.(=, =True, =)

在這里，我們將詳細了解所有外部鏈接。

初始化頁面

好的，到目前為止我們已經(jīng)了解了很多關(guān)于網(wǎng)站的內(nèi)容，但是，我們還沒有發(fā)現(xiàn)頁面的作用。

好吧，如前所述，這個頁面只是網(wǎng)站中的一個站點，讓我們通過初始化頁面來嘗試一個不同的例子。

w3 = 頁面("")

如果您還沒有猜到，您很快就會明白我為什么選擇這個頁面。

下載視頻

是的，你聽到的是對的。 讓您在幾秒鐘內(nèi)從網(wǎng)頁下載視頻php統(tǒng)計網(wǎng)站訪問量代碼，讓我們看看如何。

w3.("", "w3/")

是的，僅此而已。 只需指定您希望將所有視頻媒體下載到輸出文件夾 w3/ 即可。 當然，您也可以僅收到視頻鏈接并稍后下載，但這不會那么酷。

= w3.()

下載其他文件類型（例如 pdf 或圖像）

現(xiàn)在讓我們更籠統(tǒng)地談?wù)劊绾蜗螺d特殊文件類型，如 .pdf、.php 或 .ico？ 使用通用的 .get() 方法接收鏈接，或使用將文件類型作為參數(shù)的 .() 方法。

= Page("").get("php")

目前為止就這樣了。

現(xiàn)在讓我們下載一些PDF。