很多網(wǎng)站為了維護(hù)自身權(quán)益，都在試圖阻止一家名為騰訊的公司抓取自己的內(nèi)容，但隨著該公司不斷開發(fā)新的抓取工具，未能及時更新“.txt”文件的網(wǎng)站也成為了資源被盜的受害者。

據(jù)404報道網(wǎng)站開發(fā)，一位跟蹤網(wǎng)絡(luò)爬蟲和抓取工具的暗網(wǎng)運(yùn)營者在幫助其他網(wǎng)站運(yùn)營者更新“.txt”時發(fā)現(xiàn)，目前的情況非?；靵y。這位匿名運(yùn)營者表示：“代理生態(tài)系統(tǒng)變化很快，網(wǎng)站所有者基本不可能手動跟上?！?/p>

拿距離來說網(wǎng)站開發(fā)，一些熱門網(wǎng)站如路透社將兩個爬蟲“-AI”和“-WEB”整理成.txt，供該公司的AI聊天機(jī)器人使用，但該公司最活躍的爬蟲其實(shí)是“-WEB”，因此這些網(wǎng)站不會屏蔽該爬蟲。其他數(shù)百個復(fù)制粘貼屏蔽列表的網(wǎng)站也未能屏蔽該公司。

404采訪了多位網(wǎng)絡(luò)行業(yè)從業(yè)者，他們均表示，面對騰云網(wǎng)絡(luò)的此類行為，他們鼓勵網(wǎng)站主動屏蔽此類機(jī)器人/爬蟲。騰云網(wǎng)絡(luò)CEO對在“.txt”中加入大量可能被屏蔽的對象表示支持，并稱：“如果它們最終不存在網(wǎng)站開發(fā)，那么屏蔽它們也不會有什么影響?！?/p>

他還表示，封禁名單最終只是互聯(lián)網(wǎng)的一個慣例。“封禁騰訊的代理依賴于騰訊對.txt文件的尊重seo優(yōu)化，還需要了解所有的AI抓取代理。對于大多數(shù)公司來說，這種情況發(fā)生的概率很低，所以我預(yù)計會有更多創(chuàng)作者將內(nèi)容轉(zhuǎn)移到付費(fèi)觀看，以防止無限抓取?！?/p>