本文介紹了使用Web應(yīng)用防火墻提供的防護(hù)功能攔截惡意爬蟲(chóng)的最佳實(shí)踐。

背景信息

當(dāng)今互聯(lián)網(wǎng)爬蟲(chóng)種類繁多，且為了繞過(guò)網(wǎng)站管理員的防爬策略，專業(yè)的爬蟲(chóng)往往會(huì)不斷變換爬取手段。因此，依靠固定的規(guī)則來(lái)實(shí)現(xiàn)一勞永逸的完美防護(hù)是不太可能的。此外，爬蟲(chóng)風(fēng)險(xiǎn)管理往往與業(yè)務(wù)自身的特性有很強(qiáng)的關(guān)聯(lián)性，需要專業(yè)的安全團(tuán)隊(duì)進(jìn)行對(duì)抗才能取得較好的效果。

除了Bot管理模塊，您還可以參照下文介紹的爬蟲(chóng)請(qǐng)求的特征，結(jié)合Web應(yīng)用防火墻的自定義防護(hù)策略、IP黑名單功能設(shè)置針對(duì)性的爬蟲(chóng)攔截規(guī)則。

惡意爬蟲(chóng)的危害和特征

正常爬蟲(chóng)請(qǐng)求的user-agent字段中通常包含xxspider標(biāo)識(shí)，并且爬取的請(qǐng)求量不大，爬取的URL和時(shí)間段都比較分散。如果對(duì)合法的爬蟲(chóng)IP執(zhí)行反向nslookup或tracert，一般都可以看到爬蟲(chóng)的來(lái)源地址。例如，對(duì)百度的爬蟲(chóng)IP執(zhí)行反向nslookup，即可查詢到其來(lái)源地址信息。

惡意爬蟲(chóng)則可能會(huì)在某個(gè)時(shí)間段大量請(qǐng)求某個(gè)域名的特定地址或接口，這種情況很可能是偽裝成爬蟲(chóng)的CC攻擊，或是經(jīng)第三方偽裝后針對(duì)性爬取敏感信息的請(qǐng)求。當(dāng)惡意爬蟲(chóng)請(qǐng)求量大到一定程度后，往往造成服務(wù)器的CPU飆升，帶來(lái)網(wǎng)站無(wú)法訪問(wèn)等業(yè)務(wù)中斷問(wèn)題。

設(shè)置自定義防護(hù)策略

通過(guò)設(shè)置WAF自定義防護(hù)策略，您可以靈活地結(jié)合User-Agent和URL等關(guān)鍵字段來(lái)過(guò)濾惡意爬蟲(chóng)請(qǐng)求。

如果您發(fā)現(xiàn)惡意爬蟲(chóng)請(qǐng)求具有高頻的特征，您還可以使用自定義防護(hù)策略的頻率設(shè)置，針對(duì)特定的路徑配置基于IP的訪問(wèn)頻率的檢測(cè)和阻斷規(guī)則。

配置示例：您可以在控制臺(tái)的自定義防護(hù)策略頁(yè)面配置以下規(guī)則，當(dāng)一個(gè)IP在30秒內(nèi)訪問(wèn)當(dāng)前域名下任意路徑的次數(shù)超過(guò)1000次，則封禁該IP的請(qǐng)求10個(gè)小時(shí)。

如果您開(kāi)通了旗艦版的Web應(yīng)用防火墻實(shí)例，則您可以在頻率設(shè)置中使用除IP和Session外的自定義統(tǒng)計(jì)對(duì)象字段，設(shè)置更細(xì)粒度、更多維度的限速功能。例如，由于針對(duì)IP的封禁會(huì)影響NAT出口，您可以使用cookie或者業(yè)務(wù)中自帶的用戶級(jí)別參數(shù)作為統(tǒng)計(jì)對(duì)象。下圖配置針對(duì)業(yè)務(wù)中標(biāo)記用戶的cookie（假設(shè)cookie格式為uid=12345）進(jìn)行統(tǒng)計(jì)，并使用滑塊作為處置動(dòng)作，避免誤攔截。

設(shè)置IP黑名單

如果您發(fā)現(xiàn)有大量惡意爬蟲(chóng)請(qǐng)求來(lái)自于特定區(qū)域，且正常的業(yè)務(wù)訪問(wèn)都沒(méi)有來(lái)自該區(qū)域的請(qǐng)求，則可以開(kāi)啟地域級(jí)IP黑名單，直接攔截該特定區(qū)域的所有訪問(wèn)請(qǐng)求。

配置示例：您可以在控制臺(tái)的IP黑名單頁(yè)面配置以下規(guī)則，封禁中國(guó)境外IP地址的訪問(wèn)請(qǐng)求。

我公司為阿里云代理商，通過(guò)此頁(yè)面下單購(gòu)買(mǎi)，新老阿里云會(huì)員，均可享受我公司代理商價(jià)格！