與我們合作

我們專注：網站策劃設計、網絡輿論監控、網站優化及網站營銷、品牌策略與設計
主營業務：網站建設、移動端微信小程序開發、APP開發、網絡運營、云產品·運維解決方案

有一個品牌項目想和我們談談嗎?

您可以填寫右邊的表格，讓我們了解您的項目需求，這是一個良好的開始，我們將會盡快與您取得聯系。當然也歡迎您給我們寫信或是打電話，讓我們聽到您的聲音

您也可通過下列途徑與我們取得聯系：

地址: 上海市長寧區華寧國際7L

電話: 400-825-2717(咨詢專線)

電話: 13054973230(售后客戶服務)

網址: http://www.njgqt.org.cn

傳真: 021-61488448

郵箱: admin@wumujituan.com

快速提交您的需求 ↓

分享一些惡意爬蟲的UA特征

發布日期：2023-12-01 瀏覽次數：33966

使用寶塔面板的可以添加在Nginx防火墻里面的UA黑名單（自己整理，僅供參考）

paloaltonetworks
Go-http-client
webprosbot
python
github
libcurl
fasthttp
ZoominfoBot
Knowledge AI
RepoLookoutBot
seokicks
serpstatbot
SurdotlyBot
DataForSeoBot
DigExt
HttpClient
MJ12bot
AhrefsBot
DotBot
SemrushBot
MegaIndex
BLEXBot
ExtLinksBot
DnyzBot
Web-Crawler
Ezooms
Linguee Bot
WellKnownBot
MauiBot
HubSpot
Criteo
Barkrowler
Grapeshot
Yellowbrandprotectionbot
FlightDeckReports
Heritrix
AwarioBot

CensysInspect
InternetMeasurement
axios
curl

再分享一些冒充手機設備拼命爬的惡意UA（都是非常老的手機）
SM-G900P
OPPO A33
FRD-AL00
ALE-CL00
這些機型非常老，2012-2014年的老手機，一般不會有人在用，不過我本人是沒有屏蔽，因為最近發現，這些爬蟲換了手機型號，現在還模擬了各種其他手機，比如小米，還有QQ瀏覽器等各種瀏覽器UA

還有一種方式直接在配置文件里做了跳轉：

if ($http_user_agent ~ "^Mozilla\/5\.0.\(Linux\;.Android.5\.0\;.*Chrome.*Safari\/537\.36" )
{
return 404;
}