nginx禁止某些User Agent抓取网站

搬瓦工

上面这段，放到

1.     #ERROR-PAGE-START  错误页配置，可以注释、删除或修改
   
2.     #error_page 404 /404.html;
   
3.     #error_page 502 /502.html;
   
4.     #ERROR-PAGE-END

复制代码

这段的前面

搬瓦工

1. #MALICIOUS ACTIVITY DENY
   
2. if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
   
3.     return 403;
   
4. }
   
5. if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
   
6.     return 403;
   
7. }
   
8. if ($request_method !~ ^(GET|HEAD|POST)$) {
   
9.     return 403;
   
10. }

复制代码

iks

gnocuil 发表于 2020-5-9 20:17
还是不行，好像说是nginx不支持if嵌套

1. if ($http_user_agent ~* "example1|example\s2")
   
2.     {
   
3.     return 403;
   
4.     }

复制代码

所有包含但不限于 example1 和 example 2 的UA均返403

iks

gnocuil 发表于 2020-5-9 20:02
大佬，你说的是哪个地方啊？

Microsoft URL
改为

1. Microsoft\sURL

复制代码

在 | 间的用 \s 代替空格

yidaomm

不错，非常6+1

GoogleCloud

宝塔那个nginx防火墙不错。。