网站log日志文件UA信息,识别真假蜘蛛

访问网站后,都会在日志文件里面有UA(userAgent)信息,我们通过分析日志就知道谁来访过你的网站。

网站日志显示42.236.10IP段为360蜘蛛,是不是真的?

其实早在上个月查看网站日志就发现这个IP段,因为每当它来的时候,在宝塔后面监控显示负载、CPU使用率都很高,这个IP段“爬取”次数还很多,所以还专门问了度娘,还真有人遇到过这个问题。

我参考了博主“泡面8”:http://www.paomian8.cn/wanzhanyunying/45.html的内容,当时参考官方公布的蜘蛛列表地址是http://www.so.com/help/spider_ip.html。当时的我却信以为真了。所以没去管。这个又遇到这个问题了。它又来了,爬的也很疯狂。

最近又一次频繁来访,通过查看它的访问记录,这个IP短确实是假蜘蛛。

最近又有百度蜘蛛频繁来爬,193.169.252.246 这个IP后面的UA显示为Baiduspider百度蜘蛛

抱着跟上面一样怀疑的态度,看看百度蜘蛛都来干了些什么

193.169.252.246 - - [05/Jul/2019:06:48:06 +0800] "POST ///convert/data/config.inc.php HTTP/1.1" 404 5 "-" "Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"
193.169.252.246 - - [05/Jul/2019:06:48:06 +0800] "POST ///plus/spider.php HTTP/1.1" 404 5 "-" "Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"
193.169.252.246 - - [05/Jul/2019:06:48:07 +0800] "POST ///ysy.php HTTP/1.1" 404 5 "-" "Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"

上面知识列举了3条记录而已。

都是在扫描服务器目录下的文件:convert/data/config.inc.php 、 plus/spider.php 、 ysy.php

假百度蜘蛛Baiduspider

假百度蜘蛛Baiduspider

这个IP疯狂来扫描文件,而且通过IP查询地址为乌克兰。果断在后台屏蔽了这个地址段。

最近爱上了日志文件,每天都会去看看有哪些恶意行为,小站经不起扫描,所以不善者立马拒之门外!

 

为TA充电
共{{data.count}}人
人已赞赏
宝塔面板技术分享

通过宝塔面板如何分析网站日志

2019-6-24 12:03:43

宝塔面板技术分享

宝塔面板配置fail2ban规则后重启失败的问题

2019-7-20 10:39:54

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索