cover_image

云豆少不够用?教你如何省宝贵的云豆!

废客泉 新浪云计算 2015年11月02日 09:58

由于现在各种搜索引擎和一些大数据应用和恶意蜘蛛程序抓取,一个APP一天被这种请求浪费很多云豆。并且大部分蜘蛛IP是会变的,这给屏蔽带来了一定的困难,但还是可以对这些乱七八糟的ip来访问某一IP段进行限制的。


例如我自己的应用,主要消费是由于恶意被抓取造成的:


图片


全是那些可恶的美国和俄罗斯蜘蛛给爬的。单个IP频率不高一分钟5至10次,但这种IP集群有上百个,所以请求量相当高。你一但屏蔽一个IP,不用3分钟又会有新的IP加入蜘蛛爬虫大队继续放肆的发请法求,并且UA都是模拟普通浏览器,同一IP可能有三到四种UA信息......


首先,我们进入日志中心:SAE应用 -> 安全与运维 -> 日志中心

将每页显示条数调到最大50条,再点查询:


图片


这里教你一下小技巧,用Ctrl+F打开搜某一个IP,你就能看到高亮的大概频率。


我刚屏蔽一个又来一个新IP 109.169.148.127,所以这种只能去屏蔽IP段了。同一IP地址UA确有好几种:


fk68.net "GET HTTP/1.0" "http://fk68.net/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0" 109.169.148.127.1433831403840616 yq22


fk68.net "GET HTTP/1.0" "http://fk68.net/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36" 109.169.148.127.1433830839489931 yq48


fk68.net "GET HTTP/1.0" "http://fk68.net/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 YaBrowser/14.10.2062.12061 Safari/537.36" 109.169.148.127.1433831261699235 yq48


如果某一IP出现频率特别高,你就复制这个IP去百度查一下是哪个地方的,假如果网站针对用户群体是国内的话,如果是国外的那就说明是蜘蛛爬虫,你再复制这个IP前三段去查,能查到很多就再前两段去查,目的是找到这些请求的一个IP地址段,好去防火墙里做屏蔽IP段的设置。


添加黑名单:SAE应用 -> 安全与运维 -> 应用防火墙


其实是可以对IP段进行屏蔽的,SAE防火墙屏IP段了官方也没给个详细点例子(http://www.sinacloud.com/doc/sae/php/afw.html),我在这里告诉大家一下:


SAE防火墙屏蔽IP段可以使用掩码,就是你按3位IP算数到的位数x2即:


例 72.46.133.242 要屏蔽 72.46.133.* 其实是 072.046.133.000 可写成 72.46.133.0/24


例 46.0.66.121 要屏蔽 46.0.66.* 其实是 046.000.066.000 可写成 46.0.66.0/24


例 88.200.253.19 要屏蔽 88.200.*.* 可写成 88.200.0.0/16

例 109.169.150.231 要屏蔽 109.169.*.* 可写成 109.169.0.0/16

例 178.45.119.137 要屏蔽 178.45.*.* 可写成 178.45.0.0/16

例 5.164.165.62 要屏幕 5.164.*.* 可写成 5.164.0.0/16


像刚才我要屏蔽的109.169.148.127这个英国IP按前两段(109.169)搜都有查到好多日志,所以防火墙里直接填 109.169.0.0/16 就可以禁止所有这109.169.*.*的所有请求,一干二净。


重复上面的方法,你花半小时到一小时时间,以后就不用再担习云豆的事啦!

一劳永逸!


图片

看看我现在的云豆....非常省了...效果杠杠地........


附上我的黑名单列表供大家参考


74.91.23.53 美国

63.141.251.165 美国

104.255.66.211 美国

72.46.134.172 美国

173.208.253.83 美国

176.112.37.58 俄罗斯

104.238.195.170 美国

72.46.133.242 美国

216.244.84.44 美国

159.224.160.164 乌克兰

23.92.210.10 美国

31.184.238.128 俄罗斯

27.159.238.115 莆田

176.31.9.209 法国

212.129.52.209 法国

37.57.200.173 乌克兰

104.194.26.202 美国

125.88.189.11 广州

125.88.189.17 广州

125.88.189.12 广州

120.43.6.173 莆田

176.100.75.7 俄罗斯

95.67.152.172 俄罗斯

110.86.165.19 莆田

109.169.0.0/16 英国

88.200.0.0/16 斯洛文尼亚

178.45.0.0/16 俄罗斯

5.164.0.0/16 俄罗斯

46.0.0.0/16 俄罗斯

80.234.0.0/16 俄罗斯

46.118.0.0/16 乌克兰

142.54.185.90 美国

61.135.219.2 北京

5.165.0.0/16 俄罗斯

91.200.12.0/24 乌克兰

182.118.0.0/16 郑州

194.187.168.0/24 法国

203.195.0.0/16 越南

176.8.88.241 乌克兰

178.137.92.181 乌克兰

193.201.224.54 乌克兰

180.97.106.0/24 南京

46.151.52.0/24 乌克兰

188.143.234.45 俄罗斯

37.57.231.0/24 乌克兰

46.119.112.224 乌克兰

178.76.224.5 俄罗斯

87.68.252.141 以色列

↓点击下方“阅读原文”可与作者交流

微信扫一扫
关注该公众号

继续滑动看下一个
新浪云计算
向上滑动看下一个