AI悄悄采集网站图片 阿里云oss图床费用暴涨

频道:网络数码 日期: 浏览:78

今早阿里云提示费用不足,看了一下后台账单都是阿里云oss扣费,也就是我之前分享的香港阿里云图床,这让我疑惑,从正式使用也已经大半年了,费用一直很低,怎么突然涨价这么多。事有蹊跷,所以我就研究分析了一下原因,可以看下这三个月内的网站数据。

AI来了

去年12月,网站访客1725,阿里云oss扣费0元

12月访客

12月账单

今年1月,网站访客1468,阿里云oss扣费1.65元

1月访客

1月

今年2月,网站访客1755,阿里云oss扣费2.17元

2月访客

2月

3月截至10日,网站访客1575,阿里云oss扣费13.94元。

3月上旬访客

3月账单

从上面数据可以看到,网站访客确实上涨,但3月份上旬的访客和前3个月相差不大,按理说扣费应该也在1-3元左右,而不是13元,这明显异常。

继续查看账单明细,主要扣费点为外网流出流量,3月上旬用量16.08812GB,1月用量1.03422GB,2月用量0.64751GB,去年12月用量0.65402GB,为何网站访客相差不大的情况下,用量区别这么大。

1月用量

1月用量

2月用量

2月用量

3月用量

3月用量

从这里可以看出,有以下2个原因会导致这种结果:

1、是被盗链了

盗链

这个可以排除,因为后台已经打开了防盗链功能。

2、AI 爬虫批量采集图片

AI爬虫

由于阿里云oss日志没有打开,查不到数据,但是网站后台的统计能看到每日其他爬取较多,是其他搜索引擎总和的2倍多。基本上可以断定是AI爬取了。

解决方法:

1、设置一个robots,不允许AI爬取特别是图片,但需要注意允许搜索引起爬取。

# 允许主流搜索引擎爬取网站内容

User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: Sogou
Allow: /
User-agent: Yandex
Allow: /
# 禁止 AI 相关爬虫访问网站
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Applebot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: deepseek
Disallow: /
User-agent: DeepSeekBot
Disallow: /
User-agent: MidjourneyBot
Disallow: /
User-agent: StabilityAI
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: YouChat
Disallow: /
# 禁止 AI 采集图片
User-agent: GPTBot
Disallow: /images/
Disallow: /img/
Disallow: /uploads/
Disallow: /media/
User-agent: Google-Extended
Disallow: /images/
Disallow: /img/
Disallow: /uploads/
Disallow: /media/
User-agent: CCBot
Disallow: /images/
Disallow: /img/
Disallow: /uploads/
Disallow: /media/
User-agent: DeepSeekBot
Disallow: /images/
Disallow: /img/
Disallow: /uploads/
Disallow: /media/
User-agent: MidjourneyBot
Disallow: /images/
Disallow: /img/
Disallow: /uploads/
Disallow: /media/
User-agent: StabilityAI
Disallow: /images/
Disallow: /img/
Disallow: /uploads/
Disallow: /media/
User-agent: anthropic-ai
Disallow: /images/
Disallow: /img/
Disallow: /uploads/
Disallow: /media/
# 允许所有其他爬虫访问
User-agent: *
Allow: /

2、同时开启网站图片质量

转为webp格式,同时降低为60%的像素,不影响美观,还能节省一点流量费用。

?x-oss-process=image/quality,q_60/format,webp

同时在观察10天,看下中旬的数据,看有没有改观。

留言 0

评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。