国外光头佬暴怒，一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
管理员 发布于 3年前 474
国外光头佬暴怒，一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
刚刚在dev.to看到一个国外光头佬发出一则文章感觉有点搞笑，发出来给大家娱乐一下，
顺便发一下牢骚，百度爬虫为什么不来我网站每天爬个700万次
我拥有一个用于进行SEO实验的小网站。
当然，每个帖子都有一些内容和一个Facebook分享按钮。
该网站很小，无法在“单个控制器” PHP应用程序和400kb SQLite数据库上运行，但是可以生成数千个不同的页面。
一切（连同许多其他网站）都托管在廉价的DigitalOcean机器+免费的cloudflare计划上，用于一些缓存。
这些网站之一引起了一些警报，它开始向我发出有关崩溃的警报。
经过一些调查，我发现了问题所在... Facebook爬虫
该爬虫每天向该网站发出超过700万个请求（峰值为300req /秒）。
他们的文档没有帮助阻止机器人。
og:ttl -> ignored
robots.txt -> ignored
HTTP 429 -> ignored
我不得不使用cloudflare规则阻止用户代理。
如果有人在dev.to上从事该爬虫的工作，请不要忽略有关爬虫的基本Internet网络礼节。
下次您可以在AWS上打人。然后他们可能会要求您付款；
请勿发布不友善或者负能量的内容。与人为善，比聪明更重要！
该博客于2020-12-7日，后端基于go语言的beego框架开发
前端页面使用Bootstrap可视化布局系统自动生成
是我仿的原来我的TP5框架写的博客，比较粗糙，底下是入口
侯体宗的博客
文章标签
- test 三种扣减库存方案 Hyperf2.1启动报错端口占用 上外网神器Ghelper 上外网神器集装箱 laravel中HMVC模式 Hyperf框架验证器 Hyperf自定义函数编写 Hyperf对象转成数组 PHP2021面试题集 centos7系统上挂载 Hyperf框架 秒杀系统的设计 Laravel Octane PHP数组底层实现原理 php7垃圾回收机制 Laravel中类型转换 mysql事务特征及隔离级别 Linux-awk命令 mysql编码 JWT源码实现 Laravel内核分析 Laravel中的用法 centos7+go环境+beego框架 go+beego框架开发博客 go+beego开发博客首页 go+beego自定义公共函数 beego注册_登录_查询 beego控制器创建 Beego框架安装 go语言环境安装 laravel+Elasticsearc laravel运行原理 windows7搭建Vuejs环境 Laravel分块 laravel去重(distinct() laravel集合 laravel+mysql读写分离 laravel5+复杂原生sql laravel+MissMyCat/al lnmp sessio laravel自定义数组分页 laravel中.env配置 laravel8队列发邮件 码云仓库常用操作 laravel8配置163SMTP laravel8配置全局函数 laravel/jetstream之认证 laravel/jetstream
友情链接
