Show HN: AI-drop project – drop traffic fast from misbehaving crawlers (AGPL)

AI 摘要

开发者 catab 因 rocketgit.com 每天收到约 400 万次请求（远超正常量），且爬虫无视其严格限制的 robots.txt，开发了 AGPL 开源项目 AI-drop，用于快速拦截不遵守规则的爬虫流量。

AI 爬虫正大量抓取网站内容，给小型站点带来真实成本压力。这个工具让站长能主动拦截不守规矩的爬虫，也折射出内容方与 AI 公司之间围绕数据抓取的博弈正在加剧。

本站只提供模型生成的摘要，不转载原文。完整内容请前往原始出处阅读。