标签：网站流量
GPT-6 免费之后，我翻了 26 天网站日志：AI 爬虫比想象中勤快
OpenAI 把 GPT-6 免费开放并加速广告化。我翻了本站 26 天的 nginx 日志：50.6 万次请求里，14 家内容抓取方抓了 1.56 万次（约 3.1%），GPTBot 以 2950 次居首。本文给出三类爬虫的放行策略、llms.txt 实操、敏感文件防护配置，以及 GEO 的低成本
2026-10-15
0
0
0