User-agent: *
Allow: /
# 明确允许主流 AI 爬虫抓取站点内容用于 GEO 引用
User-agent: GPTBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Bytespider
Allow: /
User-agent: DuckDuckBot
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: 360Spider
Allow: /

# 站点地图
Sitemap: https://www.weshendu.com/sitemap.xml

# 注意：本文件不限制任何路径抓取，目的是让 AI 引擎完整读取站点
# 用于 GEO（生成式引擎优化）信源权重建设