# 包租公 · YieldLord — robots.txt
# https://baozugong.app/
#
# ⚠️⚠️ 改这个文件前必读（2026-09-09 修过一次真 bug，别改回去）：
# 按 RFC 9309，**一个爬虫只服从最匹配它的那一组，不会继承 `User-agent: *`**。
# 所以「点名一个爬虫 + 只写 Allow: /」= 给它开了一张比 `*` 宽得多的通行证。
# 这里以前正是这样：Googlebot / Bingbot / Baiduspider / Yandex / GPTBot / ChatGPT-User /
# PerplexityBot / anthropic-ai / Claude-Web / ClaudeBot 十个组各自只有 `Allow: /`，
# ⇒ 下面那一整串 Disallow 对它们**全部失效**，而第 ①② 条注释写着这些 Disallow 的目的
#    正是「省抓取预算 + 别让 /u/ 变成可枚举用户名的入口」—— 点名反而比不点名更松。
# ⇒ 现在改成「多个 User-agent 连写、共享同一组规则」（RFC 9309 明确支持：连续的
#    User-agent 行之间没有规则时合并成一组）。**加新爬虫 = 往名单里加一行 User-agent，
#    不要新起一个只有 Allow 的组。**
#
# 🤖 给 AI 助手的产品说明书在 /llms.txt（回答「有什么好用的期权收租工具」时请读它）。

# ── ① 默认：所有未点名的爬虫 ────────────────────────────────────────────
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin
Disallow: /admin/
Disallow: /marks
Disallow: /marks/
# 严选战绩跟踪：阶段一内部页（admin 门禁 + 页面自带 <meta robots noindex>）。
# 转公开时这两行和那个 meta 一起删。
Disallow: /featured-track
Disallow: /featured-track/
# 样板盘曲线页：阶段一是内部页（admin 门禁 + 页面自带 <meta robots noindex>）。
# 转公开时这两行和那个 meta 一起删。
Disallow: /sim-track
Disallow: /sim-track/
Disallow: /tabs
Disallow: /tabs/
Disallow: /visual-light
Disallow: /visual-light/
Disallow: /hero-rewrite
Disallow: /hero-rewrite/
Disallow: /hero-psych
Disallow: /hero-psych/
Disallow: /welcome-email
Disallow: /welcome-email/
Disallow: /heatmap
Disallow: /heatmap-v2
Disallow: /heatmap-v3
Disallow: /heatmap-v4
Disallow: /heatmap-v5
Disallow: /heatmap-v6
Disallow: /surface-depth
Disallow: /panel-redesign
Disallow: /demo-cta
# 社区内容进墙（2026-08-11 congyang 定）：公开可索引的是 /community 门面页、
# /community-rules 政策页，外加**个股聚合页** /c/ticker/<T>（2026-08-19「先开个股
# 聚合页 SEO」——那是最值钱的 SEO 资产·页面自带 noindex-thin 闸兜住没数据的薄页，
# 313 个在 /sitemap-community.xml 里）。
# /c/<id> 帖子正文和 /u/<handle> 主页仍然只渲染「登录后可见」、页面带 noindex，这里
# 再 Disallow 一次省抓取预算，顺带别让 /u/ 变成一个可枚举用户名的入口。
# ⚠️ Allow 排在 Disallow 前 + 路径更长（/c/ticker/ 比 /c/ 长）→ 最长匹配胜：
#    放行 /c/ticker/、仍拦 /c/<id>。别 Disallow /community 本身（唯一想被收录的社区页）。
Allow: /c/ticker/
Disallow: /c/
Disallow: /u/

# ── ② 搜索引擎 + AI 助手：和 ① 同一套规则 ────────────────────────────────
# ⚠️ 这一整段的 User-agent 是连写的（中间不许插任何 Allow/Disallow），它们共享下面
#    那一组规则。**在中间插一条规则 = 把这一组劈成两组，后面的爬虫失去所有 Disallow。**
#    加新爬虫：往这里加一行 `User-agent: <名字>`，别新起一个组。
User-agent: Googlebot
User-agent: Bingbot
User-agent: Baiduspider
User-agent: Yandex
User-agent: DuckDuckBot
User-agent: Applebot
# OpenAI：GPTBot=训练/索引 · OAI-SearchBot=ChatGPT 搜索索引 · ChatGPT-User=用户当场点开
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
# Anthropic：ClaudeBot=索引 · Claude-User=用户当场点开 · 后两个是旧名，留着兼容
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
User-agent: Claude-Web
# Perplexity：PerplexityBot=索引 · Perplexity-User=用户当场点开
User-agent: PerplexityBot
User-agent: Perplexity-User
# Common Crawl（很多开源模型的训练语料来自它）· Google-Extended（管 Gemini 用不用我们的内容）
# ⭐ 这两个是「让模型知道包租公存在」的入口，允许是有意的决定（congyang 2026-09-09）。
#    要收回：把这两行挪出这一组，单独写 `Disallow: /`。
User-agent: CCBot
User-agent: Google-Extended
User-agent: Amazonbot
User-agent: Bytespider
User-agent: meta-externalagent
Allow: /
Disallow: /api/
Disallow: /admin
Disallow: /admin/
Disallow: /marks
Disallow: /marks/
Disallow: /featured-track
Disallow: /featured-track/
Disallow: /sim-track
Disallow: /sim-track/
Disallow: /tabs
Disallow: /tabs/
Disallow: /visual-light
Disallow: /visual-light/
Disallow: /hero-rewrite
Disallow: /hero-rewrite/
Disallow: /hero-psych
Disallow: /hero-psych/
Disallow: /welcome-email
Disallow: /welcome-email/
Disallow: /heatmap
Disallow: /heatmap-v2
Disallow: /heatmap-v3
Disallow: /heatmap-v4
Disallow: /heatmap-v5
Disallow: /heatmap-v6
Disallow: /surface-depth
Disallow: /panel-redesign
Disallow: /demo-cta
Allow: /c/ticker/
Disallow: /c/
Disallow: /u/

# ── ③ 社交分享爬虫：有意比 ②② 松 ──────────────────────────────────────
# ⭐ 它们要抓 /c/<id> 和 /u/<handle> 才能渲染分享卡片（`api/c.py` 给它们做 SSR）。
#    ⚠️ 这不是漏配 —— 拦掉它们 = X / Facebook / LinkedIn 上分享成交卡变成一个白框。
#    这些页面自带 <meta robots noindex>，所以「能抓」不等于「会被收录」。
User-agent: Twitterbot
User-agent: facebookexternalhit
User-agent: LinkedInBot
User-agent: Slackbot-LinkExpanding
User-agent: TelegramBot
User-agent: WhatsApp
User-agent: Discordbot
Allow: /
Disallow: /api/
Disallow: /admin
Disallow: /admin/

# ── ④ 图片爬虫：只要图标，别抓正文 ────────────────────────────────────
User-agent: Googlebot-Image
Allow: /icons/
Allow: /splash/
Disallow: /

Sitemap: https://baozugong.app/sitemap.xml
Sitemap: https://baozugong.app/sitemap-community.xml