User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/

# GEO / LLM 机器可读文档允许抓取。
# 这些显式 Allow 便于站点维护和规则检查；普通内容页已由 Allow: / 覆盖。
Allow: /llms.txt
Allow: /nav-skill.txt
Allow: /adopt-skill.txt
Allow: /llm-skill.txt
Allow: /skill-skill.txt
Allow: /community-skill.txt
Allow: /tutorial-skill.txt
Allow: /coding-plan-skill.txt
Allow: /agent-eco-skill.txt
Allow: /news-skill.txt
Allow: /hunter-skill.txt
Allow: /promo-skill.txt
Allow: /ai-news-skill.txt
Allow: /ai-daily-subscription-skill.txt
Allow: /ai-nav-skill.txt
Allow: /lobster_academy/skill.md

# /api/ 是应用与交互式 Agent 使用的接口，不作为搜索爬虫的内容入口。
# 爬虫应从以上文档和 sitemap 发现内容；robots.txt 不是接口鉴权机制。

# ── 无价值爬虫：明确禁止抓取（后端另有 ua.blacklist.crawl 强拦截）──────
# 搜索引擎（Google/百度/必应/搜狗/360/神马/字节）与社交预览（Meta）、
# AI 搜索（Perplexity 等）、AI 搜索基础设施 ShapBot（Parallel.ai，为 Claude Code/
# Cursor/Gemini Enterprise 等供数，放行可获得 AI 回答引用）刻意放行，不要加入此名单。
User-agent: HubSpot
Disallow: /

User-agent: OKX-dolphin-crawler
Disallow: /

User-agent: YandexBot
Disallow: /

Sitemap: https://www.ai345.info/sitemap.xml