# 允许所有爬虫访问（也可指定特定爬虫）
User-agent: *
# 禁止抓取的敏感路径
Disallow: /admin/

# 针对OpenAI爬虫的单独配置（User-Agent需匹配日志中的标识）
#User-agent: ChatGPT-User
# 允许抓取的路径（仅开放产品相关页面）
#Allow: /productdetails/
#Allow: /product/
Allow: /uploads/images/
# 禁止抓取PDF等大文件（避免资源消耗）
Disallow: /uploads/files/
Disallow: /uploads/videos/
# 抓取间隔：每10秒最多1次请求（crawl-delay单位为秒）
Crawl-delay: 10

# 站点地图（可选，帮助爬虫高效抓取）
#Sitemap: https://www.1stplayer.com/sitemap.xml