教程:抓取文档
在这个动手教程中学习如何抓取任何文档网站并创建 AI 技能。
时间: 15 分钟 | 级别: 初学者 | 结果: 可用的 React 文档技能
您将学到什么
- 如何使用预设配置
- 如何抓取文档网站
- 如何验证技能质量
- 如何增强和打包技能
前置要求
- 已安装 Skill Seekers(安装指南)
- 互联网连接
- 15 分钟时间
步骤 1:选择文档站点
在本教程中,我们将抓取 React 文档。Skill Seekers 包含 24 个流行框架的预设配置。
查看可用预设:
skill-seekers list-configs
输出:
可用配置:
- react.json (React 文档)
- vue.json (Vue.js 文档)
- django.json (Django 框架)
- godot.json (Godot 游戏引擎)
- fastapi.json (FastAPI 框架)
... 还有 19 个
步骤 2:估算页数
抓取前,估算将处理多少页面:
skill-seekers estimate --config configs/react.json
输出:
📊 估算结果:
基础 URL:https://react.dev/learn
估算页数:约 180 页
估算时间:3-5 分钟
检测到的类别:4
步骤 3:抓取文档
使用 React 预设运行抓取器:
skill-seekers scrape --config configs/react.json --output output/react/
发生的事情:
- llms.txt 检查 - 查找 AI 优化文档(如果可用,快 10 倍)
- BFS 遍历 - 抓取所有文档页面
- 智能分类 - 将内容组织成部分
- 代码检测 - 识别并格式化代码示例
- SKILL.md 生成 - 创建主技能文件
进度输出:
🔍 检查 llms.txt...
✅ 找到 llms-full.txt(2.3 MB)
📥 下载中...
✅ 在 1.8 秒内下载完成
📝 创建技能结构...
✅ 技能已创建:output/react/SKILL.md
⚡ 节省时间:4m 32s vs 传统抓取
步骤 4:查看技能
检查创建的内容:
ls -lh output/react/
输出:
output/react/
├── SKILL.md # 主技能文件(200-500 行)
├── references/ # 详细文档
│ ├── hooks.md
│ ├── components.md
│ ├── state-management.md
│ └── ...(50-100 个参考文件)
└── examples/ # 代码示例
├── useState-example.md
├── useEffect-example.md
└── ...
预览 SKILL.md:
head -50 output/react/SKILL.md
步骤 5:使用 AI 增强(可选)
使用 AI 将技能从基础(3/10)转换为全面(9/10):
选项 A:本地增强(使用 Claude Max 免费)
skill-seekers enhance output/react/
这会在新终端中打开 Claude Code 并使用您的 Claude Max 订阅增强技能(无 API 成本!)。
时间: 30-60 秒
选项 B:API 增强(快速)
export ANTHROPIC_API_KEY="sk-ant-..."
skill-seekers enhance output/react/ --mode api
成本: 约 $0.15-$0.30
步骤 6:打包技能
为您首选的平台打包:
为 Claude AI:
skill-seekers package output/react/ --target claude
为 Gemini:
skill-seekers package output/react/ --target gemini
为 OpenAI:
skill-seekers package output/react/ --target openai
输出:
✅ 已打包:react-claude.zip(2.3 MB)
📦 格式:Claude AI(YAML 前置元数据)
📄 文件:1 个 SKILL.md + 87 个引用
🎯 准备上传!
步骤 7:上传到 AI 助手
自动上传(推荐):
# 先设置 API 密钥
export ANTHROPIC_API_KEY="sk-ant-..."
# 上传
skill-seekers upload react-claude.zip --target claude
手动上传:
- 打开 Claude.ai
- 点击「添加知识」
- 上传
react-claude.zip - 完成!
步骤 8:测试您的技能
在 Claude 中尝试这些提示:
「向我解释 React hooks」
「展示如何使用 useState 与数组」
「useEffect 和 useLayoutEffect 之间有什么区别?」
「使用 hooks 创建一个简单的计数器组件」
结果: Claude 基于官方 React 文档以准确、上下文感知的答案回应!
故障排除
问题:「找不到页面」
解决方案: 检查您的配置选择器:
skill-seekers scrape --config configs/react.json --interactive
交互模式显示提取的内容并让您测试选择器。
问题:「抓取太慢」
解决方案:
- 使用
--async标志获得 2-3 倍加速 - 在配置中增加
rate_limit(尝试 1.0 或 2.0) - 检查 llms.txt 是否可用(快 10 倍!)
问题:「增强失败」
解决方案:
- 本地模式: 安装 Claude Code
- API 模式: 设置
ANTHROPIC_API_KEY环境变量 - 超时: 使用
--timeout 1200(20 分钟)增加
下一步
您刚刚创建了第一个 AI 技能!🎉
接下来尝试这些:
总结
您学到了:
- ✅ 如何使用预设配置
- ✅ 如何估算和抓取文档
- ✅ 如何使用 AI 增强技能
- ✅ 如何为任何平台打包和上传
- ✅ 如何解决常见问题
时间投入: 15 分钟 结果: 专业质量的 AI 技能随时可用!
另见: