Crawler.sh

在「RAG 与数据抓取」这一类工具里，Crawler.sh 是一个可以直接在网页打开的选择，官方地址为 crawler.sh。它的首页标题写着“crawler.sh: Local Markdown Extractor for AI Training and RAG”。

根据官网首页说明：将任何网站变成干净的，RAG的备妥的Markdown。本地运行，使JavaScript，尊重机器人.txt。没有无头的Chrome，没有每页收费。（原文：Turn any website into clean, RAG-ready Markdown. Runs locally, renders JavaScript, respects robots.txt. No headless Chrome, no per-page fees.）

从首页其余段落看：craver.sh是本地的爬行者，将网站转换为RAG-备妥的Markdown，用于AI训练，微调，以及代理上下文。使用自定义引擎的Renders JavaScript，尊重机器人.txt，并运行在你的笔记本电脑上。不设无头Chrome，不按每页收费，不设API配额。从任何一页中提取主要文章内容为干净的Markdown，准备使用RAG管道，微调corpora，或代理上下文。每一页都有字数，作者的旁白，语言，以及节选。Bulk 将整个站点导出为 Markdown 存档。

说明：本页内容基于 2026 年 10 月对 crawler.sh 首页的抓取整理，非官方文档，具体以官网为准。

• 任何网站的清洁标记。无云帐。（Clean Markdown from any website. Without the cloud bill.）
• AI 的标记（Markdown for AI）
• RAG - 已经准备好从任何一页的 Markdown。（RAG-ready Markdown from any page.）
• JavaScript 渲染（JavaScript Rendering）
• SPAs在无头的Chrome下完成。（SPAs rendered without headless Chrome.）
• 粗鲁的爬行（Polite Crawling）
• 机器人.txt 和适应性间隔默认。（robots.txt and adaptive pacing by default.）
• SEO 分析（SEO Analysis）
• 尊重不敬，允许，和爬行延迟出盒子。适应429和403的每个宿主的响应速度，并有指数反射，在受保护地点自动减速。当您正在建立 AI 数据集时，重要和源重要。
• 官网提供开发者文档或 API 入口

如果你有以下需求，可以试试 Crawler.sh：

• RAG、向量检索、知识图谱与网页数据抓取
• 软件开发、原型搭建和技术集成
• 检测缺失标题，重复元描述，无索引指令，内容薄，链接断裂，长 URLs，内容新鲜度信号，以及更多。在你发货前或在训练前有用以 CSV 或 TXT.导出问题。
• 从任何网站上提取可读内容为干净的Markdown。适合备份，迁移，或将内容输入其他工具。

使用建议：

• 不要把密钥、内部代码等敏感信息直接粘贴给第三方工具。
• 把需求拆成小步提交，比一次性生成大段代码更容易审查。

适合人群：开发者、技术团队以及想快速做出原型的产品人员；需要 API 或二次开发的开发者。

未找到公开价格信息，请以官网为准。