Firecrawl[1] 是一款先进的网络抓取和数据转换工具，可将任何网站转换为干净、适用 LLM 的 Markdown 文档或结构化数据。仅用单个 API 一次性完成抓取、搜索、数据清洗和数据提取全流程操作。
当 AI 遇上爬虫：让数据提取变得前所未有的简单！
2024 年最完整的 AI Agents 清单来了，涉及 13 个领域，上百个 Agents！
7.8K Star RAG 引擎：基于深度文档理解，最大程度降低幻觉、无限上下文快速完成 “大海捞针” 测试！
Firecrawl 的特点
会抓取所有可访问的子页面，即使没有站点地图（sitemap）。
即使网站使用 JavaScript 来渲染内容，也能采集数据。
返回干净、格式良好的 Markdown 文档，可直接用于 LLM 应用程序中。
抓取过程支持并行处理，能快速返回结果。
会缓存内容，除非有新内容出现，否则您无需等待全面搜索。
由 LLM 工程师打造，为您提供您想要的干净数据。
Firecrawl 近期还上线了一个新的功能 —— LLM Extract，即利用大语言模型（LLM）快速完成网页数据的提取。
Firecrewl 提供了多种开箱即用的使用方式，不仅支持 API 或 SDK 集成，还支持在 LangChain 或 Llama Index 等框架中直接使用。
API
Python SDK
Node SDK
Langchain Integration[2] 🦜
Llama Index Integration[3] 🦙
LangchainJS[4] 🦜
Zapier
除了上述的方式外，Firecrewl 还支持本地部署。
Firecrewl 快速上手
前置条件
首先，你需要注册 Firecrawl 并获取 API key。
一、使用 API
1.抓取 URL
用于抓取 URL 和所有可访问的子页面。提交抓取任务并返回任务 ID，以检查抓取状态。
curl -X POST https://api.firecrawl.dev/v0/crawl \ -H 'Content-Type: application/json' \ -H 'Authorization: Bearer YOUR_API_KEY' \ -d '{ "url": "https://mendable.ai" }'
成功调用 API 之后，会返回一个 jobId：
{ "jobId": "1234-5678-9101" }
2.获取指定抓取任务的状态
用于检查抓取任务的状态并获取其结果。
curl -X GET https://api.firecrawl.dev/v0/crawl/status/1234-5678-9101 \ -H 'Content-Type: application/json' \ -H 'Authorization: Bearer YOUR_API_KEY'
成功调用 API 之后，会以 JSON 的格式返回爬取任务的状态：
{ "status": "completed", "current": 22, "total": 22, "data": [ { "content": "Raw Content ", "markdown": "# Markdown Content", "provider": "web-scraper", "metadata": { "title": "Mendable | AI for CX and Sales", "description": "AI for CX and Sales", "language": null, "sourceURL": "https://www.mendable.ai/" } } ]}
二、使用 Python SDK
1.安装 Python SDK
pip install firecrawl-py
2.抓取网站
from firecrawl import FirecrawlAppapp = FirecrawlApp(api_key="YOUR_API_KEY")crawl_result = app.crawl_url('mendable.ai', {'crawlerOptions': {'excludes': ['blog/*']}})# Get the markdownfor result in crawl_result: print(result['markdown'])
3.抓取单个 URL 要抓取单个 URL，请使用 scrape_url 方法。该方法将 URL 作为参数，并以字典形式返回抓取的数据。
url = 'https://example.com'scraped_data = app.scrape_url(url)
三、使用 Node SDK
1.安装 Node SDK
npm install @mendable/firecrawl-js
2.抓取网站
要抓取网站，请使用 crawlUrl 方法。它将起始 URL 和可选参数作为参数。params 参数允许您为爬取任务指定其他选项。比如，要爬取的最大页面数、允许的域和输出格式。
const crawlUrl = 'https://example.com';const params = { crawlerOptions: { excludes: ['blog/'], includes: [], // leave empty for all pages limit: 1000, }, pageOptions: { onlyMainContent: true }};const waitUntilDone = true;const timeout = 5;const crawlResult = await app.crawlUrl( crawlUrl, params, waitUntilDone, timeout);
3.抓取 URL
要抓取单个 URL，请使用 scrapeUrl 方法。该方法将 URL 作为参数，并以字典形式返回抓取的数据。
try { const url = 'https://example.com'; const scrapedData = await app.scrapeUrl(url); console.log(scrapedData);} catch (error) { console.error( 'Error occurred while scraping:', error.message );}
4.从指定 URL 抽取结构化数据
通过 LLM Extract，您可以轻松地从任何 URL 提取结构化数据。Firecrawl 支持 zod 模式，让您的工作更轻松。以下是使用方法：
import FirecrawlApp from "@mendable/firecrawl-js";import { z } from "zod";const app = new FirecrawlApp({ apiKey: "fc-YOUR_API_KEY",});// Define schema to extract contents intoconst schema = z.object({ top: z .array( z.object({ title: z.string(), points: z.number(), by: z.string(), commentsURL: z.string(), }) ) .length(5) .describe("Top 5 stories on Hacker News"),});const scrapeResult = await app.scrapeUrl("https://news.ycombinator.com", { extractorOptions: { extractionSchema: schema },});console.log(scrapeResult.data["llm_extraction"]);
5.使用搜索查询
使用 search 方法，您可以在搜索引擎中搜索查询，并获得排名靠前的结果以及每个结果的页面内容。该方法将 query 查询短语作为参数，并返回搜索结果。
const query = 'what is mendable?';const searchResults = await app.search(query, { pageOptions: { fetchPageContent: true // Fetch the page content for each search result }});
四、在 Langchain 中使用
Firecrawl 以文档加载器的方式与 Langchain 集成。
1.安装 firecrawl-py
pip install firecrawl-py
2.使用 FireCrawlLoader
crawl 模式：抓取网站和所有可访问的子页面，并 Markdown 格式返回每个子页面。
from langchain_community.document_loaders import FireCrawlLoaderloader = FireCrawlLoader( api_key="YOUR_API_KEY", url="https://firecrawl.dev", mode="crawl")docs = loader.load()
scrape 模式： 抓取单个网址并以 Markdown 格式返回当前页面。
loader = FireCrawlLoader( api_key="YOUR_API_KEY", url="https://firecrawl.dev", mode="scrape",)data = loader.load()
五、在 Langchain JS 中使用
1.安装 @mendableai/firecrawl-js
npm install @mendableai/firecrawl-js
2.使用 FireCrawlLoader
import { FireCrawlLoader } from "langchain/document_loaders/web/firecrawl";const loader = new FireCrawlLoader({ url: "https://firecrawl.dev", // The URL to scrape apiKey: process.env.FIRECRAWL_API_KEY, // Optional, defaults to `FIRECRAWL_API_KEY` in your env. mode: "scrape", // The mode to run the crawler in. Can be "scrape" for single urls or "crawl" for all accessible subpages params: { // optional parameters based on Firecrawl API docs // For API documentation, visit https://docs.firecrawl.dev },});const docs = await loader.load();
Firecrawl 官网上还提供了 5 个 Firecrawl 的使用示例，比如使用 Groq Llama 3 API 实现 Chat with website 的功能，感兴趣的话，可以阅读官网上的相关文档。
https://github.com/mendableai/firecrawl
往期文章
用上 AI 几分钟轻松搞定深度行业报告！
超强 OCR 新秀：支持 90 多种语言，性能超越云服务！
3 款强大的开源低代码 LLM 编排工具，可视化定制专属 AI Agent 和 AI 工作流！
25.4K Star 低代码LLM编排工具：终于支持 Multi Agent，内置 5 大 Multi Agent 开箱即用！
Kimi+麦肯锡，5 秒摸透一个行业！
Kimi 10 秒生成流程图，别再手动绘图了！
万字长文秒变精华！Kimi 的超强提示词秘籍
欢迎您与我交流 AI 技术/工具
关注 AI 真好玩，带你玩转各类 AI 工具，掌控数字未来！
如果这篇文章对您有所帮助，请点赞、关注，并分享给您的朋友。感谢您的支持！
参考资料
[1]
Firecrawl: https://github.com/mendableai/firecrawl[2]
Langchain Integration: https://docs.firecrawl.dev/sdk/langchain[3]
Llama Index Integration: https://docs.firecrawl.dev/sdk/llamaindex[4]
LangchainJS: https://js.langchain.com/v0.1/docs/integrations/document_loaders/web_loaders/firecrawl/