Claude Web Fetch 是由 Anthropic 开发的 Claude API 的一项新功能，能够从任意网页 URL 和 PDF 中获取并分析内容，无需额外的基础设施。
1 主要功能
1.1 深度内容提取
-
能够自动提取网页和 PDF 的完整文本内容，进行结构化处理。
-
可以根据用户指令，从网页或 PDF 中提取关键信息、生成精炼摘要。
1.2 智能抓取决策
-
根据用户与 Claude 的对话上下文，智能判断是否需要使用 Web Fetch 工具进行抓取。
1.3 结合搜索工具
-
与 Web Search 工具无缝结合，先通过搜索找到相关网页链接，再使用 Web Fetch 对内容进行深入剖析。
1.4 安全与控制
-
只支持抓取用户明确提供的 URL，不支持动态生成的链接。
-
开发者可通过 allowed_domains 和 blocked_domains 参数设置白名单和黑名单，还可通过 max_uses 参数限制抓取次数。
1.5 流式处理
-
启用流式处理后，抓取事件会作为流的一部分传输，抓取过程会暂停，直到内容被检索完毕。
2 技术原理
2.1 基于 API 的实现
-
作为 Claude API 的一部分，通过在请求头中加入特定的标识即可启用，无需额外的基础设施。
2.2 智能决策机制
-
Claude 会根据提示与可用的 URL 决定何时进行抓取，API 会返回纯文本或自动提取的 PDF 文本。
2.3 安全性设计
-
为防止数据泄露，禁止 Claude 动态构造 URL，只能抓取用户显式提供或先前搜索/抓取结果中的 URL。
3 应用场景
3.1 学术研究
-
轻松获取 PDF 论文内容，快速生成文献综述，告别手动复制粘贴的繁琐。
3.2 商业分析
-
实时抓取行业报告和竞争对手网站，快速形成市场洞察和战略分析。
3.3 内容创作
-
瞬间提取网页核心要点，加速文章创作、内容改写和素材整理。
3.4 教育培训
-
自动分析在线课程资料，生成学习笔记和个性化总结。
4 使用方法
4.1 开启功能
-
在请求头中加入 anthropic-beta: web-fetch-2025-09-10 即可启用。
4.2 设置参数
-
可通过 max_uses 限制单次请求的抓取次数，使用 allowed_domains 或 blocked_domains 进行域级黑白名单管理，并通过 max_content_tokens 控制最大 token 用量。
4.3 调用抓取
-
调用时，Claude 会根据提示与可用的 URL 决定何时进行抓取，API 会返回纯文本或自动提取的 PDF 文本。
5 适用人群
-
研究人员：需要快速获取和分析大量文献资料。
-
商业分析师：需要实时获取行业动态和竞争对手信息。
-
内容创作者：需要快速提取网页核心要点，加速创作。
-
教育工作者和学生：需要分析在线课程资料，生成学习笔记。
6 优缺点介绍
6.1 优点
-
高效便捷：无需额外的基础设施，一键抓取网页和 PDF 内容。
-
深度分析：能够对抓取的内容进行深度处理，生成精炼摘要和专业报告。
-
智能决策：根据对话上下文智能判断是否需要抓取，提高了使用效率。
-
安全性高：严格限制抓取范围，防止数据泄露。
6.2 缺点
-
功能限制：目前处于公测阶段，可能存在一些功能上的限制。
-
依赖用户输入：需要用户提供明确的 URL，无法动态生成链接。
分类标签：人工智能、内容提取、数据分析、自然语言处理、安全工具
一款基于人工智能知识库的深度研究工具，能够快速提供可信且深入的见解，帮助用户高效完成研究工作。