MIYAIP · 网页数据
选择适合任务的网页数据获取方式
从你需要的结果出发:提交结构化抓取任务,让 AI 客户端操作浏览器,或通过代理连接自己的采集程序。
选择由 MIYAIP 执行什么,以及由你控制什么
| 你的任务 | 从这里开始 | 你需要提供 | 接下来会发生什么 |
|---|---|---|---|
| 通过支持的接口采集数据 | Crawler API | 接口及其必填参数 | 提交任务并保留任务 ID,查询状态、结果与积分用量 |
| 让 AI 客户端在浏览器中导航、点击或提取数据 | Browser MCP — Beta 测试版 | 兼容的 MCP 客户端、MCP 密钥和任务 | Agent 操作 JavaScript 浏览器,获取观察结果和任务产物 |
| 运行自己的 HTTP 客户端、采集程序或浏览器自动化 | 代理服务 | 你的代码、目标和解析逻辑 | 配置代理端点;由你的应用控制请求、重试与输出 |
这些接入方式使用不同的端点与凭据。代理用户名、控制台登录令牌和 MCP 密钥分别用于不同的连接。
打开适合你的工作流的服务
Crawler API
通过可用接口目录运行异步数据采集任务。选择支持的 Google、Reddit、TikTok 或网站接口,填写参数,再通过任务 ID 获取结果。输出字段与积分用量取决于所选接口。
Browser MCP
Beta 测试版将兼容 MCP 的 AI 客户端连接到真实的 JavaScript 浏览器,完成需要页面交互、截图或跨浏览器步骤的结构化提取任务。创建 MCP 密钥,并按照所用客户端的说明配置。
代理服务
保持对采集程序或浏览器自动化的控制。选择固定或轮换出口,以及适合工作负载的计费方式,再将提供的连接字段填入应用。
Google 搜索结果
只需要搜索结果?打开 SERP API 产品页。若使用 Crawler API 目录中的异步工作流,请按照 Google Search 接口文档操作。
从选择服务到完成有效请求
选择执行模式。
确定你需要的是抓取任务、可交互的浏览器,还是用于自己应用的代理连接。
打开对应的配置指南。
核对该服务的接口、鉴权方式和输入字段。
先运行一个小任务。
使用 Crawler API 时保留任务 ID 并检查结果;使用 Browser MCP 时确认客户端能够使用工具;使用代理时验证连接及实际出口 IP。
扩大任务前先检查输出。
根据预期任务,核对实际返回字段、错误、耗时和适用的用量费用。
常见问题
使用 Crawler API 还需要代理吗?
Crawler API 工作流使用自身的接口和任务参数。自行发送并处理请求的应用才使用单独的代理连接。请按所选服务的指南配置,不要把代理凭据填入 API 请求。
Browser MCP 与抓取任务有什么不同?
Browser MCP 让 AI 客户端分多个步骤与浏览器交互。Crawler API 接收接口调用并返回任务 ID,你的应用使用该 ID 查询状态与结果。
所有服务可以使用同一种凭据吗?
不可以。代理端点可能使用代理用户名和密码;Crawler API 使用文档中说明的控制台登录令牌;Browser MCP 使用单独创建的 MCP 密钥。
每个抓取接口返回相同的 JSON 字段吗?
不相同。输入与输出取决于接口。连接下游流程前,请阅读接口结构并检查一个小任务的结果。
选择接入方式,完成第一个任务
打开对应配置指南,连接服务,并在增加工作负载前检查结果。