MIYAIP · CRAWLER API

Reddit 采集:帖子与一级评论

通过 MIYAIP Reddit 采集接口获取 subreddit 帖子列表或某篇帖子的一级评论。在 Crawler API 中选择对应任务,填写该接口显示的参数,再通过任务 ID 获取结果。

先确定采集目标。subreddit 帖子列表与单篇帖子下的评论是不同任务,各自具有独立的接口定义、必填参数和积分消耗。

选择 Reddit 采集任务

你的需求 选择接口 开始前检查
subreddit 列表中的帖子 Reddit Subreddit List 目标 URL 格式、大小写要求、支持的数量限制与启用状态
某篇帖子的一级评论 Reddit Post Comments 支持的帖子输入、数量限制和当前参数定义

这些任务列在 Crawler API 目录中。登录后的接口定义提供准确的输入字段和类型;评论接口返回一级评论。

研究流程中,应将目标、采集时间和返回的标识符与数据一同保存。当讨论在两次运行之间发生变化时,这些信息有助于比较样本。

从目标到保存结果

  1. **打开接口目录。**选择与目标一致的 Reddit 任务,确认账户可以使用该接口。
  2. **阅读当前参数。**检查必填字段、类型、默认值和限制。采集 subreddit 列表时,按接口要求保留 URL 大小写。
  3. **提交一个小任务。**检查界面显示的费用信息,发起调用并保存返回的任务 ID。
  4. **查询该任务。**按任务 ID 获取状态和结果。运行期间继续查询同一任务,不要重复创建调用。
  5. **检查数据与扣费。**扩大任务规模前,核对结果与调用日志中的返回字段、错误和 costCredits。

创建后保存任务 ID。任务进入终态时,检查 result,确认记录能够支持你的分析。

从选择 Reddit 接口、提交任务到按任务 ID 轮询并检查结果的流程。
选择 Reddit 接口,提交一个任务,再通过返回的任务 ID 获取状态和结果。

将 Reddit 采集接入应用

Crawler API 使用其文档指定的控制台登录 Token。MCP 密钥属于独立的浏览器服务。构造调用前,先发现已启用接口并阅读其当前参数定义。

操作 端点 需要保留的信息
发现接口 GET /api/CrawlerInterface/List 实际 InterfaceKey 与启用状态
阅读输入定义 GET /api/CrawlerInterface/Detail 所选接口的 ParamSchema
提交任务 POST /api/Crawler/Invoke 返回的 taskId
获取任务 GET /api/Crawler/TaskResult 状态、result、错误和积分

根据通过接口定义校验的参数对象构造请求。以下为文档规定的请求结构;reddit_params 代表你依据当前定义准备的对象:

request_body = {
    "InterfaceKey": selected_interface_key,
    "Params": reddit_params,
}

使用鉴权与任务运行文档提交所选 Reddit 参数并获取任务结果。

创建请求超时后,先查看已有调用日志,再决定是否重新提交。即使客户端没有收到响应,服务器也可能已经接受请求。

检查工作流实际需要的输出

先打开一个小任务结果,将返回字段映射到你的数据模型。帖子列表与评论接口可能返回不同结构,应分别阅读。

检查项 作用
采集目标与接口 区分帖子列表和单篇帖子下的评论
可用标识符与来源引用 便于匹配记录并核查来源
返回文本与其他字段 确认结果支持预期分析
请求上限与实际返回数量 识别不完整或数量较少的样本
采集时间与任务 ID 将下游数据关联到调用记录和日志

依据实际结果完成检查。输出字段、目标可用性与数量限制取决于所选接口。结果可能是对象、数组或字符串;装入数据表前先检查结构。

了解 Reddit 任务积分

Crawler 套餐提供积分和并发能力。积分消耗取决于所选接口与参数。如果接口提供基础费用和参数计费信息,可据此估算任务,再与返回的 costCredits 比较。

在控制台检查所选接口的费用定义及套餐余额。每次采集都保存任务 ID 和 costCredits,便于与调用日志核对用量。

常见问题

Reddit 采集接口会返回所有嵌套回复吗?

Reddit Post Comments 接口返回一级评论,不应假定它包含完整的嵌套回复树。请阅读当前接口定义并检查实际返回结果。

可以指定任意 subreddit URL 或记录数量吗?

请遵循所选接口当前支持的 URL 格式、参数和限制。subreddit 列表接口对 URL 大小写敏感;以登录后的定义为准。

首次 POST 响应会直接返回 Reddit 数据吗?

这是异步任务流程。保存创建响应中的任务 ID,然后查询该任务的状态和结果,不要在等待期间重复发起采集。

可以使用代理密码或 MCP 密钥鉴权吗?

不可以。请使用 Crawler API 文档指定的控制台登录 Token。代理凭据和 Browser MCP 密钥属于不同连接方式。

从一个 Reddit 任务开始

选择帖子或一级评论,检查接口定义,并在接入定期运行的工作流前核对一个小任务的结果。