匹配目标市场
选择要查看的页面所需的地区，并把该选择与每次采集任务一起记录。
搭建可复现的采集配置
网页采集代理将客户端接入公开页面，住宅代理可配合下述地区与会话选择。
选择会话方式
相互独立的请求使用独立会话；相关联的页面序列则保持同一会话。
让请求可追溯
记录请求时间、响应状态与会话设置，便于排查失败或不一致的结果。
如何把采集程序接入 MIYAIP
- 1
先定义小样本
在运行更大的任务前，先确定项目需要的公开 URL 与字段。
示例 / Example · 先定义小样本 - 2
配置连接
选择代理产品与可用地区选项，然后把连接参数复制到你的客户端。
示例 / Example · 配置连接 - 3
测试并检查
发送一小批请求，检查响应状态、返回页面与目标地区是否符合预期。
示例 / Example · 测试并检查 - 4
运行并复盘
用你的采集程序调度请求、解析结果，并在任务扩大后持续查看日志。
示例 / Example · 运行并复盘
一次采集运行应该记录什么
把网络请求与提取的字段放在一起保存，便于对比多次运行，判断差异来自源页面、会话还是解析器。
把网页采集代理服务配置与请求日志放在一起，便于追溯每次运行使用的代理入口。
仅为示例布局，结果、截图与日期需在实际测试后填写。
示例请求日志
| 运行 ID | 目标 URL | 请求地区 | 会话模式 | HTTP 状态 | 获取时间 |
|---|---|---|---|---|---|
| run-1042 | https://example.com/catalog?page=1 | 美国 | 轮换 | 待记录 | 待记录 |
| run-1043 | https://example.com/catalog?page=2 | 美国 | 轮换 | 待记录 | 待记录 |
| run-1044 | https://example.com/product/item-77 | 德国 | 粘性（配置窗口） | 待记录 | 待记录 |
公开页面字段提取模板 / Example
{ "source_url": "https://example.com/catalog", "title": null, "extracted_at": null }常见问题
如何用代理做网页采集？
把代理连接参数添加到你的采集程序或 HTTP 客户端，选择地区与会话设置，先测试一小批请求。调度与字段提取由你的采集程序完成。
这项服务会返回解析好的数据吗？
本页介绍的是代理连接。解析 HTML、处理页面结构、存储提取记录，由你接入的采集程序或数据管道完成。
每个请求都要换 IP 吗？
按任务需要选择会话方式：独立请求可以轮换，多步浏览序列可能需要保持连续。确定策略前，先用小样本各测一次。
请求失败时应该记录什么？
记录时间戳、目标 URL、响应状态与相关会话设置。与团队或客服分享日志前，请先删除凭据。
选择你的代理方案
查看产品选项，并按接入指南开始下一次测试。