需要构造或检查 HTTP 请求时,可以用 curl 指定方法、发送 JSON、查看标头或复现 API 调用。主要任务是下载文件,尤其要沿链接递归下载时,可以选 GNU Wget。两者都能保存单个文件,选型取决于下载前后还要做哪些事。
以下命令使用 curl 和 GNU Wget。先用 curl --version 和 wget --version 查看安装的版本,确认协议和 TLS 支持。
本篇目录
比较影响选型的任务
任务 | curl | GNU Wget |
|---|---|---|
保存单个 HTTP 响应 |
|
|
查看响应标头并发送 API 正文 | 提供专门的请求选项 | 可以完成,反复调试 API 时操作较多 |
递归跟随 HTML 链接 | 需要自行组织遍历 |
|
续传文件 |
|
|
通过 HTTP 代理请求 HTTPS | HTTP CONNECT 隧道 | HTTP CONNECT 隧道 |
直接使用 SOCKS 代理 | 取决于 curl 的构建选项 | GNU Wget 无原生 SOCKS 代理选项 |
运行页面 JavaScript | 不支持 | 不支持 |
curl 官方对照表列出了更广的能力范围。实际下载时间还取决于网络路径、服务器行为、压缩和本地存储。

用两个客户端下载同一个文件
示例包包含一个仅监听本机回环地址的服务器,提供虚构商品目录。按照 README 准备文件并启动 demo_server.py,然后在解压后的示例目录运行:
curl --noproxy '*' --fail --silent --show-error \
--output curl-catalog.csv \
http://127.0.0.1:8812/demo/catalog.csv
wget --no-proxy --quiet \
--output-document=wget-catalog.csv \
http://127.0.0.1:8812/demo/catalog.csv
cmp curl-catalog.csv wget-catalog.csv文件一致时,cmp 不会输出。两个文件均包含:
id,name
p101,Desk Lamp
p102,Travel Mug本地命令显式跳过代理环境变量。访问公开目标时,请明确选择直连或代理。下载后先检查退出状态再导入 CSV。curl 的 --fail 会把 HTTP 错误视为传输失败,GNU Wget 也会在服务器报错时返回非零退出码。
用 curl 复现请求
排查 API 时,经常需要查看标头、指定正文和限制等待时间:
curl --noproxy '*' --include --max-time 10 \
--header 'Accept: application/json' \
http://127.0.0.1:8812/demo/ok--include 会将响应标头与正文一起输出。这里会收到 HTTP 200 及一个 JSON 对象。curl 默认不跟随重定向,只有加上 --location 才会跟随。向跳转后的地址发送凭据或写请求前,应先检查目标地址。
需要认证或 JSON 正文时,请从 API 文档规定的方法、媒体类型、字段和凭据入手。
用 Wget 在限定范围内跟随链接
本地索引链接到一个商品页面:
wget --no-proxy --quiet \
--recursive --level=1 --no-parent \
--directory-prefix=wget-site \
http://127.0.0.1:8812/site/GNU Wget 保存起始页并跟随限定范围内的链接。--level=1 限制深度,--no-parent 将范围限制在起始目录内。处理公开站点时,还应考虑主机范围与 robots 规则。递归过滤和镜像选项见 GNU Wget 手册。
两个客户端都不会运行页面 JavaScript。依赖浏览器渲染的页面可能需要其他采集方式,结构化 JSON 还需要单独提取和校验记录。
根据代理协议配置客户端
访问 HTTPS 目标时,两种客户端都能通过 HTTP 代理建立 CONNECT 隧道。本地示例代理仅接受随包提供的本地请求:
curl --noproxy '' \
--proxy http://127.0.0.1:8814 \
--cacert fixtures/certs/ca.pem \
https://localhost:8813/demo/ok
env -u no_proxy -u NO_PROXY https_proxy=http://127.0.0.1:8814 \
wget --ca-certificate=fixtures/certs/ca.pem \
--output-document=proxy-response.json \
https://localhost:8813/demo/ok实际使用 MIYAIP 时,请按账号中提供的协议、主机、端口和认证信息配置。目标地址以 https:// 开头,并不能确定代理端点自身的连接协议。
只有端点支持 SOCKS 时才使用 curl 的 SOCKS 选项。SOCKS5 的 socks5h:// 会通过代理解析目标主机名。切换传输方式前可查阅 MIYAIP 协议指南。
常见问题
哪个更快?
应使用相同的 URL、网络路径、输出方式和重试策略来测量实际下载时间。
curl 能替代采集器吗?
curl 负责传输数据。递归调度、浏览器操作和记录提取还要由其他环节处理,见 MIYAIP 网页采集文档。
做数据采集应该安装哪个?
要检查单个请求,可以选 curl。要在限定范围内下载链接文件,可以选 GNU Wget。两种任务都存在时,可以同时使用,并明确设置超时、重试和输出处理。