开发者指南

cURL Basic 认证:-u、代理认证与 401

使用 cURL --user 完成 Basic 认证,复现 401 挑战,区分代理 407 与 --proxy-user,并厘清 Basic、表单登录及 Bearer 的用途。

下载认证示例

目标站点使用 HTTP Basic 认证时,用 curl --user username:password URL 提供站点凭据。如果代理也要求认证,使用单独的 --proxy-user 选项。这两处登录各自可能失败。

示例使用 127.0.0.1:8772 上的虚构源站和端口 8773 上的可选本地代理。可以复现源站 401、代理 407 及双层认证成功。示例密码仅用于回环服务。

流程概览

从源站的 Basic 认证挑战开始

解压示例包,进入 examples 后启动虚构服务。

python3 demo_server.py

在另一个终端访问受保护资源,先省略凭据。

curl --noproxy '*' --include \
  'http://127.0.0.1:8772/protected/catalog'

响应为 HTTP 401,并附带以下挑战。

WWW-Authenticate: Basic realm="Fictional catalog"

挑战头说明服务要求的鉴权方式。仅凭 401 还无法判断应使用 Basic、Bearer 或其他方式,需同时检查文档和挑战头。

使用 --user 或 -u 认证

虚构源站接受用户名 reader 和密码 demo-pass。

curl --noproxy '*' --basic \
  --user 'reader:demo-pass' \
  --fail --show-error \
  'http://127.0.0.1:8772/protected/catalog'

响应为 HTTP 200,JSON 的 items 数组包含三款虚构商品。--basic 显式选择 Basic。curl 的 --user 行为在配置相应选项后也支持其他认证方式。

真实远程服务应使用 HTTPS。Basic 用 Base64 编码用户名和密码,传输加密由 TLS 提供。curl 会构造所需的 Authorization 请求头。

若希望命令中只出现用户名,可让 curl 提示输入密码。

curl --user reader --fail --show-error \
  'http://127.0.0.1:8772/protected/catalog'

本地示例输入 demo-pass。自动化任务使用环境认可的凭据机制,避免把真实密码写进分享示例和诊断输出。--verbose 日志可能含敏感请求信息。

分开配置代理和源站凭据

用途

curl 选项

请求头

常见挑战

登录目标站点

--user 或 -u

Authorization

401 和 WWW-Authenticate

登录 HTTP 代理

--proxy-user 或 -U

Proxy-Authorization

407 和 Proxy-Authenticate

发送 API Bearer Token

--header 'Authorization: Bearer …'

Authorization

API 对 Bearer 的具体规则

示例代理接受 demo:example-only,且只转发到虚构源站。许多环境会绕过回环地址的代理设置,使用空的 --noproxy 值可在示例中明确走代理。

curl --noproxy '' \
  --proxy 'http://127.0.0.1:8773' \
  --proxy-basic --proxy-user 'demo:example-only' \
  --basic --user 'reader:demo-pass' \
  --fail --show-error \
  'http://127.0.0.1:8772/protected/catalog'

两处均无凭据时,代理返回 407。只加代理凭据后,请求到达源站并返回 401。再加源站凭据则返回 200。

使用 MIYAIP 时,参考代理指南取得实际端点和鉴权字段。代理认证方式及选项可查阅 curl 代理认证文档。

curl 分别向代理与目标站点发送对应凭据,收到的鉴权挑战分别为 407 与 401。
代理鉴权对应 -U 和 407,目标站点的 Basic 鉴权对应 -u 和 401。

区分 Basic、表单登录与 Bearer Token

向表单提交 username=...&password=... 通常会触发站点自己的会话流程,例如换取 Cookie 或校验 CSRF 字段。按站点实际要求构造表单请求。

MIYAIP Crawler API 采用文档定义的 Bearer Token 任务流程。请按 Crawler API 指南获取 Token 和请求结构。代理密码和 Crawler Token 用于不同服务。

将 curl 命令转换成应用代码时,按目标服务构造认证。HTTP 客户端的 auth=(user, password) 适用于相应的用户名与密码认证方式,Bearer Token 则按接口要求设置请求头。

根据响应排查认证失败

观测结果

下一步检查

401 且挑战为 Basic

源站用户名、密码、账户权限和目标资源

401 且挑战为其他方式

服务明确要求的鉴权方式

407

代理端点、凭据及代理协议

登录后出现 403

资源的授权策略

HTTP 200 且正文是 HTML 登录页

URL 是否属于浏览器表单登录流程

跟随重定向前检查目标地址和凭据的适用范围。--location 会跟随跳转,--location-trusted 允许更广泛地发送凭据,应该根据目标信任关系使用。

常见问题

一定要使用 --anyauth 吗?

--anyauth 允许 curl 根据服务挑战选择认证方式,可能增加一次请求往返。已知服务明确要求 Basic 时,用 --basic --user 即可。

为什么同一个代理命令在另一台机器上失败?

检查 NO_PROXY 等绕过代理的设置,特别是回环测试。再区分传输错误、代理 407 与源站 401,定位是哪个环节返回了结果。

--fail 能验证认证方式吗?

--fail 只改变 curl 对 HTTP 错误响应的处理。应通过挑战头和服务文档判断使用哪种认证。

继续使用 MIYAIP