如何设置并验证 cURL User-Agent

如何设置并验证 cURL User-Agent

用 curl --user-agent 'MiyaIP-Tutorial/1.0' URL 或简写选项 -A 设置 cURL User-Agent。这个值通过 HTTP 请求头标识客户端，不会改变连接的 IP 地址，也不会将 curl 变成浏览器。

编写接入文档、测试服务如何处理不同的客户端名称，或复现应用的 HTTP 请求时，可以使用明确的标识。先在接收端验证这个值，再判断响应差异是否与它有关。

设置、替换或移除 User-Agent 请求头

在一条命令中选择一种设置方式即可。混用多个 User-Agent 选项会使预期值难以核对。没有覆盖时，curl 命令通常会发送 curl/version 标识；应检查实际结果，不要假定它使用某个具体版本号。

curl 官方指南说明了 User-Agent 选项。--user 是另一个选项，用来提供目标服务的鉴权凭据，不是 User-Agent 字符串。

向本地回显端点发送三种请求

启动随附的 network_demo.py。它的 /headers 路由会返回收到的 HTTP 字段。以下命令只访问本机回环地址，不发送任何账户凭据：

curl --noproxy '*' 'http://127.0.0.1:8766/headers'

curl --noproxy '*' --user-agent 'MiyaIP-Tutorial/1.0' \
  'http://127.0.0.1:8766/headers'

curl --noproxy '*' --user-agent '' \
  'http://127.0.0.1:8766/headers'

在 Windows 中请显式调用 curl.exe。较旧版本的 PowerShell 对原生命令的空参数处理可能不同；也可用 --header 'User-Agent:' 抑制 curl 自动生成的字段。请在实际使用的 shell 中核对接收端结果。

面对生产服务，请检查已脱敏的应用日志或自己控制的端点。不要为了查看 User-Agent，将 Cookie 或 API 密钥发往公共请求头回显服务。

User-Agent 与代理改变请求的不同部分

User-Agent 是客户端发送的元数据。正向代理改变请求路由以及目标服务看到的出口。比较结果时，应分别控制这两个变量。

对于 HTTP 代理，以下 macOS/Linux 模板会向 HTTPS 目标发送自定义 User-Agent。请替换连接字段；只提供代理用户名时，curl 会提示输入代理密码。

curl --proxy 'http://PROXY_HOST:PROXY_PORT' \
  --proxy-user 'PROXY_USERNAME' --noproxy '' \
  --user-agent 'MiyaIP-Tutorial/1.0' \
  --connect-timeout 10 --max-time 30 \
  'https://example.com/'

如果分配的连接为 SOCKS5 或需要其他模式，请使用 MIYAIP 协议示例。--proxy-header 用于单独面向代理的请求头场景，不能替代发给目标服务的 User-Agent 设置。

对比服务器行为时，应保持目标、请求方法、Cookie、代理会话和重定向策略不变。每次只修改一个 User-Agent 值，记录响应状态及预期内容。不同结果只能说明该测试条件下有差异，不能证明服务只使用 User-Agent 这一个信号。

排查请求头无法改变的问题

常见问题与下一步

独立验证网络路径

检查请求元数据后，再确认代理端点，并在实际应用中使用预期的路由模式。

运行本地演示

下载 network_demo.py，或将以下完整代码保存为同名文件。使用 Python 3 运行 python network_demo.py。服务仅监听 127.0.0.1:8766，使用完按 Ctrl+C 退出。

"""Local HTTP demonstration. No external requests, credentials or MIYAIP service calls."""
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from urllib.parse import urlsplit
import json
import time


class DemoHandler(BaseHTTPRequestHandler):
    def log_message(self, *_):
        pass

    def reply(self, code, body=b"", headers=None):
        self.send_response(code)
        for key, value in (headers or {}).items():
            self.send_header(key, value)
        self.send_header("Content-Length", str(len(body)))
        try:
            self.end_headers()
            self.wfile.write(body)
        except (BrokenPipeError, ConnectionResetError, ConnectionAbortedError):
            pass

    def do_CONNECT(self):
        self.reply(407, headers={"Proxy-Authenticate": 'Basic realm="local-demo"'})

    def do_GET(self):
        path = urlsplit(self.path).path
        if path == "/redirect":
            return self.reply(302, headers={"Location": "/headers"})
        if path == "/loop":
            return self.reply(302, headers={"Location": "/loop"})
        if path == "/slow":
            time.sleep(2)
        if path in {"/headers", "/slow"}:
            payload = {"method": self.command, "headers": dict(self.headers)}
            return self.reply(200, json.dumps(payload, indent=2).encode(),
                              {"Content-Type": "application/json"})
        self.reply(404, b"Use /headers, /redirect, /loop or /slow")

    def do_POST(self):
        body = self.rfile.read(int(self.headers.get("Content-Length", "0")))
        if urlsplit(self.path).path == "/redirect307":
            return self.reply(307, headers={"Location": "/headers"})
        if urlsplit(self.path).path == "/redirect302":
            return self.reply(302, headers={"Location": "/headers"})
        payload = {"method": self.command, "headers": dict(self.headers),
                   "body": body.decode("utf-8", errors="replace")}
        self.reply(200, json.dumps(payload, indent=2).encode(),
                   {"Content-Type": "application/json"})


if __name__ == "__main__":
    print("Local demonstration: http://127.0.0.1:8766 (Ctrl+C to stop)", flush=True)
    ThreadingHTTPServer(("127.0.0.1", 8766), DemoHandler).serve_forever()

来源

• Everything curl：User-agent
• curl 命令行手册
• 随附 network_demo.py 的本地 HTTP 演示。