跳到工具

MIYAIP TOOLS

Sitemap URL 提取与导出

从 Sitemap XML 提取地址,或读取公开的 Sitemap 索引及其子文件。筛选地址、移除完全相同的重复项,再导出保留来源的 CSV。

选择 XML 输入或公开 URL

输入来源

粘贴内容和 UTF-8 文件在浏览器内处理。本地 XML 最多 200,000 个字符,文件在解压前后均不得超过 2 MiB。

区分页面地址与子 Sitemap 地址

不同 Sitemap 输入对应的结果
Sitemap 输入提取结果
粘贴或打开 <urlset>从 <url><loc> 提取页面 URL
粘贴或打开 <sitemapindex>子 Sitemap 地址
指向索引的公开 URL从读取的子文件中提取页面 URL

粘贴的 XML 和打开的 UTF-8 文件均在当前浏览器内处理。「索引示例」使用浏览器内置的虚构文件。选择「公开 Sitemap URL」时,工作台会把地址发送给服务,由服务独立连接公开文件并跟随索引引用,浏览器会话信息保留在本地。

提取器支持标准 Sitemap 命名空间及无命名空间的文档。它读取 Sitemap 条目下直接包含的 loc 和 lastmod 元素,跳过图片、视频和新闻扩展的地址。解析器会拒绝 DTD 和 ENTITY 声明。

筛选和导出时保留来源

在「URL 包含」中输入 /catalog/ 即可筛选地址,匹配时忽略大小写。勾选「移除重复项」后,每个完全相同的 URL 只保留首次出现的记录及其日期和来源。尾斜线或查询参数不同的地址仍会分别保留。

「复制 URL」每行输出一个地址。「下载 CSV」会导出 url、lastmod 和 source 三列。两种操作都使用筛选后的全部记录,包括超出 200 行预览的部分。CSV 会为类似公式的值加上单引号前缀,以纯文本形式交给电子表格程序。

lastmod 由 Sitemap 发布者填写。如需确认页面变更日期、HTTP 状态、抓取权限或收录情况,请另行核实。

Sitemap 提取器筛选出 MIYAIP 的代理格式转换工具地址,并保留各地址的 Sitemap 来源。
从 MIYAIP 的公开 Sitemap 筛选工具地址,并保留原始来源。

使用前查看部分结果和问题明细

公开 URL 模式支持标准端口的 HTTP 和 HTTPS,单个地址最长 8,192 个字符。每个文件最多跟随 3 次重定向,最多读取 3 层索引,根索引计为第 1 层。单次请求限时 25 秒,最多读取 20 份文件并返回 10,000 条页面记录。每个文件压缩前后以 2 MiB 为限,累计解压大小以 10 MiB 为限。

结果区会显示已读取的文件、子文件读取失败和达到的上限。筛选和去重后仍会保留部分结果提示。服务限流时,工作台会提示可重试的时间。

粘贴的内容或打开的 UTF-8 XML 最多 200,000 个字符。文件在解压前后均不得超过 2 MiB,打开 .gz 文件需要浏览器支持 gzip 解压。对于较大的文件,可拆成较小的 XML 文档,或提交 Sitemap 的公开地址。

FAQ

常见问题

为什么 Sitemap 地址返回的是 HTML?

地址可能跳转到了首页、浏览器校验页或登录页。请打开对应的公开 XML 地址,或粘贴实际的 Sitemap XML。

工具会抓取列表中的每个页面吗?

提取器只读取 Sitemap 文件。可将地址清单用于独立的采集流程,查看页面状态码和内容。

可以把清单交给 MIYAIP 使用吗?

可按照 Crawler API 文档,使用提取出的地址提交支持的采集任务。

继续使用 MIYAIP

可将导出的地址用于后续采集。

查看 Crawler API 工作流程