核心做法是:先用死链查询把每个域名上真实存在、真实返回错误的URL分开列,再为每个域名写一句可验证的用途说明,而不是先给域名贴“主站”“备用站”的标签。死链数据只能说明哪些地址不可用,不能单独证明哪个域名该保留、哪个该跳转,也不能证明相似内容一定构成重复问题。
假设某站点有 a.example、b.example、c.example 三个域名,页面标题和正文高度相似,其中 b 域名只拿到只读的服务器日志,c 域名连日志都没有,只能从公开页面抓取。此时不能等“数据齐全”再动手,最小动作是:对三个域名分别做一次死链查询,把返回 404、410、5xx 和超时的URL分开记录,并标注每条URL首次出现异常的日期。这个动作的结果决定下一步——如果某个域名的大部分异常URL集中在同一目录,就先查该目录的用途;如果异常分散在各处,就先查域名级配置。
相似内容可能来自三种完全不同的原因,死链分布是区分它们的证据之一:
这三种原因对应的处理方式不同:用途不同需要写说明并保留差异;配置出错需要修规则;历史遗留需要决定是保留410还是做跳转。仅凭“内容相似”无法判断属于哪一种。
用途说明不能写成“主站”“镜像站”这类无法验证的词。可验证的写法是记录四类事实:该域名当前返回的页面类型、站内导航指向哪里、规范链接指向哪个域名、以及死链查询中该域名的异常URL占比。例如,假设 c.example 的页面全部带指向 a.example 的规范链接,且死链只出现在旧活动页目录,那么可以写“c.example 用于保留旧活动页,规范指向 a.example,异常集中在活动页目录”。这个说明可以被下一次查询复核,而不是靠印象维持。
如果缺少规范链接数据,就退一步:只记录该域名是否有独立导航、是否有独立站点地图、以及死链是否集中在某个目录。缺少数据时,说明应写成“当前可确认的事实”,而不是推断用途。
死链查询只能回答“哪些URL当前不可用”。以下结论不能由它单独推出:
如果死链查询请求量或抓取量突然归零,也不能直接认定处理正确。归零还可能来自抓取工具被限制、目标站点临时不可达、或查询范围被改小。需要先确认查询本身是否正常执行,再谈结论。
这套流程不依赖完整权限,也不承诺任何收录或排名结果,只保证每一步的结论都有对应的查询记录支撑。缺少数据时,把“无法确认”写进用途说明,比编一个用途更安全。