📍 WDQWDWQD987AAAAA:216.73.216.237
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /42a74c135cc2.html
📄

测试死链接：检查前需要准备哪些信息

开始测试死链接之前，你至少要准备四项信息：待检查的网址范围、链接来源清单、期望的HTTP状态码标准，以及可用的检查工具或脚本权限。缺少任何一项，检查结果都可能不完整或无法判断哪些链接真的失效。

准备一：确定要检查的网址范围

先明确检查边界。是全站检查，还是只检查某个栏目、某篇文章、某个产品页？范围越具体，结果越容易处理。

• 要查什么：起始网址，例如首页、栏目页或站点地图中的一组网址。
• 怎么查：打开目标页面，确认它是否能正常访问；如果是全站，先找到站点地图或导航结构。
• 结果说明什么：如果起始网址本身无法访问，后续链接检查没有意义，应先解决入口问题。

适用条件：第一次检查时，建议先选一个小范围，比如一个栏目下的20个页面，跑通流程后再扩大。判断结果时，如果起始网址返回404或500，说明准备信息不完整，需要先换一个可访问的起点。

准备二：整理链接来源与检查方式

死链接可能出现在页面正文、导航、图片、按钮、站点地图或外部引用中。你需要知道检查工具会从哪里提取链接。

• 要查什么：页面中的<a>标签、<img>标签的src、表单action、以及站点地图中的URL。
• 怎么查：用爬虫工具抓取页面，或手动查看源代码搜索href和src。如果使用脚本，确认它是否执行JavaScript；不执行JS的工具会漏掉动态生成的链接。
• 结果说明什么：如果工具只抓取HTML，但你的网站依赖JavaScript渲染链接，那么报告中的“无死链接”并不代表真实情况。需要换用能渲染页面的工具或手动抽查。

适用条件：静态网站可以直接用普通爬虫；单页应用或大量动态内容的站点，应选择支持JavaScript渲染的检查方式。判断依据是：工具报告中的链接数量是否明显少于页面实际可见链接数量。

准备三：明确HTTP状态码的判断标准

不是所有非200状态码都叫死链接。你需要提前定义哪些状态码算问题。

• 要查什么：每个链接返回的状态码，如200、301、302、404、410、500、503。
• 怎么查：用命令行工具curl -I 网址查看响应头，或看爬虫报告中的状态码列。
• 结果说明什么：404和410通常表示目标不存在；301和302是跳转，如果跳转链过长或最终落到404，也算问题；500和503是服务器错误，可能暂时或持续，需要复查。

假设你检查一个页面，发现某个链接返回302，跳转两次后到达404。这个链接对用户来说仍然是死链接，应记录为需要修复。适用条件：如果你只关心永久失效，可以重点看404和410；如果关心用户体验，所有最终无法到达有效内容的跳转链都要处理。

准备四：确认工具权限与检查环境

检查前要确认你是否有权访问目标网站、是否会被防火墙拦截、是否需要登录。

• 要查什么：目标网站是否允许爬虫访问，robots.txt是否限制了检查工具，是否需要Cookie或登录状态。
• 怎么查：查看robots.txt中是否有Disallow规则；用工具试抓一个页面，看是否返回403或跳转到登录页。
• 结果说明什么：如果robots.txt禁止抓取，爬虫可能直接跳过页面，报告不完整。如果返回403，说明请求被拒绝，需要调整User-Agent或改用允许的检查方式。注意，robots.txt的抓取限制不等于可靠的索引移除，它只影响爬虫行为，不能代替死链接修复。

适用条件：检查自己拥有的网站时，可以临时调整robots.txt或使用白名单；检查第三方网站时，应遵守其规则，只做低频、小范围的手动抽查。

准备五：建立记录与复查机制

检查前要确定结果怎么记录、多久复查一次。

• 要查什么：每个死链接的所在页面、链接文字、目标网址、状态码、发现时间。
• 怎么查：用表格或工单系统记录，至少包含上述字段。修复后重新检查同一链接，确认状态码变为200或跳转到有效页面。
• 结果说明什么：如果同一链接在两次检查中状态码不同，可能是服务器临时故障或网络波动，需要第三次复查再判断。

下一步：选一个你负责的小范围页面，按上面五项准备好起始网址、链接来源、状态码标准、工具权限和记录表，然后运行第一次检查。得到结果后，先处理404和410，再复查跳转链和服务器错误。