蜘蛛模拟抓取
在线模拟百度、谷歌、搜狗和必应蜘蛛抓取网页,支持自定义User-Agent,查看HTTP状态、响应时间、TDK信息、安全响应头、跳转详情及页面源码,帮助排查SEO抓取问题。
抓取结果
本次请求基础信息响应时间待抓取
HTTP状态待抓取
页面大小待抓取
服务器类型待抓取
TDK信息
页面基础SEO信息- Title
- 待抓取
- Description
- 待抓取
- Keywords
- 待抓取
安全响应头
待检测,共6项Content-Security-Policy未检测待抓取
X-Frame-Options未检测待抓取
X-Content-Type-Options未检测待抓取
Referrer-Policy未检测待抓取
Strict-Transport-Security未检测待抓取
Permissions-Policy未检测待抓取
请求详情
请求与响应信息- 抓取节点
- 待抓取
- 请求地址
- 待抓取
- 蜘蛛类型
- 待抓取
- User-Agent
- 待抓取
- 最终地址
- 待抓取
- 跳转次数
- 待抓取
- Gzip压缩
- 待抓取
- 内容类型
- 待抓取
- X-Robots-Tag
- 待抓取
页面内容预览
页面内容达到节点64KiB上限,可能已截断,以下不保证是完整源码。
蜘蛛模拟抓取怎么用?
- 输入完整网址或域名,未指定协议时默认使用HTTPS。
- 选择蜘蛛类型和抓取节点,未选择节点时使用广西南宁。
- 点击开始抓取,对照HTTP状态、TDK、响应头和原始源码,排查访问限制或SEO内容缺失。
模拟抓取与真实蜘蛛有什么区别?
本工具由所选检测节点发起请求,目标网站看到的是节点出口IP,主站仅派发任务并展示结果,失败时不会回退主站直连。仅模拟User-Agent,不使用搜索引擎的真实IP,也不执行JavaScript或自动遵循robots.txt。抓取成功不等于一定收录。
网址会经主站发送至所选节点,请勿提交带有密码、访问令牌或其他敏感信息的链接。第三方源码仅以文本展示,不运行其中的脚本。