sogou 蜘蛛 robots.txt 400状态码，自测正常，百度抓取也正常都是200状态

，自测正常，百度抓取也正常都是200状态点...

下载量：0

日期：2022-09-12 07:02:16

分享时间：2022-07-18 19:34:13 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：46M 文件路径：百度云分享/百度抓取测试，服务器返回状态码基本都是500，用户访问

下载量：0

日期：2022-07-18 19:34:13

分享时间：2022-07-14 12:34:20 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：49M 文件路径：百度云分享/蜘蛛状态码302 应该是正常的把？点击下载

下载量：0

日期：2022-07-14 12:34:21

分享时间：2022-08-24 20:06:21 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：70M 文件路径：百度云分享/网站日志分析，只有用户状态码，没有蜘蛛状态码，其他抓取

下载量：0

日期：2022-08-24 20:06:21

分享时间：2022-07-29 19:20:15 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：74M 文件路径：百度云分享/网站日志记录的百度蜘蛛200状态码，是爬行结果还是抓取

下载量：0

日期：2022-07-29 19:20:15

分享时间：2022-08-29 17:00:31 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：30M 文件路径：百度云分享/网站日志记录的百度蜘蛛200状态码，是爬行结果还是抓取

下载量：0

日期：2022-08-29 17:00:31

分享时间：2022-09-15 09:28:15 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：68M 文件路径：百度云分享/请问：最近神马蜘蛛日志里查看正常吗？为什么我的站点都

下载量：0

日期：2022-09-15 09:28:16

分享时间：2022-07-09 15:14:21 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：86M 文件路径：百度云分享/网站日志所有状态码都是301，正常吗？不是应该是200

下载量：0

日期：2022-07-09 15:14:21

分享时间：2022-07-23 15:14:25 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：79M 文件路径：百度云分享/网站日志所有状态码都是301，正常吗？不是应该是200

下载量：0

日期：2022-07-23 15:14:26

分享时间：2022-10-11 19:38:20 数据来源：百度云盘提取密码：-- 文件类型：文件夹文件大小：59M 文件路径：百度云分享/这个网站蜘蛛都抓取成功了状态码200 为什么就是不收录

下载量：0

日期：2022-10-11 19:38:21