中国投资网 百科 如何在IIS里设置并查询搜索引擎蜘蛛

如何在IIS里设置并查询搜索引擎蜘蛛

上面的日志显示页面Class/Class.asp ID=38在0: 00被访问。蜘蛛的IP地址是61.135.168.142。其中200代表搜索引擎蜘蛛抓取后返回HTTP的状态码,代表抓取成功,抓取成功。

下面列出了常见的数字代码:

2xx成功

00正常;请求已完成。

01正常;紧随POST命令之后。

02正常;接受处理,但处理尚未完成。

03正常;信息的一部分—返回的信息只是信息的一部分。

04正常;无响应—请求已收到,但没有要发回的信息。

3xx重定向

31已移动—请求的数据有了新的位置,并且更改是永久性的。

32找到-请求的数据暂时具有不同的URI。

33 See Others—对请求的响应可以在另一个URI下找到,这个响应应该使用GET方法检索。

04未修改—文档未按预期修改。

305使用代理—必须通过“位置”字段中提供的代理来访问请求的资源。

36个未使用——不再使用;保留此代码以备将来使用。

4xx客户端中的错误

400错误请求—请求中存在语法问题,或者请求无法满足。

01未授权—客户端无权访问数据。

02要求付款—表示计费系统有效。

403禁止-即使授权,也不要求访问。

44未找到—服务器找不到给定的资源;该文档不存在。

47代理身份验证请求—客户端必须首先使用代理进行身份验证。

410所请求的网页不存在(永久);

45不支持的媒体类型—服务器拒绝了服务请求,因为请求实体的格式不受支持。

5xx服务器中的错误

00内部错误—由于意外情况,服务器无法完成请求。

01未执行-服务器不支持请求的工具。

02错误网关-服务器收到来自上游服务器的无效响应。

53无法获得服务-由于临时过载或维护,服务器无法处理请求。

了解蜘蛛的爬行轨迹,有助于我们分析自己的网站。我是个穷书生,简单总结一下吧!

本文来自网络,不代表本站立场,转载请注明出处:https:

如何在IIS里设置并查询搜索引擎蜘蛛

中国投资网后续将为您提供丰富、全面的关于如何在IIS里设置并查询搜索引擎蜘蛛内容,让您第一时间了解到关于如何在IIS里设置并查询搜索引擎蜘蛛的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。