一、什么是Bingbot？
Bingbot 是 Bing 用来抓取或“蜘蛛”网络的爬虫的名称。Bingbot的工作是寻找新的 并更新了互联网上网站上的页面，以便可以对其进行索引处理。而 抓取网站，Bingbot查看机器人.txt文件以获取来自网站的特殊说明 所有者/网站站长。Bingbot 遵守机器人.txt指令，包括抓取延迟：设置和 在没有抓取延迟的情况下，会尊重网站站长在抓取控制功能中的输入。
Bingbot在确定它应该访问您网站上的页面的频率方面做得很好，需要机器人.txt 以及考虑爬网控制规则和提示。我们称之为“爬行礼貌”。可能还有 您觉得 Bingbot 不够礼貌并且访问您的页面比对您有用的情况（一个案例 的过度爬行）。
二、如何处理必应蜘蛛过度爬网？
1.验证您看到的机器人流量是否确实来自有效的 Bingbot 服务器。您可以通过以下方式执行此操作 查看用户代理字符串（任何人都可以轻松欺骗）以及 IP 地址。用 这验证 必应机器人工具以获得验证。
2.验证它是真正的 Bingbot 流量后，您可以使用其中一种来减少爬网程序流量 以下方法（3、4 或 5，如果您尚未这样做）。
3.在繁忙时段使用爬 控制特征。
4.将“抓取延迟：”指令添加到您的机器人.txt文件中。例如：
A.用户代理：必应机器人
B.爬网延迟：5
C.爬网延迟限制必应机器人可以爬网的页数。它定义了小的时间段 窗口（1 到 20 秒），在此期间，Bingbot 只能从您的网站抓取一个 URL。为 例如，如果您将抓取延迟设置为 5（即，您给出指令以在 1 秒内抓取 5 个网址）， Bingbot每天将能够抓取17280个URL。如果将爬网延迟增加到 10，则只有 8640 系统会抓取网址。爬网延迟越高（最高为 20），页数越少 爬。
5.如果您已按照步骤 1 和 2 操作，但问题仍然存在，您可以联系必应网站站长支持.填写 ，然后在“您遇到什么类型的问题？”下拉菜单中，选择“正在抓取” 问题”。在“你需要什么帮助？”下拉菜单下，选择“必应也在爬网 很多“，它提供了您问题的即时解决方案。如果您仍有疑问，请切换 按钮为“是”，描述问题，然后单击“获取帮助”。您可以期待在 24-48小时。当您报告过度爬网问题时，支持团队将要求您提供服务器日志 在下一步中显示 Bingbot 在一段时间内的活动的示例，因此请确保 随身携带。
