百度作业网问个关于robots的问题,
来源：学生作业帮 编辑：百度作业网作业帮 分类：综合作业 时间：2024/04/27 20:12:32
问个关于robots的问题,
User-agent:Googlebot
Disallow:/*.asp
这样写robots 的意思是什么?结果怎么样?
User-agent:Googlebot
Disallow:/*.asp
这样写robots 的意思是什么?结果怎么样?
是不允许访问所有的.asp文件
傻瓜给个满意答案
再问： 靠，你跑来瞎掺合啊 User-agent: Googlebot 呢？ 禁止谷歌访问所有asp文件吗？ 意义何在啊？
再答： Google 的主要抓取工具称为 Googlebot 如果 Google 在 robots.txt 文件中识别出多个用户代理，则它会跟踪最具体的用户代理。如果您希望 Google 的所有抓取工具都能够抓取您的网页，则根本不需要 robots.txt 文件。如果您希望禁止或允许 Google 的所有抓取工具访问您的某些内容，则只需将 Googlebot 指定为用户代理即可。例如，如果您希望自己所有的网页都显示在 Google 搜索中，并希望在自己的网页上显示 AdSense 广告，则不需要 robots.txt 文件。同样，如果您不希望 Google 的所有抓取工具访问您的某些网页，则可禁止用户代理 Googlebot（系统会同时禁止 Google 的其他所有用户代理）。 如果您希望进行更精确的控制，则可以设置地更加具体。例如，您可能希望自己所有的网页都显示在 Google 搜索的结果中，但又不希望 Google 抓取您个人目录中的图片。在这种情况下，您可以使用 robots.txt 禁止用户代理 Googlebot-image 抓取您 /personal 目录中的文件（同时允许 Googlebot 抓取所有文件），具体如下： User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal 再举个例子，假设您希望自己的所有网页上都显示广告，但不希望这些网页出现在 Google 搜索的结果中。这时，您可以禁止 Googlebot，同时允许 Mediapartners-Google，具体如下： User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:
傻瓜给个满意答案
再问： 靠，你跑来瞎掺合啊 User-agent: Googlebot 呢？ 禁止谷歌访问所有asp文件吗？ 意义何在啊？
再答： Google 的主要抓取工具称为 Googlebot 如果 Google 在 robots.txt 文件中识别出多个用户代理，则它会跟踪最具体的用户代理。如果您希望 Google 的所有抓取工具都能够抓取您的网页，则根本不需要 robots.txt 文件。如果您希望禁止或允许 Google 的所有抓取工具访问您的某些内容，则只需将 Googlebot 指定为用户代理即可。例如，如果您希望自己所有的网页都显示在 Google 搜索中，并希望在自己的网页上显示 AdSense 广告，则不需要 robots.txt 文件。同样，如果您不希望 Google 的所有抓取工具访问您的某些网页，则可禁止用户代理 Googlebot（系统会同时禁止 Google 的其他所有用户代理）。 如果您希望进行更精确的控制，则可以设置地更加具体。例如，您可能希望自己所有的网页都显示在 Google 搜索的结果中，但又不希望 Google 抓取您个人目录中的图片。在这种情况下，您可以使用 robots.txt 禁止用户代理 Googlebot-image 抓取您 /personal 目录中的文件（同时允许 Googlebot 抓取所有文件），具体如下： User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal 再举个例子，假设您希望自己的所有网页上都显示广告，但不希望这些网页出现在 Google 搜索的结果中。这时，您可以禁止 Googlebot，同时允许 Mediapartners-Google，具体如下： User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow: