经验总结

  1. 首页 > 生活 > >

robots的写法及用法 robots.txt怎么写( 二 )

生活百科


2 。禁止所有搜索引擎访问网站的任何部分用户代理： *禁止：/
3 。只有白蜘蛛被禁止访问您的网站用户代理：白蜘蛛禁止：/
4 。只允许白蜘蛛访问您的网站用户代理：白蜘蛛不允许：
5 。不允许Spider访问特定目录用户代理3360 *不允许：/CGI-bin/不允许：/tmp/不允许：/~joe/
6 。允许访问特定目录中的某些网址用户代理： * allow :/CGI-bin/seeallow 3360/tmp/hiallow 3360/~ Joe/look disallow 3360/CGI-bin/disallow 3360/tmp/disallow 3360/~ Joe/
7 。使用“*”限制对网址的访问 。访问所有带后缀的网址(包括子目录) 。禁止在/cgi-bin/目录中使用“htm” 。user-agent : * disallow :/CGI-bin/* . htm 8 .使用“$”限制访问URL只允许访问带后缀的URL” 。htm” 。用户代理： * Allow:htm $不允许：/示例
9 。无法访问网站中的所有动态页面用户代理3360 *不允许3360/*？*
10 。百思买禁止抓取网站上的所有图片 。只允许抓取网页，不允许抓取图片 。User-agent:.jpg $ disallow:jpg $不允许3360 . gif $ disallow:png $不允许：bmp $1
1 。只有baispider被允许抓取网页和图片 。gif格式徐抓取网页和gif格式的图片，不允许抓取其他格式的图片：user-agents : baispiderlow 3360 . gif $ disallow3360.jpg $ disallow3360.jpg $ disallow:png $ disallow : BMP $ 1
2 。只有百度被禁止在 。jpg格式：user-agent : baispiderdisallow 。

经验总结扩展阅读


上一篇：提子皮能吃吗？ 吃提子皮有什么好处？ 提子皮的效果和作用

下一篇：目前中国最赚钱的十大行业 目前哪个行业挣钱