Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）
第1题：
在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）
第2题：
Robots.txt有什么作用（）
第3题：
robots.txt文件放在哪里（）
第4题：
在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）
第5题：
关于搜索引擎工作原理，下列描述中正确的一项是（）
第6题：
什么因素影响搜索引擎抓取一个网站？
第7题：
robots.txt的作用是（）。
第8题：
对于ROBOTS文件作用，哪些描述是正确（）
第9题：
网站被惩罚了怎么办？（）
第10题：
如何建立符合搜索抓取习惯的网站？（）