【填空题】Robots.txt文件的作用是禁止搜索引擎抓取网站中某些内容，存放位置是（）。

AAllow

BDisallow

Cnofollow

Dnoindex

A.防止网站非公开部份的网页被抓取

B.禁止搜索引擎访问某些文件

C.提升网站排名

D.避免收录重复内容

Arobots.txt是搜索引擎中访问网站的时候要查看的第一个文件

Brobots.txt文件告诉蜘蛛程序在服务器上哪些文件不要被收录

Crobots文件不可以用xml格式命名

D一个网站可以放多个不同robots文件

A.robots.txt文件存放于空间根目录下

B.robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件

C.如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面

D.robots.txt文件只需要存放在空间任意位置就行

A.导航型页面

B.内容型网页

C.内容导航结合型页面

A、爬虫程序

B、索引器和存储索引的数据库

C、IE浏览器

D、查询处理器

A.合理的网站结构

B.有可读信息的网站

C.规范化的URL的网站

D.主题定位正确的网站