单项选择题
不规范URL的危害不包括（）
A.会分散网页权重，不利于排名 B.搜索引擎收录的URL可能不是最合适的URL C.重复页面过多，搜索引擎可能会认为有作弊嫌疑 D.对于搜索引擎来说，节省资源、节省宽带
单项选择题 在robots.txt文件中，不允许访问以“.asp”结尾的URL的代码是（）
单项选择题 以下不是蜘蛛陷阱的是（）
单项选择题 yahoo的网络蜘蛛名是（）
