单项选择题
在robots.txt文件中,不允许访问以“.asp”结尾的URL的代码是()
A.Allow:/*.asp$ B.Disallow:/*.asp$ C.Allow:/*.asp D.Disallow:/*.asp
单项选择题 以下不是蜘蛛陷阱的是()
单项选择题 yahoo的网络蜘蛛名是()
单项选择题 ()适合内容类别多、内容量大的综合性网站。