判断题 网站中的robots.txt可以无视。

判断题 爬虫必须用python编写。

判断题 一次HTTP通信的过程包括HTTP请求和HTTP响应。