一.什么是robots 1.robots是网站和搜索引擎之间的一个协议 搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。 搜索引擎机器人每次来到要抓取的网站，都会先...