随着大数据时代的到来,网络爬虫作为一种自动采集数据的手段,为大数据做出了突出的贡献。但我们在使用网络爬虫的时候一定要遵守规则--robots协议,否则可能会面临法律风险,这节课,就带着大家来了解robots协议。