网络爬虫是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。而python爬虫就是用python编译的收集网站信息的程序。其作用有：1. 收集数据;2. 尽职调查;3. 刷流量和秒杀等。

1. 收集数据

爬虫可以被用来收集数据。这是爬虫的最直接和最常见的用途。由于爬虫是一个程序，程序运行速度极快，而且不会因为做重复性的事情而感到疲劳，所以使用爬虫来获取大量的数据就变得极其容易和快速。

由于现在99%以上的网站都是基于模板开发的，使用模板可以快速生成大量布局相同、内容不同的网页。因此，只要为一个页面开发一个爬虫，那么这个爬虫也可以爬行基于同一模板生成的不同页面。

2. 尽职调查

我们所说的尽职调查，一般是指在投资一家公司之前，投资者需要了解该公司是否像他们自己描述的那样勤奋工作，是否有作弊、伪造数据、欺骗投资者的嫌疑。在过去，尽职调查通常是通过调查目标公司的客户或审计财务报表来实现。而有了爬虫，做尽职调查就容易多了。

例如，你想调查一家电子商务公司，了解其商品销售情况。该公司自己声称每个月有数亿美元的销售额。如果你用爬虫抓取该公司网站上所有产品的销售额，那么你可以计算出该公司的实际总销售额。此外，如果所有的评论都被抓取和分析，还可以发现网站是否被刷屏了。

数据不会说谎，尤其是数据量非常大的时候，人为伪造的数据和自然产生的数据之间总是有区别的。而在过去，在海量数据的情况下，收集数据是一件非常困难的事情，但现在有了爬虫的帮助，很多欺骗行为就赤裸裸地暴露在阳光下。

3. 刷流量和秒杀

刷流量是爬虫自然带来的一个功能。当爬虫访问一个网站时，如果爬虫隐藏得很好，网站无法识别出是爬虫的访问，那么它就会把它当作一个正常的访问。这样，爬虫就 "不小心 "刷了网站的流量。

除了刷流量，爬虫还可以参与各种秒杀活动，包括但不限于在各种电商网站上抢夺商品、优惠券、机票、火车票。目前，互联网上有很多人专门利用爬虫参与各种活动并从中获利。这种行为一般被称为 "薅羊毛"，这种人被称为 "羊毛党"。但利用爬虫来 "薅羊毛 "获利的行为其实游走在法律的灰色地带，希望大家不要轻易尝试。