引言

这两天公司老板让咱去猪八戒,去淘宝找做爬虫的商家,想要给公司官网走一波流量。一开始是前同事介绍的,他让咱去找相关的页面让他评估看看能不能做。老板不满意,让我去猪八戒上看看。我找了几家,一听说我要抓取用户联系方式,直接回绝了,不做。一直听说网络爬虫好像很火,但又有一定的风险,就去网络上找文章看看了。

网络爬虫是什么?

专业解释咱也不懂,Python 学了半吊子,引入各种类库烦死了,就放一边了。Python 爬虫现在应该是比较火的应用了,但爬虫只是 Python 的一个分支应用,它还可以用来做很多事,比如常用的 web 应用,大数据分析等等。回到爬虫,在这个应用火之前,最早接触的应该是百度的蜘蛛爬虫,取名蜘蛛也比较形象,就是把四面八方的猎物通过“网”拉回到自己的大本营,意指百度蜘蛛通过网络收录来自四面八方的网站和页面信息。

国内自建博客的博主应该都会注册百度站长之家,在页面顶部配置一个被动提交链接的 js 脚本,然后每天到站长后台查看各项数据,里面包括访问量,pv,uv,来源站,关键词,百度索引等等。然后再搞一个主动提交链接的插件,每次上文章都会自动提交到百度,增加被百度收录的几率。

所以一般的搜索引擎都是建立在网络爬虫之上的,可以说,没有爬虫,搜索引擎得饿死。

自己做的爬虫应用与搜索引擎的爬虫有什么区别?

没什么区别。可能体量上因为搜索引擎是大企业,服务器各方面承载能力强,收录的数据更多,但从抓取数据本质上来说并无区别。只是后续的数据使用有些许不同。我们自己做的爬虫可能更多是为了商用,比如说公司做数据分析,引流用户,或者直接贩卖赚钱;而搜索引擎也会做这些事,只不过表面上给用户的感觉它只是在做收录工作,展示的也是标题,摘录的信息,最后用户流量还会回流到相关的网站。

这就跟转载文章一样,你看人家写的好,就想拿过来做个参考。文明一点的做法是标注这篇文章为转载,并附上原文链接。强盗的做法就是不要脸地说是自己原创的,这样被原作者发现了肯定要生气的,严重点的追究你侵权一点都不过分吧!

网络爬虫有什么风险呢?

以下内容转自 写网络爬虫的法律边界 - 猿人学 Python再续:网络爬虫的法律边界和数据风险。你看这就是转载声明,不做这个,你就是抄袭,要被告的 →_→ 。

爬虫有什么风险?犯法啊,还是刑法。

《刑法》第 285 条,非法获取计算机信息系统数据罪。

获取该计算机信息系统中存储、处理或者传输的数据,或者对该计算机信息系统实施非法控制,

处三年以下有期徒刑或者拘役,并处或者单处罚金; 最高处七年有期徒刑并处罚金。

好像还是很远的样子,近一点,直接上案例:

  • 今日头条对起诉上海晟品,被告单位主要负责人被判 10 个月到一年,罚款二十万
  • 社交软件 “脉脉” 非法抓取新浪微博用户信息,构成不正当竞争,被判赔偿经济损失 200 万以及合理费用 20 余万

有几个禁忌,抓取的数据最好不要直接商用,涉及社交信息/用户信息要谨慎, 老板交代你抓取敏感任务时,让老板先看下刑法第285条。

并且,目前我国法律是偏向数据拥有者的,如果数据拥有着者有证据向法院起诉的话,抓取数据的一方多半会败诉。

有人会说,这是公司领导让做的,我是被迫的。一样,公司处罚金,主管人员和直接责任人依法规定处罚,也就是坐牢。

为什么搜索引擎没事?

只要在网上抓取数据都存在风险,为什么百度,谷歌还活的好好的?按照好多碰瓷公司的尿性,百度、谷歌应该早就被告的破产了吧!

有两个原因,一个是搜索引擎的特殊性,它主要目的是收录网站和网址信息,它提供的是一个摘要信息,具体的内容还是呈现在原网站上。通过跳转到原网页,还可以给原网站增加流量,互惠互利的事,大家一般都不会拒绝。即便有想要碰瓷的公司,也不好下嘴。因为搜索引擎只展示摘要信息,具体内容还在原网站上。这其实是打擦边球,你可以说它违规抓了你的信息,但展示内容又不充分,对于百度,谷歌这种体量的公司,没有绝对的证据,人家法务部也不是吃干饭的,拉锯战能打到你吐。

那么在这样一种不利的局面下,爬虫是不是废了?

并不是。爬虫作为一种工具,用之正则正。在对一个网站进行数据采集的时候,你要先研究一下网站的知识产权声明。因为这是用户同意的协议,是受到法律保护的。当然这大概率没什么卵用,因为它肯定会把你规定得死死的。但个人学习的时候,谁没尝试过几个主要的网站呢!

然后还要避免踩雷。你个人试试手感、技术,一般公司不会搭理你的。除非做到一定的体量,或者你的行为危害到人家公司的利益了,那人家肯定回过头来把你踩死。

那么,什么样的行为容易踩雷?

  • 双方业务是竞争关系,比如:酷米客和车来了都是提供公交信息查询。
  • 有商业利益关系。比如:点评网和百度地图。
  • 涉及用户隐私。
  • 你的爬虫扰乱了对方的业务,遭对方恨,比如刷搜索引擎排名。

总结一句话,个人做点研究,不泄露数据,不商用,基本上没有大问题。