利用爬虫技术复制原创内容成行业公开的秘密 数据“搬运”成风 互联网企业集体沉默

东方IC供图

在北京798艺术区对面的一栋办公楼里，马蜂窝旅游网总部的运营一切如常，丝毫看不出其受到此前“点评数据造假”事件的影响。

10月下旬，自媒体公众号“小声比比”以《估值175亿的旅游独角兽，是一座僵尸和水军构成的鬼城？》为题发表文章，披露马蜂窝网站上2100万用户点评数据中，有1800万是通过机器人从其他竞争对手网站里“搬运”而来的。在后续文章中，该公众号还指出，马蜂窝网站的游记里，也夹杂了不少营销水军和软广。

作为一家正在迅速成长的旅游平台，马蜂窝“被捅”，按理说会激起强烈反响。但事件发生后，除马蜂窝发表一则声明外，包括投资人、被爬取数据网站在内的各方均保持了“沉默”。

在马蜂窝事件之前，还有大众点评网站未经授权搬运小红书APP近百万篇用户笔记；甚至就在两三年前，马蜂窝用户的游记也被其他网站抄袭，为此马蜂窝官方微博还出面帮助维权。

“为了获得好看的数据和足够的资金，数据互爬和造假在行业内是公开的秘密。”采访中，业内人士的一句话道出了各方沉默的内在原因。

在大量“需求”之下，“刷流量”和“刷单”已形成了产业链。由于现有法律对互联网数据所有权和使用权的规范还不完善，因此虽然上述行为给用户获取真实信息带来困扰，但目前还缺乏有效的解决方法。

爬虫无处不在

创立于2006年的马蜂窝是一个分享型的在线旅游社区，用户可以在网站上写游记和攻略，是典型的将“用户原创内容（UGC）”作为核心竞争力的互联网企业。在国内，与之类似的还有合并前的大众点评网、豆瓣网等公司。对这些企业来说，优质的原创内容既是它们获得资本青睐的重要原因，也是决定存亡的生命线。

“越是依靠内容的产品，越容易出现网络爬虫。”在某互联网企业担任数据工程师的陈立（化名）告诉记者。所谓网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。此次马蜂窝被指“搬运”数据，也是通过爬虫技术爬取而来。

“对初创公司来说，如何实现‘冷启动’是让人头疼的事情。”陈立曾在一家餐饮点评网站就职，刚上线时，由于没有用户，网站里就没有原创内容；缺乏内容，又无法吸引用户。面对“死循环”，从别处爬取内容填充网站成了最便捷的选择。

数据搬运早不是新鲜事。天涯社区是中国最早的一批内容平台，其早期创始人李胜兵曾公开表示，早在那时，阻止爬虫和机器灌水就是程序员的日常工作之一。

即使是已拥有一定用户量的企业，也难免在数据上“动手脚”。有业内人士告诉记者，大部分互联网企业早期都难以实现盈利，因此除了营收，增长数据就成了衡量企业未来潜力的重要因素，这将在很大程度上决定企业能否获得投资人的青睐。

刷出产业链

作为一名普通的用户，北京白领李嘉觉得手机里的某个点评APP“越来越看不懂了”。为了美发，李嘉最近对公司和家附近的美发店进行了搜索，让她没料到的是，在APP上，这些店几乎都是清一色的好评，“点评动辄写上两三百字，还要配上五六张照片”。在为数极少的中评和差评中，用户多是抱怨店里的实际服务和点评中的描述有较大差距。

根据经验，李嘉认为，大多数好评都可能是由商家刷单而来。“看来看去，反而更难选择了。”

正面的评价和数据能够影响消费者的选择，无论是平台还是商家，对刷单、刷量都有极大需求。不少线下营销公司根据这种需求，已经把刷单发展成一条产业链。

在淘宝网上以“马蜂窝、旅游”为关键词进行搜索，能够发现多家代写游记、客栈或餐厅推广的店铺。记者以火锅店店主的身份进行咨询，一家店铺提供了3种服务：直接从别处抓取非原创评论、店铺工作人员原创评论、店铺创作游记并在其中嵌入火锅店信息。相对于点评一条3~5元的价格，游记推广的价格则高达300~500元。店主承诺，游记会在目的地网页“占据显眼位置”，并提供长期维护。

除马蜂窝以外，也有推广公司提供途牛、穷游等平台的推广服务。在微博平台、视频网站平台，刷单、刷量也同样存在。报价方面，以视频点击量为例，根据达到的效果不同，1万次点击量的“售价”从2元到80元不等。

陈立告诉记者，对商家的刷量、刷单行为，平台都心知肚明，但刷单既给商家带来了客流，又为平台免费提供了内容数据，还让营销公司获利，“皆大欢喜，利益链条由此完整”。

与商家一样，平台自身也需要“刷量”。此前，在“知乎”社区中，有用户指出，蜻蜓FM后台有自启代码，不仅可以在用户手机的后台启动无窗透明界面，伪造日活跃用户数，还能自主触发广告商的广告，并回传给第三方数据公司，从而完成“用户自主点击广告”的操作。

沉默背后是法规的缺位

有爬虫就有反爬虫。

“普通用户最常见的就是验证码技术。”携程技术中心曾专门举行了主题为“爬虫VS反爬虫，一场没有硝烟的战争”的技术培训活动，并在活动中表示：我们所处的互联网，是一个爬虫的世界。

陈立介绍，由于受高利润的驱使，爬取方总是能不断升级技术突破反爬虫，因此这场战争中胜者几乎总是爬虫。不少从业人员都用“道高一尺，魔高一丈”形容双方的交锋。

在程序员互相比拼技术的背后，是法律条款的缺失。网络爬虫作为一种技术本是合法中立的，但其获取的网络信息的所有权以及获取信息后的使用范围，在目前的法律条款中，还没有明确的规定。

这或许也是此次马蜂窝“被捅”后，相关企业集体沉默的原因之一。在透明且缺乏版权意识与法律规范的网络世界中，爬虫是谁都可以钻的漏洞。有业内人士甚至表态：几乎没有任何互联网企业的数据和内容是完全“清白”的。

除了爬虫，造成不公平竞争以及给消费者带来困扰的刷单与刷量行为，目前也缺乏有效的约束方法。即使是平台公司有意维权，也面临着举证难和成本高的障碍。今年8月，国内首起因视频网站刷量而引发的不正当竞争案宣判，爱奇艺虽胜诉，但50万元的赔偿能起到的震慑作用微乎其微。

“抄袭的人得到好处，守规矩的人变得弱势，这是不公平的。”李胜兵表示，未来，要依靠互联网的“自滤”功能和法律法规的不断完善，才有望破解“数据造假”的难题。

新闻推荐

和庄镇打击非法集资宣传进村入户

晨刊讯(记者李萌萌通讯员赵帅)“天下没有免费的午餐。你惦记他的利息，他贪婪你的本金……请看好你手中的钱袋子”。这是莱...