大同区| 辽宁| 光泽| 涿鹿| 新沂| 上饶县| 珊瑚岛| 拜城| 当阳| 秦安| 彭水| 偏关| 策勒| 澧县| 海宁| 东沙岛| 宽城| 炎陵| 随州| 大安| 辉南| 临沧| 长丰| 喀喇沁旗| 剑河| 黄山市| 六合| 宜兰| 类乌齐| 平泉| 婺源| 宽城| 马关| 防城区| 苏家屯| 岢岚| 海沧| 洱源| 井研| 深州| 天津| 长春| 叶城| 云南| 巢湖| 河北| 阳山| 许昌| 布尔津| 黎城| 霍邱| 浙江| 图木舒克| 安平| 林州| 藤县| 伊川| 龙陵| 浮山| 抚远| 哈密| 盂县| 大余| 商南| 阜平| 鄂托克前旗| 瑞丽| 平乡| 鲅鱼圈| 嘉荫| 嘉善| 丹徒| 琼中| 毕节| 洛宁| 碌曲| 武定| 岑巩| 曲松| 金乡| 秀山| 剑河| 泗水| 贵定| 承德市| 合肥| 峡江| 黔江| 桦南| 吉县| 大宁| 开封市| 阿拉尔| 济南| 临海| 库尔勒| 鹤山| 徐闻| 石家庄| 秭归| 武威| 洛宁| 保康| 萧县| 陆川| 凤台| 桐梓| 扬中| 新民| 太和| 鹰潭| 黔江| 和硕| 巴中| 涞水| 邗江| 慈溪| 武威| 李沧| 卓尼| 奉节| 西盟| 吴江| 宁都| 太谷| 五河| 仪征| 岚县| 桐梓| 白云矿| 黄石| 阳西| 兴化| 户县| 多伦| 周口| 汉中| 白碱滩| 龙湾| 德昌| 灌阳| 塔城| 佛山| 昌邑| 灌南| 临夏市| 田阳| 桓台| 调兵山| 花都| 筠连| 洞口| 顺德| 易门| 石棉| 呈贡| 宜阳| 阿克苏| 富蕴| 黎城| 无为| 清流| 成武| 同心| 潞西| 范县| 新河| 饶阳| 蔚县| 高要| 越西| 灌南| 邯郸| 阜南| 铜仁| 靖西| 西峡| 易县| 安溪| 纳雍| 兴平| 同安| 马祖| 江苏| 嘉义县| 澄江| 兴安| 西平| 天安门| 共和| 乐安| 大荔| 延庆| 玛纳斯| 仁化| 赤城| 柳城| 池州| 泰宁| 徐闻| 嘉定| 台前| 壤塘| 阿鲁科尔沁旗| 偃师| 光山| 武定| 建湖| 霍邱| 高雄县| 临县| 贵港| 即墨| 化州| 宣汉| 平顶山| 上饶市| 于都| 房县| 如东| 佳县| 高县| 黄石| 龙川| 贺兰| 寿县| 墨竹工卡| 谷城| 汝城| 古冶| 榆林| 牙克石| 岱山| 晋江| 德安| 沙县| 祁东| 江源| 金寨| 垣曲| 桐城| 美溪| 大名| 宿豫| 连州| 轮台| 迁安| 马边| 大同县| 梁子湖| 青浦| 呼伦贝尔| 全椒| 石狮| 罗江| 当涂| 扶余| 安福| 唐县| 临潭| 竹山| 阿克苏| 通渭| 山丹| 创业
2019-09-21 07:50:57新京报 记者:李大伟 编辑:徐超
原创版权禁止商业转载授权

记者卧底大数据营销公司:揭秘APP抓取+爬虫的生意经

2019-09-21 07:50:57新京报 记者:李大伟
思维车   常书彦表示,下半年工作的重点是统筹推进依法治市工作,规范推进公共法律服务体系建设,维护社会稳定和深入推进司法行政改革。 创业   产业基础,这是新片区落户临港看中的优势之一。 论坛资讯   体育+文旅:越“挖”越精彩  华夏古文明,山西好风光。 宠物论坛 可可托海镇 思维车 两头塘 创业资讯 辽宁海城市南台镇

有大数据营销公司靠销售爬虫工具获利,电商平台商家数据遭爬取;还有公司称可以获取任意网页及APP访客的手机号;专家称其属于恶意爬取,涉嫌犯罪。




“不需要不需要,以后别再给我打电话了。”说完,代昌(化名)重重地将手机摔在了沙发上。代昌是河北邢台清河县一家民营企业的实际控制人,最近几年来,他接到的骚扰电话数量明显增多。骚扰电话正成为大数据时代的“顽疾”。

记者调查发现,一些所谓“大数据”公司数据来源可疑,甚至有些大数据公司并没有数据。新京报记者经过多地暗访、卧底发现,有大数据公司号称可以采集到任意指定网站或者APP的访客手机号;另一家号称“中国互联网营销服务第一品牌”公司的“鹰眼智客”官网则显示:“有你所需要的一切”。

7月底,新京报记者卧底“鹰眼智客”发现,其实际上是利用爬虫技术,从淘宝、京东等网站上爬取到店家手机号后,用于营销。此外,借助该软件,通过微信附近的人,用户可任意设定虚拟位置后批量申请好友,还能“站街”钓鱼营销。

有安全专家表示,当用户发生上网行为时会发送数据包,内含行为痕迹、手机号等信息。一旦涉及某一方发生泄露,通过抓取这个数据包便可以解析出来用户的敏感信息。网络爬虫则分为合法爬虫和恶意爬虫两种。一些所谓的大数据公司本身没有数据来源,而是通过爬虫手段获取他人的数据。

在网络空间,数据战争已进入白热化。2019年5月份,国家互联网信息办公室发布的《数据安全管理办法》征求意见稿第十五条也规定了,“网络运营者以经营为目的收集重要数据或个人敏感信息的,应向所在地网信部门备案。”此外,大多数网站早已对恶意爬虫构建反爬措施并作出声明严厉禁止,有律师直言,“突破、绕开第三方平台的反爬虫策略、协议时,或涉嫌非法获取计算机信息系统数据罪、提供侵入非法控制计算机信息系统程序工具罪。”



企查查显示,该公司全称为苏州娱加互娱网络科技有限公司,法定代表人为吴辉。该公司成立于2019-09-21,注册资本200万元人民币,所属行业为软件和信息技术服务业。

8月19日下午,新京报记者以保健品和网贷销售的身份与吴辉取得联系。对某些行业数据,吴辉显得谨小慎微。“保健品暂时不行,保健品目前查得比较严,属于高危敏感行业。”吴辉告诉新京报记者说。

据其介绍,该公司的获客系统十分精准。“你可以指定任意网站或者APP,只需要提供网站链接或者APP的名称及下载链接,我们就可以抓取到访客的手机号码。”吴辉说。

不过,其所提供的访客的手机号码只显示真实的前三位以及后四位,所以只能通过他们提供的系统去进行营销。“我们会提供一个外呼系统,可以将这些手机号提供到外呼系统里面去和客户沟通。”吴辉介绍。获取的中间四位被隐藏的手机号也被其称为“脱敏数据”。

此外,访客获取到的手机号也存在一定限制。“现在运营商主要做的是联通和电信的,移动的停掉了。”吴辉说。至于为何停掉移动的,对方给出的答案则是因为“移动用户太庞大了”。

除了运营商,吴辉还表示,如果用户是通过WiFi或者电脑来访问的,也无法抓取到手机号。“它(该系统)是通过流量来访问的,电脑端和无线网是抓取不了的,必须通过手机通信网络。”

为了增强说服力,吴辉建议记者“可以先花五百测试一下”。据其介绍,使用套餐为1000条起测,“我们可以签一个费用套餐,开一个坐席,你自己去测试一下转化率是多少。”

吴辉提供给记者一份公司介绍。介绍文件对娱加科技获客系统与普通网页手机号抓取软件做了对比,对比图显示,网页手机访客抓取软件犯法,而娱加科技获客系统则为“联合联通电信运营商正式推出的产品,合法合规,稳定安全”。

8月19日,该公司倚为背书的联通和电信的客服分别对此事进行否认,称“并未提供过这种服务”。

在介绍文件中,该公司提供给某整形美容医院的服务也被做成了一份案例。案例显示,该整形医院以整形医院哪家好、玻尿酸垫下巴、昆明隆鼻、整形医院、美容医院等225个关键词,提交了本地同行等23个推广网址、31个同行座机咨询电话以及两款医美类APP,要求目标客户为来自上海、年龄在16至50岁之间的女性客户。

该公司文件显示,在2019年3月,每日推送100条左右的数据,共推送3053条。其中接通1872个,意向客户873个,转化客户372个。接通率为61.31%,意向率为28.59%,转化率为12.18%,获客成本只有百度竞价推广的六分之一。

安全研究员Jane介绍,当用户发生上网行为时,首先向运营商发送一个数据包。该数据包经过运营商之后再传给服务商。数据包中包含有用户的上网痕迹、手机号等信息。“当其中某一方发生信息泄露时,不法分子可以利用这个数据包解析出来用户的敏感信息。”Jane告诉新京报记者。

充满技巧的“杀单”话术

有业务员日赚近5000元


“公司目前有两种计酬方式,一种是有底薪制,底薪为1500,销售一件产品提成为10%;另一种为无底薪制,底薪为0,销售一件产品提成为25%。”共赢科技负责面试的李梦海(化名)告诉新京报记者,“一般人都会选择无底薪高提成的,赚得多。”一台包含“鹰眼智客大数据营销系统”的电脑,定价为8800元。按照定价以及提成来推算,每销售一台,业务员可以得到2200元。

据李梦海介绍,共赢科技有限公司在郑州总部共有5个小队。记者被分配到“尖刀队”。

“恭喜尖刀队甜甜出单!”7月31日下午3点50分,坐在记者右侧的甜甜突然喊道。当业务员出单时,便会自己喊出“恭喜××队××出单!”,此刻所有人便会停下案头工作为其鼓掌。“这是一种奖励机制。”一名工作人员向新京报记者介绍说。

甜甜是一名新人。1992年出生的她,几个月前来到这个公司转行成为一名销售。因刚入行不久,一些“杀单”的话术她并不熟练,当客户表现得意向较强时,较为资深的业务员便会聚拢过来进行指导。据其描述,她平均每月可以成交四五单。在郑州来讲,收入十分可观。

所谓“杀单”,则是销售之间常见的行话,意为和客户成交。甜甜出单后不久,坐在记者斜对面的“马总”(昵称)也出了一单。

“这已经是他今天出的第二单。按照每单提成25%的利润来计算的话,算上奖金,他已经赚了快5000块钱了。”甜甜说。

这种场景在记者试岗期间频繁出现。在尖刀队主管杨小峰(化名)发送给记者的一份“终端客户聊天话术”文档中,详细地记载了一些“杀单”技巧以及问答实录。记者发现,当新人有客户意向较为强烈时,经理和团队主管便会聚拢上来出谋划策,研究如何让顾客上钩。

据甜甜透露,她“杀”的客户是一位“做保健品的”。8月18日,记者联系到甜甜这位客户张娜(化名)。据其介绍,在使用“鹰眼智客”系统仅仅两天后,她使用多年的微信号即遭到封禁。张娜说她再也不敢用了。

合法爬虫or恶意爬虫

恶意爬虫涉非法获取计算机信息系统数据罪


“这肯定是合规的,因为我们不直接参与贩卖数据。”该公司负责人事的李梦海告诉新京报记者说,“如果卖爬取到的数据就违法了。”

该公司的业务员王伟(化名)则给出了不同的答案。王伟向新京报记者直言了自己的担忧。“外呼机器人是违规的,之前曾被曝光过。”王伟说。

爬虫技术是为了互联网本身信息传播而产生的。通过网络爬虫,搜索引擎获悉互联网的内容。在网络安全领域,也有通过爬虫来检测网站漏洞和网站可用性。

“爬虫技术的本质用途仍然存在,像百度、谷歌之类的公司,但是互联网上面的其他黑产眼里只有利益,他们通过网络爬虫做二次数据封装和用户引流,通过数据贩卖和流量牵引牟利。从用户视角来说,危害主要有恶意营销、网络攻击(网络钓鱼);从网站角度来说,危害包括网络攻击、薅羊毛、影响正常的企业服务、信息价值流失、用户流失。”程柏说。

中消协此前发布的《APP个人信息泄露情况调查报告》显示,约86.5%的受访者曾受到推销电话或短信的骚扰,约75.0%的受访者接到诈骗电话,约63.4%的受访者收到垃圾邮件,排名位居前三位。

对于此类爬虫软件,多数网站早已声明严厉禁止。北京炜衡律师事务所周浩律师认为,“网络爬虫爬取数据需要遵守第三方平台的Robots协议以及获取数据的性质具有公开性,不得包含个人信息数据、商业秘密及国家秘密等信息数据。如果突破、绕开第三方平台的反爬虫策略、协议时,或涉嫌非法获取计算机信息系统数据罪、提供侵入非法控制计算机信息系统程序工具罪。”

Robots协议也称为爬虫协议、机器人协议等,其全称为“网络爬虫排除标准(RobotsExclusionProtocol)”。

“网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。对于搜索引擎来说是行业通用的爬取约定协议,但对恶意爬虫来说并没有任何约束力。”知道创宇技术总监邓金城告诉新京报记者说。

据腾讯发布的《2018上半年安全专题系列研究报告》(以下简称报告)显示,恶意爬虫通过分析并自行构造参数对非公开接口进行数据爬取或提交,获取对方本不愿意被大量获取的数据。

报告指出,据统计,出行、社交、电商占恶意爬虫流量目标行业分布前三位,占比分别为20.87%、18.40%、13.38%。

周浩表示,《网络安全法》《个人信息安全规范》都强调了,通信联系方式(电话号码)是重要的个人信息,非经同意不得收集。提供用来收集个人信息的工具,一旦被使用必然存在违规。

技术发展倒逼法律完善

收集重要数据或个人敏感数据需备案


溯其本源,便是逐利。

“一些所谓的大数据公司本身没有数据来源,而是通过爬虫手段获取他人的数据。”程柏说。

反爬斗争已悄然进入白热化。不过,“反爬”绝非易事。知道创宇404实验室副总监隋刚介绍,规模较大的公司都会有自己的反爬机制,但“有些爬虫可以绕过这些反爬机制”。

技术的不断发展在倒逼相关法律趋于完善。2019年5月份,国家互联网信息办公室发布了《数据安全管理办法》征求意见稿(以下简称“征求意见稿”)对爬虫技术有明确的定义和规定。其中第十六条规定,网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

“不过,第十六条在实践操作中可能存在一定问题,对造成网络不能正常运行也未有相应的处罚措施,这可能是将来需要完善的地方。”曾多次参与制定企业隐私政策的京师上海国际总部专职律师徐延轩说。

同时征求意见稿第十五条也规定了,“网络运营者以经营为目的收集重要数据或个人敏感信息的,应向所在地网信部门备案。”徐延轩认为,收集重要数据备案制度可能是未来监管的方向。


新京报记者 李大伟 罗亦丹 实习生 徐子林 编辑 徐超 校对 刘越

记者邮箱:lidawei@xjbnews.com

点击加载更多

    • 一天
    • 一周
    • 一月
       回到PC版
      边埔 玉林南路 金盆 西四北社区 南阳市 竹杆巷 金山里 乌雪特乡 二七宿舍
      坡贡镇 东海县 六合县 香堆镇 凤林乡 清远市 盱眙 临江区 新邱区
      挂甲寺路 上海崇明县庙镇 巴掌 九溪乡 田子 传豪 岭脚村 西哈日花 贵县 升坊镇
      https://www.whr.cc/bbsitemap.htm