本帖最后由 源济 于 2019-8-3 07:34 PM 编辑
【暗察笔记】是苍衣社职业故事系列。这里汇集各行职业侠客，组成“暗察使”。每期一位暗察者讲述传奇职业故事，旨在开眼界、长见识。
大家好，我是脸叔。 【暗察笔记】是苍衣社新开的一个系列，专门讲述传奇职业故事。这里网罗了隐匿在城市江湖的各行职业侠客，他们有一个统一的名字——“暗察使”。 数据分析师、心理咨询师、缉私警察……你听过的没听过的，应有尽有。 第一篇由首席数据分析师黄诩向我们讲述。他现在已经是一家创意公司的CEO了，说起职业生涯最特别的故事，他说CEO不有趣，还是数据分析师够特别。 老规矩，「在看」过3000，放黄诩的下一个故事。 这是 苍衣社 的 第 01 篇 暗察笔记 零幺号暗察使：黄诩 职业：数据分析师 职业技能：爬虫、数据点提取 全文 9094字，阅读约需 10 分钟 ★★★ 世界的本质是数据，而大数据发展的原动力是人们测量和分析世界的渴求。 我们公司是一家大型的连锁超市，颇具规模，在全国的一二线城市都有分店，准备明年在A股主板上市。 我是公司大数据部的一名数据分析员，主要的工作是将从各个分店传输回来的交易流水数据进行整理分析，从中提数，从而优化公司各方面的资源配置。 浩如烟海的交易流水数据枯燥又乏味，许多同事干不了多久就跳槽去了云计算公司，留下来的也就是像我们这样耐性较强的“数据痴”了。后来首席数据官也自己出去开公司创业了，我就赶鸭子上架当了首席数据分析师。 其实，能引起公司的重视，不是说我的数据分析能力有多牛掰，而是在日常工作中，我喜欢突发奇想地弄一些排列组合，把一些风马牛不相及的事物联系到一起，时不时会收到意想不到的效果，让人眼前一亮。 举几个例子，通过对海量交易流水的数据分析，我发现在暴雨天气里，雨伞、雨衣等雨具，和蛋挞、蛋糕、吐司面包等轻食品会出现销量暴涨。 如果说雨具用品在下雨天畅销，还在情理之中，那轻食品也卖得猛就很难用因果关系来解释了。我给公司提出了调整货架的建议，在下雨天将雨具用品与轻食品摆放在一起，结果这两类商品出现了大幅度销量提升。 此外，还有雪糕与鸡蛋饼的组合，饮料与衣架的组合等等，都是我通过对公司大数据的分析后给出的优化配置建议，对各超市的销售业绩做出了不小的贡献。 让我最长脸的一次，是对一位年轻女顾客的数据分析预测——我预测到她怀孕了。 按照惯例，我们每个月都要对顾客的潜在消费需求进行数据分析预测，以便更好地推荐商场新商品，刺激消费。在大量的商品交易数据里，我们梳理出一条特殊的规律，那就是通过顾客对某几类商品的高频购买，可以推断出顾客的身份特征、习俗喜好、性格倾向，甚至是某些生理特征。 我通过VIP卡注册信息以及积分兑换商品的情况查看顾客当前消费状态，发现了一个非常明显的购买特征：高频次购买乳香液、薏米粉、小麦胚芽粉和竹碳丝纤棉球的女顾客都处于妊娠期。 出于更好地向顾客推荐实用商品的考虑，我拉出了一大串潜在顾客的名单资料传给客服部门，建议客服人员向她们寄送孕妇类商品宣传单册。 这本是件稀疏平常的事，没曾想却生出了事端来。售后服务中心接到了一个顾客的投诉电话，骂我们乱搞，把孕妇类商品资料寄到他家里去，他家里只有一个上大一的女儿，哪儿能用得了这些东西。 投诉的矛头直指我们大数据部，推荐建议是我提出来的，“乱搞”二字不折不扣地扣在了我的头上，同事们一番揶揄嘲笑，弄得我一个礼拜都抬不起头来。 好在那位顾客后来又打来了电话致歉，说自己是一个不称职的父亲，这些年只顾着工作，忽略了对女儿的管教，让女儿在外面结交了不好的朋友。如果不是我们寄去的孕妇用品推荐资料，他现在还被蒙在鼓里。 这个剧情急速反转的案例，进一步证明了基于相关关系分析的数据预测是很靠谱的，我也因此在公司做了回小红人。 ★★★ 这件事的热度没过去多久，公司本部总经办就派人来找我，交给我们数据部一项近乎荒唐的工作任务。 作者图 | 公司办公区 事情是这样的，为了应对日益激烈的同业竞争，公司想效仿国外零售巨头Costco（好市多）的会员卡模式，用极致性价比、极致服务留住顾客，获取顾客终身价值。公司决定在现有的大数据技术基础上做to C（至客户）端的业务下沉，以突显差异化。 于是，我们大数据服务对象要从面向公司层切换到面向金卡顾客层。 而第一位要求使用我们大数据服务的客户，竟然就是上次那位让我“走红”的老爷子。老爷子见识了我们大数据预测的威力，直接就办理了新推出的金卡会员，要求使用大数据增值服务。 “什么，不是吧，刘总，让我运用大数据分析技术寻找他女儿的下落？”我听完总经理刘必成布置的任务，惊得嘴巴都张成了O型。 刘必成笑笑说：“小黄，你别那么惊惊咋咋的，你的个性我了解，大胆敢干，有创新意识，思维也比一般人超前，你上次分析出这个顾客女儿怀孕事情就是一个很好的例证。” 刘必成年长我几岁，五年前接过他父亲老董事长的班，是公司的董事长兼总经理。他年轻有为，锐意创新，跟头栽了不少，业绩也十分傲人，是业内的传奇人物，也是我十分认可的上司，他一开口我就很难拒绝。 “……可是，他老人家的女儿走丢了，应该找警察呀，干嘛找我们啊？”我小声说。 “老爷子来找我们也是有苦衷的，他是大学的退休教授，家风严谨，可家里的独生女儿，还没结婚，先把肚子搞大了，他不愿张扬也是可以理解的。他女儿也很任性，动不动就玩离家出走，没少麻烦警察兴师动众地去找。结果呢，不是在她的姑姑家，就是在她的同学家，还有一次更离谱，她竟然藏在自家卧室的床底下。 这一次小姑娘又玩人间蒸发，老爷子碍不下面子，且他与女儿还能打通电话，也不算是失联，也不好意思再去麻烦警察。小丫头就是不肯回家，也不肯说出自己在哪儿，老爷子心里老不踏实，正好我们推出大数据服务业务，就找过来了，要我们帮他查查女儿的下落，不要声张……” “这个界实在跨得有点大啊，但是……嗯，我试试吧。”对刘总我实在没法说出拒绝的话。 刘总将那位客户的基本资料交给了我，“好好干，这一单做好了意义深远，说不定我们正好踩中了一个全新领域的红利节点上，可以打造成公司未来新的核心竞争力，将同行甩出几条大街去。我会派安保部经理唐塑协助你们的工作，他在公安系统的关系可以用一下。” 我回到办公室打开了资料袋，客户叫方作清，65岁，是一名文学院的退休副教授，家庭亲属档案里只写着女儿的名字方梦嘉。 我心里不由地犯起嘀咕来，这位退休教授又不是学算法技术的，怎么就这么笃定大数据能够帮他找到女儿？不惜掏出几万块办理金卡会员卡？ 在展开网络数据爬抓之前，我觉得我有必要去见一见方作清。 ★★★ 我与安保经理唐塑一起去了方作清家。 方老家在唐翠园小区，住的是上世纪90年代建造的老式住宅楼，楼体陈旧，墙面的白石灰脱落得一块块的，像是被虫蚁蛀蚀后留下的痕迹。 防盗窗铁网更是锈迹斑斑，楼道里到处堆放着杂物，我们费了点工夫才找到了方作清家。 方老头发还很黑，瘦高个子，一身中山装，背未见驼，戴着黑框眼镜，一身书卷气。 我把我的疑问提了出来，他老人家的回答着实令我大跌眼镜。 我问他为什么相信大数据能帮他找到女儿，他回答大数据是一种痕迹学，现在是互联网技术时代，梦嘉是一个少了WIFI信号或断了网络连接就活不下去的人，在网络空间里必定会留下大量的信息痕迹，其中少不了GPS定位的痕迹，只要提调出这些信息，就能明确梦嘉藏身的确切位置。 他的专业程度让我叹为观止，一个文科教授能做到这种程度，想必是下了一番功夫的。 我又问他女儿为什么会离家出走，他说是他打了他女儿。为什么打呢？方老涨红了脸支支吾吾了半天。 原来他那个任性的闺女在大学不好好念书，跑到外面做兼职陪酒，搞大了肚子。因为我们公司寄来的孕妇用品推荐单册，他才知道了真相，一气之下就打了她。 方梦嘉被娇惯坏了，怼了方老一番，夺门而出，方老到方梦嘉的同学老师那里都问过了，没有她的消息。她已经连续旷了十几天的课了，打她的手机，她就是不肯回来，也不肯说出自己在哪里。 我又向方作清了解了一些方梦嘉的情况，看到了方梦嘉的许多生活照。方梦嘉长相甜美，光看照片一点也没觉得是这样骄纵蛮横。 ★★★ 信息了解得差不多，我和唐塑离开了方家。在回公司的路上，我问唐塑关于兼职陪酒的事。 唐塑年纪与我相当，有点来历，干过几年刑警，后来因为一些事情离职，竞聘到我们公司做保安经理，对三教九流都比较了解。 他说：“嘿，现在哪儿还叫什么陪酒小姐，都叫援交女了。”他方向盘一打，“走，我们去XX大学见识一下。” 晚上八九点钟，校门口热闹非常。马路两侧停了许多豪车，奔驰宝马自不必说，法拉利宾利兰博基尼也很多。一些打扮精致的女孩围着豪车跟车主插科打诨，不时有人坐车走了。 “喏，援交女在拉生意呢。”唐塑说。 我愣愣地点点头。 唐塑说：“这里面可是有门道的。看见了没，豪车顶上都放着东西的，矿泉水是一次1000块至1600块，红牛是包夜费一万块。她们去拿矿泉水或红牛，任选一个，就决定了成交哪种生意——艺术系女学生相貌身材很出众，价码是有点高的。” 我皱了皱眉，关上车窗，“走吧。” 作者图 | 校园外的街景 回去我就着手查方梦嘉的事。她5月24号离家出走，方老就再没见过她。
从大数据成本的角度来考虑，我决定从网络公开信息入手展开爬抓。我使用爬虫软件在PC端抓取方梦嘉的所有上网信息痕迹，一爬抓不得了，竟然下载了100多G的信息，必须提纯，加入关键算法进行过滤。 我将网页信息倒排建索引，输入搜索关键词搜索索引，按排列算法排列结果，提取了180个数据点，再进一步压缩，减少到12个。 方梦嘉在网上留下的上网痕迹特征大致可以围绕网购、旅游、嗨歌、模特T台秀、婺源、天国、王子等几个关健词，在她的豆瓣公开日记和微博里频繁出现过几个名字：陈雅森、罗杰、范丽丽、梅姐。 其中，有一个痕迹数据点令我非常担心，方梦嘉的所有上网痕迹止于6月7日晚上10:23，之后再如何强力搜索爬抓也没有新的信息数据。 在网络时代，一个大学生长时期不上网代表了什么？唐塑分析有三种可能：一是被人非法拘禁了；二是换了马甲有意隐藏；三是可能已经死亡。 让我更揪心的是，在方梦嘉的最后一次上网痕迹中，出现过数条“死亡是什么感觉”的搜索信息。 已经出现的几个名字通过云搜平台核实，陈雅森是一个三线歌星，在国内没有多大的名气。范丽丽是XX大学表演系的大一女生，应该是方梦嘉的朋友。 罗杰与梅姐这两个名字就麻烦了，云搜国内叫“罗杰”这个名字的人有三千四百人之多，无法确定哪一个与方梦嘉有关系。“梅姐”这个化名就更无从查起了。 我去询问了方老，他也从未听方梦嘉提起过什么罗杰和梅姐，但是他认识范丽丽，给了我她的联系方式。 我加了范丽丽的社交账号，试着与她交流。范丽丽提到方梦嘉的名字很生气，说自己半年前与她吵架绝交了，原因是方梦嘉贪慕虚荣在校外做援交，她羞于与此人为伍。 我还没来得及说话，她就一通抢白，说自己是如何的根正苗红，不愿同流合污。 我耐着性子看范丽丽发出的一连串愤青式文字，然后问她认识罗杰吗？ 范丽丽很干脆地丟出三个字，“不认识。” “认识梅姐吗？” “没听说过。” 末了，她又补充一句：“那个罗杰好像是方梦嘉的男朋友，是个富二代，经常开部法拉利来接她，车牌够大气的，叫台H1688。” 根据我在车管所网站查询到台H1688车主信息是：李浩天，男，26岁，嘉御集团文娱事业部经理。 罗杰与李浩天是什么关系，怎么会开他的车出门？ 嘉御集团是本市的明星企业，没费多大劲，我便在公司的上下游合作商那里查实到了李浩天的真实情况。 李浩天是李家的独子，父母忙生意疏于管教，从小就是个浪荡子，高中没上完就辍学，整天在外面花天酒地，“罗杰”正是他在风月场所泡妞时常用的名字。 由此看来，要想查找方梦嘉的下落，李浩天这个富二代肯定绕不过去了。
| 
狗仔卡
发表于 2019-8-3 07:35 PM
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
，很高兴认识你
