banner
大数据平台>新闻与活动>商业大数据案例

【商业大数据】CEO的水晶球——机器学习和大数据应用

作者: 木子来源: 未知时间:2016-09-01 21:19:23

 

 

 

 

导读:我原来做数据仓库和数据咨询,在给客户做数据规划以及创新的时候,很多场合都需要数据仓库和BI这样的产品。我非常高兴地看到,国内一站式大数据分析平台厂商永洪科技在完整性、深度、易用性上都非常好,而我多了一个好的合作伙伴。

 

 

 

 

 

其实数据可视化也好、数据分析也好,最终的目的不是让我们看表格,而是对商业行动产生价值。那么如何通过数据对改变商业价值呢?我们一起来看ThoughtWorks咨询总监史凯在7月23日上海大数据峰会上的精彩演讲。

 

我 是ThoughtWorks的史凯,做过很多年的咨询,现在我在国内负责咨询和大数据这两个业务条线。我今天演讲的话题分为三大部分:第一是超越迷雾,数 字化时代的挑战和机遇。我会更偏向论述当一个企业在数字化时代面临特别多新的竞争格局的时候,如何去做选择?和原来传统的数据仓库提高内部效率有一定的差 异,相对来讲比较靠前端一些。第二部分,在这样的挑战中为什么说机器学习这样的技术会像CEO的水晶球一样。第三个,用实际的案例看一下机器学习在各个行 业的实践。超越迷雾、拨云见日、决胜千里,共三个章节。

 

一是超越迷雾,数字化时代的挑战和机遇

 

数字化时代的挑战

 

永远不知道竞争对手在哪里。这 是Facebook前面推出的基站,他们是做社交网络的公司,但现在做运营商的基站,完全是跨行业的竞争。再比如说Linkedln刚刚被微软收购了。现 在接触很多企业的高管和领导们最头疼的是下面该干什么,很迷茫,也不知道竞争对手在哪里。原来给客户做传统咨询的时候会给他们做对标,中国移动对标沃达 丰,做行业竞争分析,现在这个工作基本上没有用了。在数字化时代很大的挑战,就是永远不知道你的竞争对手在哪里。

 

 另外,不要把技术和业务分得那么开,现在的趋势是:业务就是技术、技术就是业务。因为所有的经验、数据、用户信息都在系统里面。我有一个客户,在跨很多行 业的采购部门,原来做内部IT的,因为他给很多的板块做服务,就积累了采购这样一个跨行业的经验,现在他把一个采购平台推出去做SaaS。所以IT已经变成运营的价值,未来数字化技术将成为每个企业核心的竞争力。

 

数字化时代的机遇

 

由于数字化时代资源整合非常快,原来我们打造一个手机品牌需要很多年,而现在非常快。而且整合数字化供应链、了解客户的信息非常快,这既是挑战,也是机遇。商业已经没有边界了,原来比竞争对手快一步我就赢了,而现在,不知道竞争对手在哪里,要飞快地奔跑。

 

我原来做数据仓库和数据咨询,在给客户做数据规划以及创新的时候,很多场合都需要数据仓库和BI这样的产品。我非常高兴地看到,国内一站式大数据分析平台厂商永洪科技在完整性、深度、易用性上都非常好,而我多了一个好的合作伙伴。

 

BI如何应用机器学习来穿越数字化时代的创新迷雾?

 

如何提高交叉销售额?用户在哪里?风险在哪里?什么样的产品组合是最好的?准确地讲,我认为在数字化时代需要成为数字化的企业,不仅仅是对数字技术的掌握,更是指需要有数字化战略,这个数字化战略包括创新,包括对客户的理解,同时要有快速的业务驱动能力,当然要配合敏捷的组织结构,最底层是双速的IT架构以及数据引擎。当一个企业走到数字化企业,能够建立数字化能力模型的时候,这个企业就具备了三条高速创新通道的引擎,就像一个火箭装上了三个推动引擎一样。

 

首 先可以进行模式创新,我们通过数据,通过了解客户背后的需求,完全可以跨界进入一个新的领域,并产生一种新的商业模式。其次我们也可以通过数据分析提高效 率,这是流程创新。当然流程和模式很难创新的时候,用数字化技术提高用户体验,就是体验创新。不管哪一种,这些创新都是数字化企业核心的竞争优势。

 

二、为什么说机器学习这样的技术会像CEO的水晶球一样

 

有一位客户是商业地产商,想在一个新的城市开一个店,位置已经选好了,但是他不知道这个店招商应该招哪些品牌,商业餐饮应该配多少,零售还有生活服务应该配多少。当然我们可以通过BI数据仓库分析以前的数据,去看过去的经验,但这对于新的场景还是有一些不适合,因为它没有发生过。所以这种情况下特别考验预测的能力。

 

我们看一下传统数据仓库解决的方式。在做一个数据仓库报表的时候,首先我们设定一个业务目标,一般是业务人员提出一个需求,然后再进行数据勘察、主题域的设计、数据预处理,Cube、可视化设计和用户使用。

 

传统的数据仓库八步,开始是业务人员理解,中间是建模,后面是可视化。每一层都跟经验和公司管理水平相关,这种情况下不可避免地会发生一些失真,这样就会有很大的差异。而且基于原来经验的分析,去建维度指标的时候,用过去的业务经验挑出来建设的,不是预测,而只是辅助决策。但在上午我们聊天的时候发现永洪BI已经超越了这个过程,已经不建Cube了,这其实是突破传统的一个很大的进步。

 

我们来看之前那个场景,今天空调开的很冷。假如有一个像魔法一样的水晶球,问它会场的同志们感觉怎么样,它会告诉你很冷,这是一个结论。但如果它能够同时把温度调高一点,是不是更好。这就是说我们不仅要发现数据现有的情况,更要发现数据背后的价值,这是Insights和Prediction。

 

我们假设,这个会场里面有摄像头,它有图象识别的能力,背后有算法去识别每个人的表情和动作,一旦发现有人有冷的表情和动作,立刻就会有模型和算法计算出一个人很冷。如果很多人都是这个状态的时候,机器会自动的把这个服务触发到空调控制器那里,这是一个典型的大数据变成行动的场景。所以我们每一个企业都需要这样一个魔力水晶球,超越传统的业务经验,将数据分析变成业务的行动。

 

机器学习是大数据的应用趋势,这是前些年数据仓库、机器学习的趋势的百度指数,我们把数据分析的结果变成一个服务,让它实时地影响系统,产生行动。在将来不需要看那么多报表,每个数据进入系统的时候,就已经进入数据的模型,这个模型通过算法已经产生了行动,影响了其他的系统。所以这是机器学习创新的业务价值。

 

机器学习最核心的价值是基于洞见和预测的。现在的机器学习还做不到完全自己去发现,什么数据丢进去都可以做,肯定不是这样的。我们还是需要定义,首先定义一个业务目标,然后把相关的数据放进去学习,通过训练数据、验证数据。然后当你有新的数据,就可以产生预测,并实现新的业务价值。

 

所以机器学习是这样循环的:将业务的价值去训练、验证和发现,这是一个循环,数据量越大,准确度越高。这和传统的数据仓库有三大差异:传统的数据仓库是已有规则的统计分析,机器学习是发现新的业务规则;传统的数据仓库以模型为核心,新的机器学习是以数据为核心;传统的是静态的模型,机器学习是持续学习、迁移学习。

 

机器学习适合的场景,语音识别和图象识别就不讲了。典型的业务场景,比如说精准营销,等一下会讲一个典型的案例。

 

最近大家经常听到深度学习这个词。深度学习是深度神经网络在机器学习里面的应用,同时现在还有一种新的,叫做迁移学习。迁移学习就是虽然和原来学的模型和源数据是一致的,结构是一致的,结构发生变化的,原来需要重新学习,但是迁移学习可以继承原来学习的经验。好比人类的基因一样,可以继承你的学习能力。

 

我们现在在深度学习这一块也在做一些探索,比如说做CEO的水晶球,丢数据进去,找到特征然后进行预测。这个里面会有很多的技术,哪些技术适用于这些场景,这一块可以参考一下,像我们的技术雷达有这样一些技术的战略。

 

三、我们来看一个实际的应用场景

 

我们主要的服务是把数据模型变成决策服务,在这一点上面我们和传统的BI、数据库厂商有很多合作的点。介绍一个典型的应用场景,有个客户每天会有20多万潜在分期用户,但是呼叫中心做营销的能力只有20%,意味着营销能力只能有20%。

 

原来的做法是找一些关键值排序,然后按照这个顺序拨打电话。后来我们用机器学习找到数据的规律,然后调整算法。这是原来拨打的真实频率,蓝色是拨打电话数,绿色是成功率,我们发现下面绿色的成功率始终是平滑的,而且成功率很低,这就意味着从20万里面筛选出前20%的高概率的用户是不准确的。

 

正常来讲,比较好的模型应该是一个曲线,越靠前越接近1,经过排序以后,越靠前的这部分用户,营销的成功率越高。20万用户排名以后,越往后成功率越低,这样只用打前面20%就可以了,因为营销成本不是无限的,一定要挑选最有可能的用户去营销。

 

这是用机器学习的算法,开始用了7天的数据学习,第一次迭代的结果是这样的,然后多次迭代,这是精准营销的案例。现在机器学习有很大的局限,还是需要把特征值提取出来才能做到。所以现在很重要的一个方向是深度学习,不需要提取特征值,让机器自己找规律。

 

其他的比如预测性检修和异常检测,都有一些其他行业的案例。比如说医疗行业做分诊,把问题提上去以后可以自动的分诊,这些是机器学习在行业里面的应用。

 

今天主要跟大家开脑洞分享一下这方面的案例、经验。

我今天的话题就到这里。谢谢!

 

史凯,Thought Works咨询总监,拥有18年的管理咨询经验,为众多大型客户提供企业转型、工厂架构、流程重构、业务优化等服务。

 

banner
看过还想看
可能还想看
最新文章
Yonghong Z-Suite一站式大数据分析平台 —— 以卓越的数据技术为客户创造价值,实现客户成功。