中小企业的大数据分析之道——内部构建

　　近两年大家惯常听到一个词“大数据”，什么是大数据?顾名思义，大数据指数据总量巨大，其中包含各个类型的数据库体系。IBM曾经做过一个统计，世界上90%的可用数据，是在过去两年内所产生的。数据之所以庞大主要来自于机器的介入，从流水线上某一台中控设备的每一个传感信息到智能终端上每一次用户点击，时时刻刻都在产生数据。

　　对于数据的有效利用已经成为各个公司首要关心的事情，他们借助于整合公司多样化的数据子集来帮助企业实现项目推进与业务开展。珍岛电商将与各位分享如何有效利用大数据。

　　企业要修炼成大数据企业，要从两大方向着手：内部的构建和外部的互动。那么如何实现内部的数据构建：

　　如何实现企业数据化?

　　不同的企业对数据的关注点不一样，要首先明确我们需要什么样的数据，以人为中心还是以产品为中心。明确了这一点后，在经营过程中把数据采集下来，哪怕是当前没什么用的数据也要保存，说不定某一天会有价值。以产品为中心主要靠技术手段采集，以人为中心有时还要靠人来采集。例如，某餐厅的客人来就餐时，发生的一切行为都要记录。比如来了几个人，性别，年龄，有老人或小孩吗?排队用了多久?是慕名而来还是偶然路过?点了什么菜，看了什么菜，点菜时长?用餐时长，对菜品的满意度。大数据的步就是企业数据化。

　　企业要如何建立自己的数据管理平台?

　　对于中小型企业，数据的存储可以考虑使用外部的云端数据中心，目前外部数据中心的成本已经非常低了。在企业内部还是要建立自己的数据分析架构，其中要用到一些常用的数据工具。很多中小公司对数据管理和数据应用只是简单地输入日报表，周报表，然后是月报表。然后根据这些报表由公司领导给出下一阶段的决策。这些报表通常都是固定格式，只是数据不同。决策层长期以往，思维将会被禁锢在这些一成不变的表格中。很多决策层已经认识到这一点，于是他们说“给我新的东西看”甚至明确要求我要什么形式，什么维度的报表。于是我们的DBA们开始敲代码，跑数据，后面是领导不停的催，折腾个一两天是很正常的事，终于跑出一张报表了。有时刚交上去，报表需求又变了，我还要XX的报表，于是又是一次循环，又是一两天。好了，一周就这么过去了。市场在这一周里又发生了很多变化。这就是传统的数据分析，甚至还谈不上数据挖掘，感觉永远是慢一拍。类似这种公司的数据量不大不小，来源固定，比如百货行业，自建的网上商场，垂直类电商。对于这种首先要改善的是速度和敏捷。在明确了那些固定报表，和常用分析维度后，通过大数据技术手段我们完全可以把报表分析做到，实时查询，主动提醒，对于临时提出的分析要求也可以做到快速输出报表。

　　那么如何实现，我们大致介绍下所要用到的实现方案。目前流行的大数据的解决方案大部分都是以Hadoop为基础架构。什么是Hadoop?简单来说Hadoop是一个分布式计算的解决方案，分布式通俗来说就是把一件事分布到几台计算机上运行。由多台计算机同时运行和存储数据，比一台计算机运行速度快，而且如果数据量大了，或者报表复杂导致运算速度慢，只要再加计算机就解决了。当每台计算机运算完毕后，会把中间结果集中到一台计算机上，再把这些中间结果汇总起来得出终结果。这就是经典map/reduce模式。一句话总结就是：拆分任务，分布运算，汇总出结果。


　　每次的报表分析工作只要能按这套模式拆分成能分布运算的任务，并且任务结果可以合并成一个结果，就可以支持Hadoop的分布式运算，从而解决了分析速度的问题。

　　中小企业是否需要有一支具有大数据理念的“小数据”挖掘团队?

　　目前中小企业对于大数据普遍存在的观点：

　　我的数据量每月就那么多，或者网站的流量不多。从“量”上来说不多，从“样”上来说也不广，来源也很单一。所以我们没有搞大数据的必要，离我们太遥远了。

　　在大数据的浪潮下，做为中小公司对大数据的认识要有所求有所舍。中小公司关键要形成大数据的理念。作为一个合格的“数据科学家”不是一定要非常擅长互联网，营销之类，只要是熟悉就可以，重要是要有武器，什么样的问题来了，我用什么武器应对，解决方案是什么，可行性是多少。　　除了结构化数据以外还有文本，音频，图像，网络，行为轨迹，时间维等非结构化数据，这些数据如果处理?解决方案是什么?

　　要懂预测，大数据终就是用于预测，预测中会用到很多方法是基于机器学习的，其中比较热门的是集群学习。

　　懂分布式计算，前面提到了一点分布式计算的皮毛，如Hadoop，但不是说知道这点术语和概念就可以了，关键是要会灵活使用这些工具和技术。面对一堆数据，要用什么算法来实现map/reduce,哪些分析我只要hive就可以解决。要用开放的眼光，要知道公司里哪些数据对外部有重大价值，外部有什么数据能对公司产生重大价值，借他山之石以攻玉，实现内部数据与外部数据的整合。

　　随着互联网进程的深入推进，数据产生的时速和规模要远远超过现在，对于中小企业来说，越早培育起数据意识，才能应对这场互联网的浪潮。