如何让数据流动起来，让数据拥抱数据？《转》

纷飞

围墙里的大数据注定成为死数据。大数据需要开放式创新，从数据的开放、共享和交易，到价值提取能力的开放，再到基础处理和分析平台的开放，让数据如同血液在数据社会的躯体中长流，滋润数据经济，让更多的长尾企业和数据思维创新者产生多姿多彩的化学作用，才能创造大数据的黄金时代。        我的大数据研究轨迹
                我做了4-5年的移动架构和Java虚拟机，4-5年的众核架构和并行编程系统，最近4-5年也在追时髦，先是投入物联网，最近几年一直在做大数据。我们团队的大数据研究轨迹如下图所示：

        

                2010-2012年，主要关注数据和机器的关系：水平扩展、容错、一致性、软硬件协同设计，同时厘清各种计算模式，从批处理（MapReduce）到流处理、Big SQL/ad hoc query、图计算、机器学习等等。事实上，我们的团队只是英特尔大数据研发力量的一部分，上海的团队是英特尔Hadoop发行版的主力军，现在英特尔成了Cloudera的最大股东，自己不做发行版了，但是平台优化、开源支持和垂直领域的解决方案仍然是英特尔大数据研发的重心。
                从2013年开始关注数据与人的关系：对于数据科学家怎么做好分布式机器学习、特征工程与非监督学习，对于领域专家来说怎么做好交互式分析工具，对于终端用户怎么做好交互式可视化工具。英特尔研究院在美国卡内基梅隆大学支持的科研中心做了GraphLab、Stale Synchronous Parallelism，在MIT的科研中心做了交互式可视化和SciDB上的大数据分析，而中国主要做了Spark SQL和MLlib（机器学习库），现在也涉及到深度学习算法和基础设施。
                2014年重点分析数据和数据的关系：我们原来的工作重心是开源，后来发现开源只是开放式创新的一个部分，做大数据的开放式创新还要做数据的开放、大数据基础设施的开放以及价值提取能力的开放。
        数据的暗黑之海与外部效应
                下面是一张非常有意思的图，黄色部分是化石级的，即没有联网、没有数字化的数据，而绝大多数的数据是在这片海里面。只有海平面的这些数据（有人把它称作Surface Web）才是真正大家能访问到的数据，爬虫能爬到、搜索引擎能检索到的数据，而绝大多数的数据是在暗黑之海里面（相应地叫做Dark Web），据说这一部分占数据总量的85%以上，它们在一些孤岛里面，在一些企业、政府里面躺在地板上睡大觉。

        

               

游客，如果您要查看本帖隐藏内容请回复