【必读】一篇对大数据深度思考的文章《转》（二）

叶子颜

        四、不要过分迷信大数据；大数据的实质究竟是什么？                看了上面的分析，或许你会认为大数据分析真是无所不能。但是，我们不能过分迷信大数据，于是接下来的问题就产生了。
        1、大数据分析和传统统计学方法有什么样的关系？
                大数据所遵从的是：以大量数据，甚至所有数据为基础，然后用算法去计算分析，从而更精准的找到各个因素之间的相关关系（不是因果关系），以发现数据之间的规律。
                那我们看看传统的统计学方法，统计分析学解决的就是如何通过选取少量的样本，通过对样本的分析，然后推断整体的趋势和规律。所以，用的是概率。一般会规定在90%、95%或98%的置信度（精确度）下最大程度推断总体。如果目的明确，样本选取得当，操作科学，那么不需要大量数据就能分析出规律，从而推断出总体的规律，并且可以发现不同因素之间的因果关系。比如，抽样方法确定后，就可以确定样本数量，如果抽样得当，那么样本的数量跟总体的数量之间没有太多直接关系。
                举个不恰当的例子以供理解：假设选取1000个样本，推断的规律是A，选取2000个样本，同样呈现出A规律，选取3000也差不多这样。那么，我们实际上科学选取1000多个样本就可以达到目的了。所以，传统的抽样和统计方法，在最大程度上解决了成本问题，虽然会有误差，但仍可以发现的显在规律。
                所以，从这个角度来说，大数据分析最终得到的结果很可能跟传统统计学方法分析的结果类似，只不过把原来的小样本变成了大样本分析。虽然大数据分析理论上是更精准，也可以弥补传统误差的缺陷，但准确度未必像我们想象的那样提高非常多（因为大数据分析会严重受到数据源的影响）。另外，也不一定能发现更多新规律。如果是这样的话，我们不禁要问，大数据究竟是为什么而存在？
                另外，在传统的统计学分析当中，比如对市场情况的分析，我们要结合实际的环境和背景来解读数据和分析数据，我们并不把数据当成唯一的和万能的指引。所以，这里面就存在人根据经验和实际情况进行数据分析的过程，而人参与分析的能力是很重要的。
        2、什么样的事情是大数据做不到的，而传统的调查分析方法却可以做到？
                大数据营销的前提是大数据分析，而大数据分析是基于算法的，是计算机固化的模式。也就是说，原来由人对数据分析的那部分工作，现在我们把它约定到算法里了。并且，大数据精准营销是对用户产生的网络浏览数据、分享数据、搜索数据等等行为信息进行分析，从而对人群或事物进行分类，并由此推测人的偏好、兴趣等。
                但是，偏好不等于真实需求，点击不代表一定喜欢。一个人今天在社交媒体上说：“这个产品不错”，就认为他一定喜欢或一定需要这个产品吗？
                机器可以对行为分类，但却不能真正探测到人的心理和真实需求。那么，对于人的真实心理和需求的探测，我们如何做到？这时候，传统的市场调查和分析方法是不可取代的。比如，深度访谈法，比如焦点小组访谈法，投射法等等。这些方法都可以在最大程度上，从心理学的角度去分析和发现，人真正的欲望和本质需求。所以，今天很多大的广告公司、营销公司，他们仍然采用这样传统的方法去了解表面数据背后的故事和原因。而这些故事和原因，是算法目前没办法做到的，必须由人来完成。人和人的交流才能探测人的内心。
                从这个角度来说，大数据并不是万能的，也不能被一味神话，我们必须清晰的认识到它的实质，它能用来干什么，不能用来干什么。我们可以这样理解：人对数据的计算和分析工作如今可能会被机器替代，但是，人的另一部分工作（探测人内心的能力）没办法被算法替代。
                比如，前两年我曾报道过《写书都可以用算法实现自动化了，拿什么挽救出版》这样的新技术，据称目前亚马逊上大量图书都是被算法写出来的，算法会根据人写书的逻辑思路来组织语言。但是，这些书却不能弥补人类情感的缺失，不能表达出社会背景和作者所处环境带来的情感波动等等。
        五、大数据分析或大数据营销面临的真正挑战是什么？        1、数据冗余问题，有没有必要用这么多数据？
                数据源问题，数据质量有无保障，是否是真正所需？
                大数据分析一直被人称颂的优点就是：海量数据的运用。但是，数据是不是越多越好？如何筛选这些数据？如何找到有价值和有用的数据？数据的庞大和冗余会对大数据分析造成什么样的影响？
                对于大数据而言，巨量的数据来源是分析准确性的根本保证。但是，数据量大到一定程度后也面临着很大问题：想要保证准确度就变的困难了。这样就难以保障分析结果的准确性了。大数据分析和预测失败的例子也有很多。比如，最典型和著名的一个便是谷歌预测流感趋势失败的案例。
                报道称，谷歌是基于搜索引擎数据进行的分析，其分析结果与美国疾病防控中心的监测数据相差近两倍。尽管谷歌不断调整算法，但仍不能保证结果的准确性。这就说明一个重要问题：数据源问题。谷歌是基于搜索引擎上的搜索词来分析的，许多搜索词都是无效的，没有任何意义的，所以它们不能真的代表流感趋势，但它们同样被计算在内。这就造成了结果的严重偏差。
                所以，你弄到的这些数据，如何保障它们的确是你所需的？的确是重要的？如果数据源出现了严重偏差，那么你的分析再精准，那么也是徒劳。比如，你花费了大量精力去搜集互联网用户产生的日常分享信息，你对他们的所有信息都进行分析，结果预测出几种消费趋势。但是，这些分享信息中有大量冗余信息，数据精准度很差，许多都是跟消费没有关系的，那么这种分析结果很可能就是不准确的。你按照这种结果进行下一步营销战略当然可能是失败的。
        2、大佬平台的游戏，普通企业难掌握大量数据；难检验可信性
                各大互联网公司平台掌握着用户资源，用户产生的信息当然也被聚集在各平台内。但是，各家公司或平台的数据并不会完全向公众开放。我们只能通过某些工具抓取到网络上散落的信息，但不能准确掌握完整的有实际价值和意义的后台数据和信息。
                而这些海量信息，对于像谷歌这样的大互联网公司来说，就是宝藏。大数据或许只是这些大佬平台的游戏，普通企业比较难参与进来。
                并且，这些平台之间并不互通和开放，他们分析出来的数据结果得不到第三方的验证和检验，我们就无法知道他们大数据分析结果的有效性和可信性。当然，他们将这些数据分析用户自身产品开发和自身发展上还是很有价值的。所以，普通人或普通企业对于大数据的渴望或许是奢望。将来互联网大平台公司或许会售卖大数据分析的服务，这很有可能。并且，未来，个人数据管理领域的创新和创业将会增加，应用也会增多。        
                另外，目前大数据分析的算法还没有标准，也没有公认和统一有效的工具。
                所以，从以上这些方面看，大数据分析和大数据营销还有很长的路要走。我们需要正确、理性地看待大数据。