[转载]大数据扫盲贴

火龙果

“大数据”这个词，想必现在谁都不陌生。我等小菜鸟还不太懂什么是大数据，怎么处理大数据，大数据对我们有什么用，怎么用大数据实现目的创造价值。
找到一篇通俗易懂的扫盲贴，大家一起来看看吧~
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
说过要写一篇关于大数据的文章
大文章我写不来
写些我了解的吧

一、技术层面
大数据分析大致经历过三个阶段：
1.HPC 高能运算阶段，主要是靠HPC系统进行数据分析；
2.大数据分布式系统，该系统独立于HPC系统运算，将大数据分布于各资源中进行分析，再将结果进行整合；
3.in memory computing，即基于内存的运算，该阶段将数据读入超级服务器中进行分析，对硬件软件的要求都非常高，也是目前大数据分析的主要发展方向，市场领先的公司有SAP，ORACLE等。
从以上三阶段，我们可以看出来，大数据分析从来不是简单的硬件或者软件问题，从一开始，就是一个整合的解决方案，因为数据体量庞大，对环境要求非常高。

二、什么是大数据
比如：社交网络（微博）每天的海量发帖；银行系统每日的海量业务，等等。

三、如何做大数据分析
大数据分析主要分为三个步骤：
1.探索性数据分析（交互式分析）：因大数据与普通数据不同，没有先验模型可以借鉴，因为需要对数据进行探索性分析，尝试各种分析方法，找出各参数间关系，确定主因子；
2.在探索性数据分析的基础之上，建立模型。
3.预测、优化模型，进行业务决策。
目前后两个步骤以数据挖掘为主，目前最主要的数据挖掘工具有：决策树、神经网络等。

四、实际案例
比如：
1.物流企业对库存数据进行分析，进行库存优化及物流优化；
2.电商根据消费数据对销售进行预测，对库存、采购进行预测及优化；
3.大数据分析不仅仅能够用来优化业务，还可以拓展出新的业务。比如采用适当过滤参数（比如：在微博上提到某个品牌立刻会有小秘书提示，这就是个过滤设置，就是大数据分析），筛选出适当的目标人群，开发出新的业务。该类型数据分析的关键点是如何设置过滤参数。

五、最重要的一点
如果没有这第五点，以上四点都无用。第五点是数据采集、数据清洗、数据处理，也就是：这些数据从哪里来？有了数据，决定哪些数据才是必须的？哪些数据是关键数据？如何进行数据处理？
其实大部分业务部门的问题是出在这里。没有数据，哪来的数据分析呢？
所以我看到分析大数据的各种观点、文章，对数据采集、清洗、处理这些形而下的问题避而不谈，开口闭口就是大数据、算法，其实大数据分析还是数据分析，方法脱离不开数据分析的方法。不会因为概念时髦，就变成个完全不同的东西。
把第五点做好，后面的设计都是水到渠成的。关键是，你从哪里得到数据？你的目标为什么要给你数据？这是业务模型执行的关键点。
技术永远是为执行服务的，不可能变成执行本身。
========================================================================
就写这点吧，我也不是专家，只是碰巧在这个行业工作，了解一点，参加过一些大数据方面的专业培训。权作扫盲帖。