马航M370航班失联搜救中的统计数据分析（转）（一）

寒泣露

大数据时代如何活用数据可视化、大数据与众包、群体智慧、贝叶斯方法等为失联搜救出谋献策？请看下文。 一、信息可视化助公众了解事件马航事件牵动全球关注。在马航事件发生之后，很多公众几乎每天第一时间关注媒体报道——看一看飞机找到了没有。回顾在马航事件发生后各界媒体发布的图表、报告和多媒体新闻，其信息之多和繁杂致使公众没有足够时间和精力去了解事件进展。这时如果能用几张简洁明了的图表把新闻内容展示出来，往往能对公众了解事件进展起到事半功倍的效果。这就是信息可视化，或称为数据可视化。我们根据信息的内容分三部分介绍数据可视化在马航事件信息传递过程中的作用。 直观了解事件进展我们或许很难用三言两语把马航事件的来龙去脉描述清楚，如果把马航事件用文字表述出来亦须耗费不少篇章。单纯的描述有时候并不利于公众了解事件。相反地，信息可视化则可直观地刻画马航事件。图1-1为马来西亚最初发布的关于马航MH370航班失联的消息。图1-2为马来西亚其后发布的马航MH370航班被侦察到的地理坐标。图1-3为最终被搜救队伍估计的马航MH370航班最后一次向卫星传出信号的可能位置。三幅图通过把相关地理位置刻画在二维平面，并且把关键的时间、地点、区域在二维平面标明，使得公众可以很直观地了解马航事件，非常有效地、避免误导地传递了关键信息。公众甚至无需阅读图中注释即可了解马航事件梗概。 图1-1 马航MH370客机首次宣告失联 图1-2 马航MH370客机关键坐标 图1-3 马航MH370客机最后一次向卫星传出信号的可能位置 迅速了解搜救区域目前，越来越多证据表明失联客机可能在印度洋中，因此，一个非常自然的疑问就是飞机残骸到底在哪里？卫星数据成为回答这个问题最受重视的信息来源。由于非专业人士很难读懂原始卫星数据，数据可视化可以帮助公众迅速了解搜救区域。图1-4展示了有关马航MH30航班的搜救区域。在图1-4中，圆点标记出疑似残骸所在的区域，圆点的颜色代表不同的发现日期。将有关疑似残骸的信息可视化到图表并配上适当的解释，可以帮助公众在短时间内了解正在被搜寻和将要被搜寻的区域以及已经搜寻到的疑似残骸。可视化方法显然比冗长的文字描述有效很多。此外，根据卫星对南印度洋上浮标的追踪数据，图1-5刻画了在3月8日至3月24日期间残骸的移动轨迹。由图1-5我们可以得到一些或能有助搜救的推测，譬如，不同区域疑似残骸的移动趋势截然不同，相比北端疑似残骸而言，南端疑似残骸向东运动的趋势更为明显等。 图1-4 马航MH370客机搜救区域 图1-5 疑似残骸标记物在三月八日至三月二十四日的移动轨迹 了解搜救条件搜救条件，意为搜索救援行动的基础，包括搜救设备，搜救区域的气象情况等等。由于媒体报道较少，公众对搜救条件的了解相对少。事实上，大洋气象复杂，海洋的搜救条件往往比陆地的搜救条件要恶劣，因而此番搜救是一个巨大考验。图1-6的图（a）和图（b）分别描述了3月16日南印度洋的风速和浪高。在两幅图中，颜色越深的区域，风浪越小，颜色越接近白色的区域，风浪越大。综合图（a）和图（b），搜救海域位于南印度洋风浪最大区域的西北角，并且在图中部分搜救海域泛白，可见搜救条件恶劣。 图1-6 三月十六日（a）相关搜救海域的风速；（b）相关搜救海域的浪高 二、大数据和众包当像飞机失联这样的突发事件发生时，搜索的第一步当然是要把它失联前所有的数据信息都收集在一起分析。航空公司，各国政府，各国军方的各种飞行数据，雷达数据，通讯数据都被用来帮忙。对这些数据的分析我们会在后面详细介绍。虽然，我们会理所当然地认为数据短缺似乎并不应当发生在这个大数据时代。但是，由于数据量大，数据源多，噪声大，从大数据中找到有价值的信息有可能变得更难。众包平台（Crowdsourcing）应运而生。 众包是什么呢？根据维基百科，“众包”这个概念最早出现于2005年。“外包”作为“众包”的姐妹词更为人熟知。“外包”指把工作任务交给非本公司的组织或者个人完成。“众包”，顾名思义，指把工作任务交给广大人民群众去完成。当今众包几乎都由网友完成。众包所交付的任务可以有任意的形式和内容。这些任务可以具体到找图片或编译代码，也可以是寻求一个答案或一个主意。例如，网友在知乎提问，世纪佳缘把其实际自动配对的难题放到网上作为建模竞赛，乃至有些人在微博上贴出失物照片以寻找失主，都属于广义上众包的范畴。 3月8日，DigitalGlobe公司在马航MH370航班离开马来西亚海岸几个小时后，调整了其高分辨率卫星群的位置，以获取尽可能多的图片数据。3月10日，DigitalGlobe公司把这些图片放到了众包平台Tomnod上，首个小时图片访问量达六万个。每当突发事件出现，众包平台就会推出活动专页，让热心网友在大量实时高分辨率卫星图片中寻找线索。在马航事件中，全民找飞机就是一次非常典型的众包案例。 DigitalGlobe公司卫星群中的5颗卫星，每天环绕地球75圈。这些卫星最初都用于与人道主义相关的目的。例如，如图2-1所示，这些卫星曾用于追踪上帝抵抗军在民主刚果共和国、苏丹南部以及中非共和国整个土地上的大规模动向，以预测和挫败上帝抵抗军的下一次攻击。后来这些卫星被越来越多地用于协助处理突发事件。去年，DigitalGlobe公司曾经提供覆盖了几千万平方公里的图片以寻找一架在美国爱达荷州坠毁的轻型飞机。如今，众包几乎成为了航空意外等意外事件的首要解决途径之一。一位前Tomnod员工曾表示，在马航事件发生伊始，Tomnod就收到来自美国政府的非官方请求，甚至收到来自保险公司的请求——各界都想知道关于马航事件的众包专页将何时上线。 在DigitalGlobe公司发布至Tomnod众包页面的卫星照片中，一个像素覆盖50厘米的土地空间或水域空间。 在NASA陆地卫星提供的卫星照片中，一个像素却要覆盖大约30米的土地空间或水域空间，即一架喷气机可能在图像中只占用一个像素。 图2-1 苏丹国，苏丹港，2011年10月8号, DigitalGlobe, satellite GeoEye-1 DigitalGlobe公司几乎在获知马航事件的第一时间就展开了他们的行动。他们专门设立一个首窥（First Look）小组负责随时随刻对推特和新闻进行实时监控，以应对马航事件以及类似事件。首窥小组成员首先要决定卫星该飞往何处，然后他们开始调整系统让卫星到位。像地震这类事件，需要灾难发生之前的数据以期在搜救中进行对比。像马航事件，则需要根据新闻对正确监测位置进行推测，以安排卫星。“他们像使用谷歌地图一样搜寻地图，查完一个，然后继续到下一个区域，并尝试检查尽可能多的图片。我们时刻都有几百几千人做这一切。但这项任务是非常困难的，你需要小心地区分云，波浪和残骸，以期找到一两个可能有价值的点。当你真的去找图片的时候，你会惊奇地发现许多云彩看起来有多像船。我们用一组算法来对人群意见进行排名，看看那些地方大家都同意有问题.例如，如果100人中99个人都点击了一个有趣的小像素，这个像素就是真正有价值的。在这里，该算法通过数据进行筛选，看看哪些图片是可靠的，哪些不可靠，所以也许不应该得到同样的重视。之后，这些筛选出来的图片再由我们的分析师进行细查，并派人去现场搜救。” 众包并非万能，却能体现“众人拾柴火焰高”、“一方有难八方支援”的人道主义精神。Tomnod社区，作为一个众包平台，被认为是一个高尚的社区，由于其习惯于在寻常的大片陆地、冰原或水域寻找不易被察觉的关键图片。DigitalGlobe公司方面曾表示：“就像爱达华州空难一样，今天我们正在大海捞针。检查所有像素是很困难的，更何况我们正在寻找的东西没有确定特征。我猜想在这个阶段——我也希望我们是错的 ——我们找的东西看起来不像普通飞机。就是为什么我们要请求公众的帮助。” 众包这么好，以后是不是啥人也不要请，薪水也不要付了呢？当然不是！网友参与，纯粹出于个人兴趣，干活的质量和耐心，纯靠个人责任心。诚然网友里面“油菜花”很多，可是活儿的质量不能保证。因此众包仅限于那种大量重复性劳动，并且不需要太多技能，一般有一台电脑一根网线就能干，比如这次全民找飞机。顺便说Tomnod上那个专页现在还在，感兴趣的网友可以加入进去，期望能找到飞机残骸或者燃油泄漏的痕迹，据悉直到现在还有几千全球网友在继续这项工作。同时，如何客观分析众包平台上得出结论和数据也是统计学家关心的问题。