登录注册   忘记密码

【Big Data In Military Applications】大数据在军事应用中的巨大收益

    根据SNS研究部门的一项新报告《大数据市场:2017 - 2030年 - 机遇、挑战、战略、行业纵向和预测》,大数据解决方案的投资预计将在未来四年内以约10%的年均复合增长率增长,大数据投资将在2017年将达到570亿美元,到2020年底达到760亿美元。

    随着来自移动设备、网络、社交媒体、传感器、日志文件和交易应用等实时数据的激增,大数据应用已经找到了一种向现代战争提供丰富多样的关键任务数据的方法。

640.jpg

    企业采用数据挖掘技术的大数据解决方案正在被军方采用,从无人机、自动化网络安全系统、恐怖分子数据库和其他来源收集的许多不同类型的数据中获取更多的信息。该技术不仅可以帮助战场上的战士,还可以用于改进从软件开发到装备维护的各种领域。


    大数据市场规模

    根据SNS研究部门的一项新报告《大数据市场:2017 - 2030年 - 机遇、挑战、战略、垂直行业和预测》显示,大数据解决方案的投资预计将在未来四年内以约10%的年均复合增长率增长,大数据投资在2017年将超过570亿美元,到2020年底达到760亿美元。

640 (1).jpg

    该报告还指出,将近三分之一(30%)的大数据工作将通过云服务进行处理。


    大数据投资

    大数据技术包括分布式计算系统、分布式文件系统、大规模并行处理(MPP)系统和基于网格计算的数据挖掘等。美国国防部在2017财年预算中要求投资“大机制”,致力于生物学、赛博、经济学、社会科学和军事情报的计算智能自动化。根据预算,DARPA预计其与大数据相关的计划投资将从2015年的约2.16亿美元上升至2017财年的近2.69亿美元,计划增长24.5%。

640 (2).jpg

    2014年,美国国防预先研究计划局(DARPA)宣布了一个名为“信息挖掘与理解型软件开发”(MUSE)项目。该项目寻求将软件开发的常规方法与机器学习的基本理念用于一个不断发展壮大的开源软件库,以期通过这种方式对当前编写与维护软件的方式进行彻底地反思,最终提高军用软件的质量。DARPA希望通过MUSE项目开发能够管理信息的“大代码”软件包,它不会在大数据集的重压下变形或崩溃,该项目针对的大数据,是2012年奥巴马政府宣布的技术计划核心。

640 (3).jpg

    Mining and Understanding Software Enclaves (MUSE)

    各种五角大楼的大数据倡议包括国防威胁降低局(DTRA)对危险病原体的跟踪研究、DARPA直接领导的针对癌细胞进行的卫生数据挖掘,DTRA基于数据挖掘和专利分析的组合(用以跟踪可能改变未来军事装备及规划的“颠覆性技术”,以及追踪大规模杀伤性武器的扩散)。


    大数据工具与技术

    1.Apache 面向对象数据技术,Apache OODT (Object Oriented Data Technology):该项目始于1998年美国国家航空和宇航局的喷气机推力研究室,它使用结构化的基于XML的捕获处理流水线,非程序员可以理解和修改,以创建、编辑、管理和配置工作流和任务执行。

640 (4).jpg

    Apache OODT (Object Oriented Data Technology)

    OODT还允许在可扩展的计算基础设施上远程执行作业,以便使用云计算和高性能计算环境,将计算和数据密集型处理集成到OODT的数据处理流水线中。


    Apache OODT正在NASA的地球科学、行星科学和天文学的许多科学数据系统项目中使用,例如月球测绘和建模项目(LMMP)、NPOESS预备项目(NPP)Sounder PEATE Testbed、轨道碳观测站- 2(OCO-2)项目,以及土壤水分主动被动任务试验台。此外,OODT还用于DARPA MEMEX和XDATA两个项目的大规模数据管理和数据准备任务。


    OODT的主要特色有:

    对分布式资源的透明访问

    数据探知与查询优化

    分布式处理与虚拟档案

    2.Apache Bahir:提供对分布式分析平台(如 Apache Spark 和 Apache Flink )的扩展。Apache Bahir 最初是从 Apache Spark 项目中提取的,现已经作为一个独立的项目提供,以提供不限于 Spark 相关的扩展/插件、连接器和其他可插入组件的实现。通过提供多样化的流连接器(streaming connectors)和 SQL 数据源扩展分析平台的覆盖面。它为大数据处理提供支持,并为其他相关的分布式系统、存储和查询执行系统提供附加扩展/插件。

640 (5).jpg

    3.基于条件的维护(CBM):美国空军官员、数据科学家和其他人员正在利用先进的数据处理和分析工具,包括软件和硬件解决方案,简化工作流程,提高效率和生产力,跟踪和管理资产,并使用基于条件的维护(CBM)取代计划/时间维护 ,如此一年可节省150万美元。

640 (6).jpg

    具体来说,空军官员选择使用Teradata Aster平台更好地管理航线维护和飞机库数据、库存。


    4.Hadoop软件:一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。

640 (7).jpg

    Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分区成许多小部分,而每个部分都能在集群中的任意节点上运行或重新运行。此外,Hadoop还提供了分布式文件系统,用以存储所有计算节点的数据,这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计,使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据。现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有Apache Hive和Apache HBase等等。


    5.组织关系和联络分析仪(ORCA):该软件由美国军事学院开发,最初是用于军事行动来确定叛乱分子网络,目前正在美国国内使用。美国军方将利用国内测试作为未来战时应用软件供应的一种方法,同时也可为警察系统提供一种宝贵的免费工具,最终可以实现在美国国内更广泛的部署。

640 (8).jpg

    6.Tableau:Tableau为大数据时代找到事半功倍的解决方法,它结合了数据挖掘和数据可视化的长处,使用者可以在电脑、平板等多种行动工具上透过最简单的拖曳、释放完成原先复杂的分析程序,强大的视觉化互动界面,让用户可以随心所欲的定制想要的图表呈现方式,或透过仪表板(Dashboard)的功能多方监控,在安全的管理构架下在企业内部分享。

640 (9).jpg

    7.D3.js:D3 的全称是(Data-Driven Documents),顾名思义可以知道是一个被数据驱动的文档。听名字有点抽象,说简单一点,其实就是一个 JavaScript 的函数库,使用它主要是用来做数据可视化的。JavaScript 文件的后缀名通常为 .js,故 D3 也常使用 D3.js 称呼。D3 提供了各种简单易用的函数,大大简化了 JavaScript 操作数据的难度。由于它本质上是 JavaScript ,所以用 JavaScript 也是可以实现所有功能的,但它能大大减小你的工作量,尤其是在数据可视化方面,D3 已经将生成可视化的复杂步骤精简到了几个简单的函数,你只需要输入几个简单的数据,就能够转换为各种绚丽的图形。

640 (10).jpg

    8.Power BI:Power BI 是一套业务分析工具,用于在组织中提供见解。可连接数百个数据源、简化数据准备并提供专门分析。生成美观的报表并进行发布,供组织在 Web 和移动设备上使用。每个人都可创建个性化仪表板,获取针对其业务的全方位独特见解。在企业内实现扩展,内置管理和安全性。它允许开发人员以非常精确的方式创建可视化和显示数据,这样就不会在其他BI工具中找到此类工具。它可以用最少的努力和使用现有的技能来完成。Power BI桌面有各种各样的标准可视化,其中包括人们通常需要的一系列报告。这些插图基本上可以通过Power BI桌面或Power BI产品创建。然而,总是有各种各样的图形、图表或表格需要得到特定的期望结果的条件。这些类型的定制可以是内部开发或开发人员可以检索其他定制的可视化视觉画廊。

640 (11).jpg

    9.R语言:R语言是一种自由软件编程语言与操作环境,主要用于统计分析、绘图、数据挖掘。R本来是由来自新西兰奥克兰大学的罗斯·伊哈卡和罗伯特·杰特曼开发(也因此称为R),现在由“R开发核心团队”负责开发。R基于S语言的一个GNU计划项目,所以也可以当作S语言的一种实现,通常用S语言编写的代码都可以不作修改的在R环境下运行。R的语法是来自Scheme。


    R的源代码可自由下载使用,亦有已编译的可执行文件版本可以下载,可在多种平台下运行,包括UNIX(也包括FreeBSD和Linux)、Windows和MacOS。R主要是以命令行操作,同时有人开发了几种图形用户界面。

640 (12).jpg


    国防大数据的未来趋势

    据美国国防部导弹防御局大数据解决方案架构师John Murphy(将于6月26日在2017年全球国防大数据峰会上发表演讲)介绍,未来国防大数据将体现以下几个趋势:

640 (13).jpg

    1、大数据VS关系数据:每个使用案例或业务案例都需要了解它从何、为何发起。但这种趋势与传统的关系数据结构及其支持的基础设施和面向通用大数据结构的趋势不同。

    2、防止数据丢失的数据管理问题:“大数据”需要应用更多传统的数据成熟度和验证过程,以确保最好的数据价值能够实现。

    3、数据沼泽V数据湖:出现大数据的两种方法。


    更快速的部署和迭代周期几乎只专注于使用数据和信息“原样”,用于更为原始和尽可能接近原始数据源的分析。由此产生的数据集趋向于更多的“数据沼泽”环境,对采集、质量和维护的规则很少。


    第二种方法具有更传统的数据管理实践,注重标准化、清洗、可审计性要素,一致性和全过程管理。

   大数据分析公司

1.jpg

2.jpg

3.jpg

您的评论:

0

用户评价

  • 暂无评论