基于云原生的物联大数据智能服务
摘要：物联大数据已成为当前物联网系统建设的核心，基于物联大数据的涌现智能和应用以及借此对物理世界的反馈和控制是未来物联网系统的建设目标。
本文分享自华为云社区《基于云原生的物联大数据智能服务》，作者：赵卓峰 、丁维龙 、于淇 / 北方工业大学数据工程研究院、大规模流数据集成与分析北京市重点实验室。
前言：
随着智慧城市、工业互联网等产业的迅速发展，物联网应用也正由离散的、示范性应用逐步走向多层次、规模化应用，并且深度融入人类社会的生产生活各个环节。物联大数据指的就是来自设备和传感、体现物理世界状态的一类大数据。如今，每当人们谈及物联网，联想到的已经不只是物理设备连接构成的网络，其背后还存在一个巨大的复杂信息/数据网络。而物联大数据正是这个复杂信息网络的核心之一，区别于传感器、传感网等传统物联网这些“前端”内容，而基于物联大数据的涌现智能和应用以及借此对物理世界的反馈和控制，正逐渐成为物联网关键构成的“后端”。
当前，物联大数据相关的物联网“后端”自主产权平台、工具和应用框架是我国当前短缺的核心软件，而这些不只是工业互联网、智慧城市、5G新型应用的基石，也是国家规划发展的多个高精尖产业的基础。物联大数据变化快且频度各异，随时间变化价值会衰减且关联关系会变化，其动态集成、流批数据融合、全生命周期管理、跨域共享和有效利用、众多工具软件集成都是共性痛点问题，造成应用开发难、更新难、互通性差、运维成本高、“信息孤岛”现象加剧。这些都要求我们开辟新的思路和技术路线来应对未来物联大数据产业及应用的迅猛发展。
物联大数据智能服务
从物联网“后端”来看，物联网可以看作是一个基于互联网的，以提高物理世界的运行、管理、资源使用效率等水平为目标的大规模复杂信息和智能服务系统。由于物联网“前端”在对物理世界感应方面具有高度并发的特性，并将产生大量引发“后端”深度互联和跨域协作需求的事件，从而使得上述物联大数据智能服务表现出以下性质：
不可预见性。对物理世界的感知具有实时性，会产生大量不可预见的事件，从而需要应对大量即时协同的需求；
涌现智能。对诸多单一物联网智能应用的集成能够提升对物理世界综合管理的水平，物联网“后端”是产生放大效应的源泉；
多维度动态变化。对物理世界的感知往往具有多个维度，并且是不断动态变化的，从而要求物联网“后端”具有更高的适应能力；
大数据量和实效性。物联大数据具有海量、实时、不间断、价值不一等特征，对物联网后端信息处理带来分布式、可伸缩运行支撑环境要求。
近年来，虽然云计算、大数据、人工智能技术发展蓬勃，但仍存在着软件技术离散，系统集成化能力不足，数据共享和应用开发手段不够灵活、可控和易用，以及新兴技术和模型与领域业务结合方法缺失等问题。具体地，如何有效地汇集、组织、共享、利用这些物联大数据成为各类新型智慧行业建设的关键。
相对于以人为中心的互联网数据，物联大数据面向物理世界，来自不同类型的设备，具有高吞吐量、时变连续、数据多源、时空相关、关联复杂、价值密度不均衡等鲜明特征，在具有巨大潜在价值同时也给应用建设带来了巨大困难，突出表现为三方面的挑战性问题：
（1）现有软件体系结构与集成需求失配问题，尤其是离散的软件栈和复杂运行支撑环境难以集成；
（2）传统系统构建模式和物联网复杂系统新特征的矛盾问题，特别是不确定性大数据应用需求难以快速响应；
（3）行业应用实施难度大、代价高、周期长的问题，尤其是行业用户仍旧难以有效参与和交互，领域知识仍难以复用。
综上所述，实时感应、高度并发、自主协同和涌现智能等特征要求从新的角度审视物联网“后端”信息基础设施，对当前云计算、云原生（包括容器、微服务、服务网格等）的研究提出了新的挑战，需要有针对性地研究物联大数据特定的应用集成和智能服务问题、体系结构及标准规范，特别是大量高并发事件驱动的应用自动关联和智能协作问题。
云原生下的物联大数据智能服务研究趋势
云原生是云计算的热点发展方向，其以容器、微服务、DevOps等技术为基础建立了一套新的云技术产品体系，强调应用的设计、实现和部署运维等方式应充分适应并利用及发挥云计算平台分布式、按需服务、弹性伸缩等特点。云原生可以物联大数据智能服务带来诸多必要的支撑和有益的基础。为此，我们需要有针对性地研究云原生背景下物联大数据特定的智能服务、应用集成、体系结构及标准规范等问题，特别是大量高并发事件驱动的应用自动关联和智能协作问题。
云原生下物联大数据运行环境
物联大数据处理涉及流式处理、批处理、流批混合处理等不同模式，同时需要大量结合新兴人工智能技术的物联大数据分析，这些处理和分析依赖MapReduce、Spark、Flink等不同计算模型和多样化机器学习模型，需要复杂的软硬件运行支撑环境，当前这些环境也大都没有采用微服务的架构设计。因此何建立一套融合物联大数据处理和分析需求的容器云及微服务管理与调度系统就成为一个关键挑战。
云原生下物联大数据服务体系
在物联网系统中将软件的实现与运维和用法相关部分（称为物联网服务）剥离，并纳入到云原生基础设施中（也是云计算的本质所在），这是大势所趋。针对物联大数据需求特征的优化策略、优化方法和涌现智能也将更多地以服务及服务组合的形式体现。如何设计与提供物联大数据服务已成为构建物联网应用和进行业务演算的基石。这些物联大数据服务的新形态，进一步推动云原生下服计算等相关学科的发展。
云原生下物联大数据系统的超级自动化
物联网智能服务发展期望能够实现大量高并发事件驱动的应用自动关联、智能协作和主动服务。超级自动化被Gartner连续三年列为战略级趋势，其在物联网背景下可以理解为通过一系列技术打通数据流、控制流、事件流、协作流，打破碎片化物联网数据及应用的壁垒和孤岛，有助于帮助“数字孪生”的真正落地。如何在现有DevOps方法和服务编排技术基础上，使能最终用户“编程”实现超级自动化成为一个发展热点。
基于云原生的物联大数据智能服务平台
为了应对上述发展，需要探索基于云原生的物联大数据智能服务平台，在云原生背景下就去中心化的平台体系结构、主动式物联网数据服务的理论与模型、流批融合处理的云原生技术、基于行业服务库的集成应用开发框架等方面开展研究。物联大数据智能服务平台以物联大数据的接入、管理、计算、应用和维护的“接、管、算、用、维”的生命周期为主线进行设计，涵盖了多源异构物联大数据的接入与汇聚服务、存储与共享服务、混合处理计算与分析服务、云原生基础设施服务等内容。总体的平台架构设计如图1所示。
云原生基础设施服务
物联大数据智能服务平台主要核心功能定位如下：可根据运行时负载实现数据接入、存储、计算、分析等服务的自动部署与迁移，数据驱动资源虚拟化，通过虚拟机/容器的调度与优化，实现性能快速弹性伸缩。依托云原生技术手段，基于微服务架构来提高整个系统的灵活性和扩展性，借助敏捷方设施服务法、DevOps支持持续迭代动态调度、优化资源利用率。
多源异构数据接入与汇聚服务
应对多源异构数据的大规模并发、高吞量接入和多样化汇聚等挑战，支持多源数据并行接入对接收到的实时通信数据进行校验与解析，分拣不同类型实时数据，采用发布/订阅消息模型，通过总线实现了数据汇聚，并与存储与共享服务及计算服务间的数据传输。通过云原生实现对并发的伸缩管理与可靠性保障
物联大数据存储与共享服务
通过NoSQL存储实现海量的结构化数据和相关文件的管理，对历史数据的快速查询及提取。支持海量数据的实时存储与维护，面向多用户的数据进行组织、索引与管理。通过云原生实现对存储的伸缩管理与可靠性保障。
物联大数据计算与分析服务
支持基于大规模物联感知数据的批量计算和流式计算，提供透明化并行计算编程模型，支持多计算任务的调度执行并提供不间断计算能力，大幅减少感知数据计算任务的开发复杂度和开发周期。通过云原生实现对计算的伸缩管理与可靠性保障。
物联大数据开放接口及开发框架服务
能够按照不同的物联网应用领域表示和组织相关的服务资源，同时根据业务协作需求实现跨域的服务自动关联，并支持用户快速实施基于感知数据的创新应用与服务交付，支持应用的快速开发与部署执行。通过基于云原生的开放接口实现的物联大数据应用快速发布与迭代的DevOps方法。
我们的工作
社会各类基础设施的发展都经过上百年还未完善，同样可以断定，物联网“后端”的发展完善也是一个长远的事情。因此，人们不能把云原生的愿景当作现实。我们建议在考虑长期战略目标的同时，以价值和典型应用为牵引，先建立特定领域中统一运营的“行业物联网云原生”和第三方（非物联网应用建设方或数据所方）运营中心，以实现资源优化利用以及跨域的资源共享和应用集成。作者所在的大规模流数据集成与分析技术北京市重点实验室，自2011年开始，针对物联网大数据高吞吐量、时变连续、数据多源、时空相关、关联复杂、价值密度低等特征，在着力提升流批融合的物联大数据集成化处理能力的同时，以支持物联网大数据的动态集成与可控共享为重点，创新性地提出了利用服务提升价值密度和可控性、利用服务共享实现数据共享、利用服务超链实现主动式事件路由和联动、利用行业服务库不断学习业务模式的DeCloud路线，并重点研发面向物联网背景下行业大数据“接、管、算、用、维”全生命周期的物联大数据智能服务平台DeCloud，形成具有自主知识产权的软件产品体系。同时，特别结合交通（包括城市、城际和海上交通，如图2所示）和电力（包括电厂、电网）两个典型行业领域开展行业物联网大数据开发框架和实施方法研究，尝试打通了从“离散数据汇聚”到“集成化数据服务提供”到“基于服务的探索分析”再到“行业业务模型建立”的行业物联网大数据价值链。
小结
物联大数据已成为当前物联网系统建设的核心，基于物联大数据的涌现智能和应用以及借此对物理世界的反馈和控制是未来物联网系统的建设目标。云原生作为云计算的新兴发展方向，其分布式、按需服务、弹性伸缩等特点可以对物联大数据智能服务的发展提供诸多必要和有益的支撑。为此，我们需要有针对性地研究云原生背景下物联大数据特定的智能服务、应用集成、体系结构及标准规范等问题，从云原生下物联大数据运行环境、云原生下物联大数据服务体系、云原生下物联大数据系统的超级自动化等方面开展研究，积极探索基于云原生的物联大数据智能服务平台建设与应用验证工作。