高文：城市大脑2.0已来，数字视网膜是核心驱动力

    【CPS中安网 cps.com.cn】 2020年年初国家提出的“新基建”，为技术变迁和行业发展，带来了新的时代机遇，而智慧城市也成为全国城市发展变革的重要一环。

城市大脑是现有智慧城市中的一个核心系统，它将算力及数据汇聚到一起，加上算法，就能发挥巨大的作用。

比如，将网络数据、政务数据、社会数据等等，汇集到一起，然后提供一个云计算服务，就可以提升政府效率、加速企业创新、促进生活便捷。

在智慧城市系统之中，汇集了各类各样的数据，其中有90%左右的数据都与图像、视频相关联，如何处理好图像和视频数据，在城市大脑系统中是非常关键的要素。

那么，现在城市大脑系统的发展到了哪个阶段？从系统1.0到2.0，哪些痛点被解决了？技术又有哪些创新呢？

在8月7日第五届全球人工智能与机器人峰会（CCF-GAIR 2020）上，中国工程院院士、鹏城实验室主任高文，分享了主题为《城市大脑2.0-边端云处理分工的人工智能赋能系统》的报告。

高文院士在报告中，从城市大脑1.0的现状、问题，谈到城市大脑2.0的创新、优势，以及智慧城市发展的关键技术和能力。

1、城市大脑1.0的现状

城市大脑是智慧城市的核心系统，是算力和数据的汇聚地，是生产力和生产资料的集中展现。

它也是超大规模的人工视觉系统应用，通过数据的汇聚、治理、计算、分析、挖掘和调度，完成数据的全流程加工，面向行业提供不同层次的产品和服务。

所以，视觉认知计算（VCC）是城市大脑的核心。目前，视频存储、分析与识别都在云上完成，分析识别的视频路数与云服务器的算力成正比。

在现有的系统中，数据基本以图像与视频两种形式进入:

第一种模式：摄像头就是一个简单的传感器，捕捉到图像或者视频以后，进行一个编码压缩，传送给云端，云端将它存储起来。

也可能将它解码之后进行分析，识别出人脸、车辆，或者进行交通数据的分析等等，这是一种信息或者数据感知的模式。

另一种模式叫做智能终端，在摄像头这一端就把人脸或者车牌等信息识别出来，识别出来的信息被传送到云端，直接可以进行分析使用。

这两种模式是目前城市大脑中数据使用的主要模式，当然这两种模式都多多少少存在一些问题。

如果仅仅作为一个感知终端，后面如果需要调用，除了解码以外，还要进行特征提取等工作，需要大量的计算程序，这些计算非常耗费云计算的算力资源。另外，智能终端还无法识别出未被指定的人或物。

所以，城市大脑需要一个更好的系统，这个系统不仅云上算力资源需求不多，而且可以完成一些未经规定的动作。

换句话说，以云计算为核心的城市大脑1.0目前存在的一些问题是，系统各个部分分工协调不太好，系统成本比较高，响应速度慢，数据的可利用度比较低。

如果要从1.0演进到2.0，首先要面临一些挑战：

第一，海量数据≠大数据

现在的城市大脑1.0，它是一个具有海量数据的系统，但是这个海量数据并不等于大数据，因为90%的海量数据都是没有结构化的，只是进行了一个简单的编码压缩。

第二，数据海量 vs 低价值

另外，这些数据的价值也比较低，它不是结构化的，你无法在上面进行分析，这也是为什么很多智慧城市的视频数据，一段时间之后就被覆盖了。

高文院士表示，问题的实质是现有城市大脑里的数据表达是不到位的。

如果只是在感知数据后，将编码压缩送到云端，它还是一个非结构化的数据；如果能把它识别出来是张三、李四，或者车牌号多少，虽然它已经结构化了，但是它是过度结构化的，对于没有规定的任务就无法执行了。

所以需要一种泛化能力更强的数据表达，这个数据的表达是一个机缘表达，用这些机缘既可以完成现有的任务，也可以完成现在还没有定义的一些任务。

这些数据表达想要得到一个比较好的结果，整个系统就必须做得好，包括系统的智力、性能（响应时间、并发、吞吐）、效率（耗电多大）等等。

如果某套系统可以通过评测，那就代表这套系统比较智能化了。

城市大脑1.0系统的弊端在于：它的智能代价比较高，要么是造价高、要么就是耗电高。

如果要将城市大脑1.0升级到2.0，高文院士表示，可以借鉴人的视觉系统，比如人的视网膜、视觉通道、大脑分工是非常协调和高效的。

从视网膜传到大脑之间，是一个特征压缩，被称为：特征编码，但这个编码和现在传统的图像编码并不一样，它是一个特征压缩编码的东西送到大脑中去。

城市大脑2.0就是借鉴这样一个系统提出的一个体系架构，不仅能传特征，还能传压缩图像。这个体系架构需要数字视网膜的技术及其标准化，现在这些思路、技术、标准化都逐步到位。

2、城市大脑2.0：数字视网膜

高文院士认为，城市大脑2.0是一个边、端、云合理分工的系统，而把边、端、云结合的最核心的技术叫做数字视网膜，它是整个城市大脑2.0里面一个基本架构，又被称为仿生视网膜的计算架构。

数字视网膜目前有8个特征可以定义它：

　　1、 使用全网统一的时间；

　　2、 可定位，可标识，提供精确地理位置，如GPS、Baidou北斗；

　　3、 视频编码：为了存储和离线观看的影像重构；

　　4、 特征编码：为了模式识别和场景理解的紧凑特征表示；

　　5、 联合优化：模拟生物视网膜，支持视频流与特征流联合编码优化，城市大脑有两个码流，视频编码压缩流和特征编码压缩流，这两个码流会捆绑到一起进行传输，所以要有一个优化策略，把这个带宽到底分多少给视频编码、分多少给特征编码，通过一个联合优化，使得整个系统达到最优。

　　6、 模型可更新：支持端/边深度学习模型的自适应迁移、压缩、更新与转换；

　　7、 注意可调节：模拟视觉注意机制，在端设备、感知网络等层面实现动态注意调节；现在的摄像头没有“注意”，只能人工拉近拉远调节它，做不到自动的注意可调节。

　　8、 软件可定义：支持端边云协同计算与推理，实现特征实时汇聚与视频按需调取。系统要想升级，可以通过软件定义的方法，对系统自动升级。

要想把数字视网膜技术全部用起来，这里面有一些使能技术。

第一个使能技术，是视频编码。

现在做城市大脑、监控系统都离不开视频编码，摄像头里面都有一个视频编码芯片，视频编码芯片用的标准，最早期是H.264，或者用AVS的编码标准。

最近开始使用H.265或者AVS2的标准，未来不久就会用上H.266和AVS3的标准，这个标准差不多每10年就会更新一代，效率每10年就会提高一倍。

为什么能够做到编码压缩？一个视频就是一个图像序列，图像序列里面包含了很多数据的冗余，基本上有三大类冗余：一类是和空间冗余有关的，一类是和时间冗余有关的，另外一类是和编码冗余有关的。

现在整个视频编码里面用的算法，叫做混合视频编码架构，这个混合就把刚才三种主流的冗余用不同的算法去掉。

比如说为了去除空间冗余，一般我们采用正交变换，比如说DCP变换等把它去除掉。

为了去除时间上的冗余，就是帧和帧上的冗余，一般我们会采取预测编码，比如说各种各样的滤波器，把帧间的冗余去除掉。

为了使得编码的分配最符合熵的定义，可以使用信息熵编码来去除编码上的冗余。

这三个冗余都去除干净了，整个视频流里就可以压得很小，只有有用的信息、有用的数据甩出去，这些冗余都被挤压掉了，这是视频编码。

要想把视频编码做得好，算法要做得很精，随着时间的推移，可以用计算、带宽把这些东西一点点都去除掉。

第二个使能技术，是特征编码。

这是非常关键的一个使能技术，这个技术的标准有两部分核心的内容，一部分叫CDVS，一部分叫CDVA，它们也是国际标准MPEG-7里面的两部分。

为什么要做视觉特征的压缩呢？因为根据不同的特征，提取出来的特征数据可能很大，如果不压缩的话，特征数据可能比图像本身都大，所以要么就传个图像过去，要传特征的话数据太大，所以就要对它进行特征压缩。

怎么进行压缩？如果是先把图像编码传过去，再提取特征，再进行识别，和先把特征提取出来，然后把特征传过去再识别，这两个其实有一个剪刀差，可能有时候识别率会相差百分之二三十。

先压缩了以后，可能有一些比较有用的特征丢了，因为所谓编码压缩，它是保留公共部分，把一些非公共的、非常见的东西压缩掉了，而非常见的部分恰恰可能是特征，所以把这个打磨掉以后，它的识别率可能就下来了，所以要先提特征，再在云端技术识别这样一个技术策略。

当然先提特征，怎么样提的特征体量比较小，我们初期是采用手工作业的策略，当然手工特征怎么支持深度学习，这是另外一个问题，后面我们做了第一版以后，又专门做了一个面向深度学习的编码压缩的框架，这个主要是给小视频来做的，有了这两个部分以后，基本上可以应对图像特征编码和视频特征编码这两个需求。

第三个使能技术，叫做联合优化。

所谓联合优化，就是在视频编码和特征编码之间，要找到一个最优的结合点，使得这两个流捆绑到一起的时候，脑力分配是最优的，上面这个流是视频压缩流，下面这个流是特征压缩流，这样送到云里，它俩合起来是最优的。

怎么能够做到最优呢？因为各自的优化模型都是有的，比如现在看到的这些是上面这部分，它是一个视频编码优化的流程，上面的虚线是视频编码，下面的虚线是特征编码，这两个编码在右端，合成一个流，就是视频和特征流。

这一个流怎么样优化呢？要设置一个联合优化流程，把它放到一起去优化。视频编码的优化模型叫RBO，RBO就是给定码率损失最小的优化模型，它的优化曲线就是右下角这个曲线。在识别特征表达方面，它有一个RAO，就是给定码率，让精确度最高的优化模型。

这个优化模型给的曲线是反过来的，所以把这两个需要优化的东西给它放到一个优化函数里面表达出来，就是这张图的表达，根据这个东西联合求解一个优化的解。

第四个使能技术，是深度学习模型编码的使能技术。

就是通过多模型的重用，通过模型压缩更新来做。这是深度学习怎么样去通过重用，去使得整个模型的重用精度更高。

这个重用既包括现有模型的重复使用，也根据目标模型训练所得到的提升，使得优化做得更好。

多模型重用，如果是在学习体系里面把它用好的话，它的性能就可以提高得比较好，所以怎么样使得这个多模型编码压缩，使得在重用当中可以快速地更新一个模型，就使得这个性能不停地提升，这两个就是模型编码的主要动机，有了这个就可以使得当模型训练完了以后，压缩完了以后就可以快速推到终端去升级模型。

上面这些使能技术，最后它要汇总到一个芯片里面，这个芯片现在在北大杭州研究院下面的一家公司做出来了，第一个数字视网膜的芯片叫GV9531，刚才的8个特性，这个芯片全都是支持的。

除了数字视网膜本身以外，现在配合人工智能技术的推进，也在推动中国的一些AI技术的国家标准，包括神经网络模型表示与压缩的标准、城市级大数据汇集关联的规范和标准，包括这些标准研究开发的路线图，什么时候要把哪个标准提出来完成等等。

数字视网膜，简单来说是三个编码流合并的系统，当然前两个是最主要的，就是视频流和特征流，这两个流时时刻刻都是汇集到一起进行传输的，第三个是模型编码，只是在模型需要压缩的时候，从云端推到边缘端或者终端上，进行一些增量的更新。

3、城市大脑2.0的优势

城市大脑1.0是一个以云计算为核心的系统，由于系统各个部分分工协调不太好，所以系统成本比较高，响应速度慢，数据的可利用度比较低。借鉴人的视觉系统，比如说人的视网膜、视觉通道、大脑分工非常协调，非常合理。

城市大脑2.0的核心在于数字视网膜及其标准化，它相较城市大脑1.0具备四大方面的性能提升：

　　1、它有先进视频编码技术：节省存储和带宽50%以上；

　　2、它可以定制ASIC边缘计算：节省云计算资源90%以上；

　　3、它能在原始图像上特征提取：低延时和高精度；

　　4、它还可以做标准化特征的提取，存储和复用：显著提升信息密度和价值。

现在鹏城实验室对城市大脑2.0——鹏城云脑，有一些较完整的设计和规划，鹏城云脑到现在为止已经投入了几十亿元去打造，鹏城云脑只有100P的算力，虽然说只有100P的算力，这也是到目前为止国内作为AI训练算力最大的一套系统。

后面还会有更强的系统，现在有一个原型，可以有数据进来，对数据进行标注、采集，可以进行训练，训练完了以后就可以用刚才这些和芯片有关的系统进行提取，然后可以分析和识别。

这个原型系统，一般边缘用的，甚至在云端大数据服务里面用的东西，现在都在逐步进入系统，上面会有各种各样的参考软件，去配合硬件的东西，最上面是开源的算法训练，有这些东西之后，将来在鹏城云脑上就会对城市大脑进行比较强有力的支持。

当然这个系统要想完善，可能还需要一点时间，还需要在更多的地方去做实验验证，等这些技术都成熟了，标准全都到位了，甚至城市大脑2.0真正运营起来，对中国的城市化、智能城市等等方面会有一个比较大的贡献。

　　本文部分内容和图片来自雷锋网

声明:

凡文章来源标注为"CPS中安网"的文章版权均为本站所有，如需转载请务必注明出处为"CPS中安网"，违反者本网将追究相关法律责任。非本网作品均来自互联网并标明了来源，如出现侵权行为，请立即与我们联系，待核实后，我们将立即删除，并向您致歉。