1. 应用场景

在科技高速发展的时代，对于图像质量的要求越来越高，而图强增强系统却能解决部分图像表现力不足的问题，可应用在图像压缩、直播平台、特效处理、图像复原等多个场景中。

2. 实现功能

基于市场部分的要求，本系统仅实现了图像超分与风格迁移部分的开发，并且在web端提供了可供交互的展示界面，用户可通过展示界面完成数据的传输与处理结果的展示。

1. 使用星空体育智能处理卡，为端、云侧推理提供的强大运算能力支撑，并具备视频解码功能。

2. 基于cnstream开源框架，以模块的方式组织功能，可以根据具体场景方便地增加或替换模块，具有很高的扩展性。

3. 根据星空体育硬件进行优化，通过多batch等方式，充分利用多个MLU core进行平行处理。

4. 直接加载星空体育离线模型，脱离深度学习框架，直接调用星空体育运行时库(CNRT)，具有很高的执行效率。

1. 硬件平台

星空体育MLU270系列智能处理卡

星空体育 MLU270采用星空体育MLUv02架构，可支持视觉、语音、自然语言处理以及传统机器学习等多样化的人工智能应用，更为视觉应用集成了充裕的视频和图像编解码硬件单元。

 MLU270集成了星空体育在处理器架构领域的一系列创新性技术，处理非稀疏深度学习模型的理论峰值性能提升至上一代思元100的4倍，达到128TOPS(INT8)；同时兼容INT4和INT16运算，理论峰值分别达到256TOPS和64TOPS；支持浮点运算和混合精度运算。  

  案例展示

2. 软件环境

依赖星空体育驱动(Cambricon Driver)，星空体育软件(Cambricon Neuware)中的编解码库（CNCodec）、运行时库（CNRT）、CNDev、CNDrv、CNML、CNPlugin等。

图像增强系统的系统用例图，如下图所示：

通过系统用例图可发现本系统的主要功能如下：

1. 支持图像超分和风格迁移方法

2. 支持多种展示模式(主要是为图像超分所设计的)

3. 支持web端实时显示处理后的结果

4. 支持多种输入源，包括JPG、JPEG、PNG等格式的图像文件，也可输入图像地址链接，还包括AVI、MP4等格式的视频文件，也可输入RTSP或RTMP流

5. 支持图像处理结果可下载

1. 系统框架图

图像增强系统可由Infer Server和Web Server两部分组成，

Infer Server采用cnstream框架进行开发，通过搭建多个插件，组合成流水线来完成图像增强的图像处理，

每一个环节由一个插件来完成，插件是以多线程的方式并行执行，插件之间的数据传输通过阻塞式的消息队列实现。

Web Server采用flask框架进行开发，解析HTTP请求，完成数据的解析与封装，实现与infer Server之间的通信。

图像增强系统的系统框架图如下：

2. 流程图

整个系统的处理流程主要包含Web Server和Infer Server的处理部分，以及两者之间的数据通信部分

其中Web Server的主要功能是提供处理数据的接收以及处理结果的展示服务，相当于一个数据中转站，

而Infer Server则是提供实际的网络推理服务，完成各类数据的图像增强，是系统中最重要的部分

图像增强系统的流程图如下：

3. 解释说明

整个流程包括以下环节：请求的解析与响应、数据解析与封装、进程通信、图像与视频编解码、超分处理以及风格迁移处理等。

1）请求的解析与响应

请求可分为两种类型的请求，分别是GET和POST类型的请求

其中GET类型的请求，是将携带的信息放在HTTP链接中传递到Web后端，这种方式的请求携带的数据量一般都小，适合数据是地址链接的

而POST类型的请求，是将数据以表格的方式存放在HTTP请求的body内，这种方式能够传递较大的数据信息，适合以图像视频文件传递的

对于响应，Web Server在收到Infer Server处理的结果后，生成对于响应页面进行发送

2）数据解析与封装

数据的解析与封装主要应用在Web Server与Infer Server之间的通信中，

在Web Server封装与在Infer Server解析的数据主要包括：

在Web Server解析与在Infer Server封装的数据主要包括：

3）进程通信

Web Server 和 Infer Server是两个独立的进程，它们之间采用socket套接字进行通信，传递在数据解析和封装中所述的数据信息

socket套接字包含client端和server端，在Web Server和Infer Server都会存在一个socket的server，每次消息传递时都会新建一个client与对应的server进行连接，完成进程的通信

而视频处理与图像处理存在部分不同，其中在Infer Server向Web Server传递数据时，图像处理传递的是处理后的图像文件地址，而视频处理传递的是RTSP流

对于视频处理传递RTSP流的原因是为了提高用户的体验感，每处理完一帧就立即传递到Web Server进行展示，能提高视频处理的实时性，减少用户在处理视频时等待的时间

4）图像与视频编解码

解码插件需要能够解析RTSP/RTMP视频流，本地各种编码格式的视频文件以及JPEG图像。实际使用的解码模块可使用CPU来软解码，也可采用MLU硬件解码器模块完成解码。

考虑到CPU资源比较宝贵（后续很多插件都会大量使用CPU资源），所以一般情况下，采用cnstream的decoder模块实现MLU解码功能。

编码插件能够使用MLU硬件编码器实现对数据帧的编码，采用cnstream的encoder模块实现MLU编码功能

5）超分处理

超分处理模块，可实现图像的超分处理，本系统采用的模型有三种，分别是CARN、EDSR、RCAN，超分辨都是x4尺寸的

由于超分模型的计算量过大，在生成离线模型的时，过大的输入尺寸的选择会导致硬件资源使用殆尽，以至于不能生成离线模型，因此模型统一输入尺寸在160x120，对batch_size的设置也只能设置为1，core num的大小设置为16，在进行模型推理时，对于尺寸超出的部分进行拆分，不足的部分进行填充，拆分算法可见下图

示例中是一张原始尺寸为500x340大小的图像，如图中所示按160x120大小对图像进行分块，每个块大小之间存在30px大小的重叠区域，对于超出的50px大小部分进行零填充，

拆分后对每个part都独立进行推理，全部part都处理完后进行合并操作，每个part采用中间部分的130x90大小区域的像素值并且保留无重叠区域的边缘像素，对于零填充的边缘进行截取，来还原到原始图像大小

设置重叠区域的原因是模型网络中存在卷积，卷积的结果是根据原始像素点及周围像素点的值来确定的，而进行拆分后，part边缘像素会损失一部分周围像素值，从而影响模型的处理效果，在还原图像后会存在折痕

每个part图像的处理可分为前处理、模型推理、后处理

前处理阶段主要是颜色空间转换和convert

模型推理可根据选择模型名称，加载不同的超分模型进行处理

后处理阶段主要是处理结果的保存

6）风格迁移处理

风格迁移同超分的类型差不多，支持任意比例的输入大小，但在生成离线模型时必须给定输入尺寸，对于过大的尺寸同样不能生成合格的离线模型，因此统一生成输入尺寸是640x480的离线模型，对于batch_size设置为以，core num设置为16

对于风格迁移，并没有采用与超分相同的处理方法，因为风格迁移的算法是根据整个图像的像素值来进行计算的，当进行拆分，每个part的像素范围都不大相同，因此在拼接后会产生明暗相间的像素块

图像的处理也可分为前处理、模型推理、后处理

前处理阶段主要是颜色空间转换、resize和convert

模型推理可根据选择模型名称，加载不同的风格迁移模型进行处理

后处理阶段主要是处理结果的保存

7）展示模式

展示模式主要是为图像超分所设计的，分为五种模式，Default、Overlap、Contrast、Over Contrast和Distribution

Default是默认模式，不进行任何加工

Overlap是叠加模式，在超分图左下角叠加一个原图

Contrast是对比模式，将超分图与resize到超分图大小后的原始图进行对比

Over Contrast是叠加模式与对比模式的混合

Distribution是多区域模式，将原图中多个区域进行超分展示

初始界面

超分模式展示

1. Overlap

2. Contrast

3. Over Contrast

4. Distribution

风格迁移

1. horse2zebra

2. style_monet

3. style_cezanne

4. style_ukiyoe

将在GitHub（https://github.com/Cambricon）上开源，感谢您的关注。