科研学术

　　近日，电子科技大学英才实验学院2019级本科生庄俊豪的论文“UConNet: Unsupervised Controllable Network for Image and Video Deraining”被多媒体领域顶级会议ACM International Conference on Multimedia（ACM MM）接收。本次会议将于今年10月10日在葡萄牙里斯本召开。ACM MM是国际多媒体领域最重要的顶级会议，被CCF推荐为该领域唯一的A类国际学术会议。庄俊豪为论文第一作者，电子科大数学科学学院2018级本科生罗倚斯为论文第二作者，数学科学学院赵熙乐教授为论文通讯作者，合作者为西南财经大学蒋太翔教授和清华大学郭碧川博士。

　　图1 UConNet的示意图，在训练阶段，网络学习到损失函数的权重参数和特征层权重的关系；在推理阶段，由权重推荐网络控制特征层的权重来处理不同的降雨景

　　自然环境中录制的图像和视频通常会受到雨线的干扰，严重影响视觉质量和后续应用（如分类、检测和分割）。因此，去除图像/视频中的雨线是计算机底层视觉的一项重要任务。由于很难获得真实的成对样本，传统上一般采用软件在干净样本上生成仿真雨线，以此获得成对样本进行监督学习。但受制于仿真技术在形成机理上的单一性，神经网络往往在真实场景中不能获得很好的泛化效果。本文考虑引入基于物理的正则项作为无监督损失函数，仅在非成对的雨景数据下训练。此外，本文合理建立了损失函数的权重参数与特征层权重之间的关系。基于这种关系训练的UConNet可以在推理阶段控制特征层的权重，灵活地处理不同的雨景，从而达到很好的泛化能力。随后，本文将UConNet的思路拓展到视频流去雨任务。在UConNet的基础上引入光流估计网络改进得到UConNet的视频数据处理版本UConNet-V（见图2）。该网络通过利用视频流数据的时间相关性实现更精细化的雨线除去效果。在大量图像和视频数据（包括仿真和真实数据）上的实验验证本文提出的去雨方法相较于目前最先进方法的优势，部分结果见图3。

图2 本文提出的 UConNet-V示意图

图3 在真实雨天图像数据上的去雨结果。本文提出的 UConNet相较于目前最先进的雨线去除方法具有优势

　　庄俊豪同学于2020年加入黄廷祝教授带领的张量建模与计算团队，在赵熙乐教授指导下进行基于数学方法和深度学习方法的视频图像去雨问题研究，已以第一作者在信号处理权威期刊IEEE SPL发表论文一篇。该团队近年来在高水平学术期刊和会议上发表文章，如应用数学权威SIAM系列期刊（SIIMS和SISC）和图像处理权威IEEE系列期刊（TIP、TNNLS、TCYB、TCI和TGRS）及人工智能权威会议CVPR和AAAI等。团队科研育人氛围浓厚，近年来赵熙乐老师已指导多名学院本科生以第一作者身份发表高水平学术会议和期刊文章，如CVPR、IEEE TIP、IEEE TGRS、IEEE SPL、ACM MM、KBS和IEEE JSTARS等，获四川省第十五届挑战杯二等奖、首届新工科教育课外创新实践成果展优秀学术论文、校级优秀毕业论文。