科研学术

　　近日，英才实验学院2014级本科生张靖义与阿联酋阿布扎比IIAI研究院(Inception Institute of Artificial Intelligence)合作的论文“Generative Domain-Migration Hashing for Sketch-to-Image Retrieval”成功入选计算机领域顶级会议之一的 European Conference on Computer Vision（ECCV，欧洲计算机视觉会议）。张靖义同学为该论文第一作者，电子科技大学为第一作者单位。该论文有望入选会议“Spotlight Section”，张靖义同学也将作为访问学生前往IIAI研究院实习。

图1：深度模型示意图

（其中，域迁移模块由两个生成器和两个判别器组成。右下的模块是哈希网络，红色的箭头代表从简笔画到真实图的循环生成过程，紫色箭头代表从真实图到简笔画的循环生成过程。）

图2：域迁移网络的结果展示图

（前两行是从简笔画生成真实图的结果。后两行是真实图到简笔画的生成结果。结果显示，我们的网络拥有双向域迁移的能力。）

图3：对sketchy数据集10类结果的t-SNE的结果分析图

（a-c分别是32，64，128比特真实图哈希码的结果，d-f分别是32，64，128比特的简笔画的哈希码的结果。结果显示，真实图片和简笔画图片属于同分布且各个类之间能很好地区分开。）

　　跨模态检索是一个非常热点且重要的问题，而利用简笔画去检索对应的真实图片不仅具有非常重要的研究意义，更具有很大的商业潜力。但传统的方法存在许多亟待改进的问题，如不能很好地减小两个图片域（domain）之间的差距，不能很好地将“类别检索”与“精细检索”统一到一个框架，检索的结果不理想等等。

　　该论文提出了一种新的方法来实现“域迁移”（Domain-migration），有别于传统的方法（即将两个特征空间的信息映射到同一个公共子空间），作者首次利用循环生成对抗网络（CycleGans）把简笔画变为“假的真实图片”，尽可能地保留两个空间的信息用于检索。该论文还将“类别检索”与“精细检索”统一到一个框架下，在许多数据集上取得了目前最好的效果。其中，在Sketchy数据集上效果比之前最好的方法提高了20.5%，在TU-Berlin数据集上提高了26.4%。

　　英才实验学院自2016年开始实施“本科生海外名校科研实习计划”，每年选拔优秀学子赴海外名校进行为期6个月以上的科研实习，两年来共派出14人赴美国达特茅斯学院、德克萨斯大学奥斯汀分校、加州大学河滨分校、新加坡南洋理工大学、香港科技大学、IIAI研究院等世界知名大学和研究院进行科研实习。在校内和海外导师联合指导下，经过多年的科研训练，2018届毕业生在学术领域取得了丰硕的成果，全年级共发表33篇高水平论文，包括ACMMM、NIPS、ICLR、ICML、IJCAI、ECCV、SIGKDD、SIGIR、ICC、IoT、TVT等一系列国际顶级会议或期刊。