中科院软件所在跨粒度小样本学习方面取得突破

(相关资料图)

近日，中科院软件所天基综合信息系统重点实验室研究团队的论文“Meta Attention-Generation Network for Cross-Granularity Few-Shot Learning”被计算机视觉领域顶级学术期刊IJCV（International Journal of Computer Vision）接收，第一作者为助理研究员强文文、博士生李江梦。论文首次提出一个新的学习问题：跨粒度的小样本学习（CG-FSL），并基于结构因果理论推导出适用于CG-FSL的因果学习模型，称为元注意力生成网络 (MAGN)，有效突破细粒度小样本学习的瓶颈。 

细粒度分类旨在识别属于粗粒度类别的细粒度子类的图像，相比于粗粒度样本，其收集和标注难度大、成本高。现有的标准小样本学习(FSL)侧重于对已知和未知类进行泛化，所有的分类都处于相同的粒度级别。实践中使用FSL方法来解决分类问题时，需要为某些细粒度类提供大量标记样本。如何才能实现基于少量标记样本的细粒度分类，是研究团队希望解决的问题。由于粗粒度类样本的易得性，研究团队希望从粗粒度类别中学习知识，并通过少量样本转移到细粒度类别中。 

基于上述探索和分析，研究团队遵循认知神经学的规律，提出了基于大量粗粒度类标签样本进行训练，在测试阶段对细粒度子类标签样本进行划分的方法。同时，通过结构因果模型（SCM）对CG-FSL进行分析，发现在粗粒度级别学习的标准小样本学习模型实际上是一个混杂因素。研究团队采用后门调整以解耦干扰，推导并提出了一个称为元注意力生成网络 (MAGN) 的因果CG-FSL模型。该模型以双层优化方式进行训练，可以自适应地生成多注意图，以消除由粗粒度类别信息引起的混淆。 

研究团队基于5个不同的细粒度图像数据集，通过构建多个基准和评估协议，来对比CG-FSL方法和几种广泛使用的FSL方法。经过大量实验，结果表明CG-FSL更具有挑战性，所构建的MAGN模型在细粒度分类任务精度上明显优于标准小样本学习模型，实现了在跨粒度小样本学习上的突破。