时间:  2024年6月11日  下午2:00-5:20

地点：荔湾研究院202会议室, 广州大学 (大学城校区) 理科南312#

报告 1:

报告人：解梦达（博士生）

指导老师：方美娥

报告题目：无约束对抗攻击防御

在本次组会上，解梦达同学汇报了他的研究进展，主要研究方向为无约束对抗攻击防御。报告包含了以下几个部分：

1.背景介绍： 解梦达同学首先介绍了对抗攻击的基本概念，强调了对抗攻击对机器学习模型的危害性以及人眼的不可感知性。他通过一个熊猫图的例子说明了有约束攻击和无约束攻击的区别。有约束攻击对每个像素值进行扰动，并添加限制以确保扰动不容易被发现；而无约束攻击的扰动形式更加多样，可以包括几何变换和色彩变换等。

2.无约束对抗攻击的实例： 解梦达同学展示了几种无约束对抗攻击的实例：

o 图像亮度翻转

o 色温调节

o 加雾攻击

o 降雨攻击 这些实例展示了无约束攻击的多样性和复杂性。

3.对抗攻击防御策略： 接下来，解梦达同学介绍了对抗攻击防御的主要策略，即对抗训练。对抗训练通过构造对抗样本并将其加入训练集中来增强模型的鲁棒性。解梦达同学详细讲解了对抗训练的工作原理，并展示了其在提高模型鲁棒性方面的效果。

4.现有防御策略的局限性： 解梦达同学指出，现有的防御策略主要针对有约束攻击，对无约束攻击的防御效果欠佳。他引用了相关文献，说明了仅基于有约束攻击训练的防御模型在面对无约束攻击时的表现不尽如人意。

5.研究进展： 解梦达同学分享了他在无约束对抗攻击防御方面的研究进展。他提出了一种基于自适应风格化的扰动移除方法，通过调整图像风格来统一地移除不同类型的攻击扰动。此外，他还介绍了风格随机化防御的方法，即将有约束以及基于色彩的无约束攻击的扰动类型视为不同的风格，并在训练及测试阶段随机化扰动风格信息，来尝试移除不同风格间的差异性。

6.未来研究方向： 最后，解梦达同学总结了他的研究成果，并提出了未来的研究方向。他计划继续研究无约束对抗攻击的防御方法，特别是针对基于色彩的无约束攻击的防御策略。

报告 2:

报告人：陈龙（硕士生）

指导老师：谭恒良

报告题目：基于SPD流形上的深度度量学习的图像集分类

在本次组会上，陈龙同学分享了一篇名为《Deep Metric Learning on the SPD Manifold for Image Set Classification》的论文。该论文旨在解决SPD黎曼矩阵的信息退化问题，以及图像集数据中的类内多样性和类间模糊性对模型分类表现的影响。首先，为了应对信息退化问题，论文在SPDNet主干网络的尾部构建了堆叠式SPD流形自动编码器（SSMAE）。在重构误差项的监督下，网络的映射函数趋近于恒等映射，从而克服了由于网络深度增加而引起的信息退化问题。此外，为了提高所设计的SPD网络的辨别能力，论文为SSMAE模块引入了两阶段度量学习，用于充分编码和解析数据的类内、类间分布信息。通过对实验结果总结分析，上述方法的结合能够一定程度上提升图像集分类的效果，为SPD网络在实际应用中提供了新的思路和技术支持。最后，老师们也提出宝贵的建议，为未来研究提供了重要的参考价值。

报告 3:

报告人：黄炜彬（硕士生）

指导老师：汪洋涛

报告题目：使用Transformer统一两流编码器的跨模态检索

在本次组会上，黄炜彬同学分享了一篇名为《Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval》的论文。该论文研究了跨模态检索中两流编码器的结构差异问题。为了解决这一问题，文中提出了一种新的框架，即分层对齐Transformers (HAT)，该框架采用Swin Transformer和BERT双流Transformers来统一图像和文本编码器的架构，并通过分层对齐丰富了跨模态关联。在两个常用的数据集Flickr30K和MSCOCO上进行了大量的实验，证明了所提出的HAT的优越性。此外，进一步分析验证了Transformer统一图像和文本编码器架构的有效性，以及分层对齐策略对于模型性能的影响。针对该模型只涉及到了图像与文本之间的跨模态的相似性交互，没有考虑图像与图像以及文本和文本本身的相似性，引入了VSL损失来解决该问题。其次，针对由于图像和文本之间的复杂的语义对应关系，实际上仅基于简单的交叉注意力计算可能无法很好地捕捉一对多的区域-词片段间的最佳配对关系，提出了在交叉注意力计算中引入迭代注意力模块来改善该情况。最后，老师和同学们也提出了宝贵的建议，为未来的研究提供了重要的参考价值。