时间:  2024年4月30日  下午2:00-5:20

地点：广州大学 (大学城校区) 理科南314#

报告1

报告人：钟承志

指导老师：方美娥

报告题目：对抗重光照

在本次组会上，钟承志同学介绍了他近期在重光照及对抗重光照方向上的调研成果。报告分为两部分，一是介绍了重光照和逆渲染的基础理论及相关工作；二是介绍了对抗重光照/对抗光照相关的工作。钟承志首先介绍了渲染和逆渲染的概念，即从场景信息到对应图片的双向映射过程，介绍了传统显式渲染管线和新兴隐式渲染管线（神经辐射场和高斯溅射）的优劣。接着介绍了最新的一篇基于高斯溅射的重光照工作，其通过对原始高斯模型进行调整作为逆渲染的主要基础，承担解耦场景信息的作用，之后通过基于物理的渲染管线将场景信息渲染为目标视角的图片，同时因为逆渲染的过程中已经解耦出显式的光照、材料、几何等信息，所以可以进行重光照、材料编辑、场景编辑等操作。另外，钟承志还介绍了三篇和光照有关的对抗攻击工作：第一篇将图像从RGB空间转换为LAB空间，显式地调整L光照要素，从像素空间修改图像的光照信息，该方法类似于修图中改变亮度这一操作；第二篇针对人脸识别任务，使用Lambertian光照模型对图像光照信息进行显式的建模，通过修改其中的光照参数达到改变图像光照条件进行攻击的目的；第三篇利用摄影中常见的暗角现象对正常图像施加暗角变换进行攻击。最后，钟承志总结了重光照在对抗攻击领域存在的应用前景。

报告2

报告人：吕恩旭

指导老师：谭恒良

报告题目：学习一个黎曼流形上矩阵的词袋

在本次组会上，吕恩旭同学介绍了他近期在黎曼流形上字典学习和度量学习上的调研成果。报告分为两部分，一是介绍了黎曼深度学习网络的基础理论及相关工作；二是介绍了黎曼流形字典学习相关的工作。吕恩旭首先介绍了双线性映射层和特征值修正层的概念，对输入的SPD矩阵进行的双线性变换和特征值修正层的表示。接着介绍了怎么去定义黎曼流形学习中需要的字典，通过对训练集的样本进行均匀的采样得到字典，承担着对训练样本和字典之间的距离进行分类，同时因为字典和训练集一样也需要训练过程，所以也具体讲了字典和训练集是如何利用深度学习网络怎么训练的。另外，吕恩旭还介绍了三种spd矩阵之间的度量：第一是用LEM度量进行比较两个SPD矩阵的距离；第二是先把流形映射到切空间上，然后向量化，同时增加了一个可学习的参数计算两个SPD矩阵之间的度量；第三是利用SPD矩阵，考虑了一种有效的发散度量，成为LogDet发散度量。最后，吕恩旭总结了黎曼流形深度学习以及字典学习度量学习存在的应用前景。

报告3

报告人：张伟祥（硕士生）

指导老师：李福芳

报告题目：Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification论文汇报

在本次组会上，张伟祥同学汇报了一篇论文，主要研究方向为少样本图像分类。首先，张伟祥同学介绍了Tip-Adapter的研究背景。 接着，他详细阐述了Tip-Adapter中缓存模型的构建原理。在逻辑推理部分，张伟祥同学首先介绍了测试图像和缓存键之间的相似度得分结果。进而，介绍了Tip-Adapter的详细推理流程，并且解释了逻辑值计算公式中的两个超参数的详细作用。然而，当给定更多的shot的时候，不需要训练的Tip-Adapter和需要训练的CoOp、CLIP-Adapter之间的差距逐渐拉大，所以论文作者提出了Tip-Adapter-F。Tip-Adapter-F与Tip-Adapter的区别在于解冻缓存模型中的键，通过更新键来提高测试图像和训练样本之间的余弦相似度，将键设计为一个线性层的初始权重参数，不需要随机初始化权重参数，节省了训练时间。最后，张伟祥同学展示了该实验成果，并提出了未来的研究方向。