循环调用CLIP，无需额外训练就有效分割无数概念。
包括电影动漫人物，地标，品牌，和普通类别在内的任意短语。
牛津大学与谷歌研究院联合团队 的这项新成果，已被接收，并开源了代码。
团队提出名为（简称CaR）的新技术，解决了开放词汇量图像分割领域中的几个关键问题：
受RNN启发，循环调用CLIP
要理解CaR的原理，需要先回顾一下循环神经网络RNN。
RNN引入了隐状态(hidden state)的概念，就像是一个”记忆体”，存储了过去时间步的信息。而且每个时间步共享同一组权重，可以很好地建模序列数据。
受RNN启发，CaR也设计成循环的框架，由两部分组成：
就这样 反复迭代下去，文本查询会越来越精准，mask的质量也会越来越高 。
最后当查询集合不再变化，就可以输出最终的分割结果了。
之所以要设计这个递归框架，是为了 最大限度地保留CLIP预训练的”知识” 。
CLIP预训练中见过的概念可是海量，涵盖了从名人、地标到动漫角色等方方面面。如果在分割数据集上微调，词汇量势必会大幅缩水。
例如“分割一切”SAM模型就只能认出一瓶可口可乐，百事可乐是一瓶也不认了。
但是直接拿CLIP做分割，效果又不尽如人意。
这是因为CLIP的预训练目标本来就不是为密集预测设计的。尤其是当图像中不存在某些文本查询时，CLIP很容易生成一些错误的mask。
CaR巧妙地通过RNN式的迭代来解决这个问题。通过反复评估、筛选查询，同时完善mask，最终实现了高质量的开放词汇分割。
最后再来跟随团队的解读，了解一下CaR框架的细节。
CaR技术细节
通过这些技术手段，CaR技术在多个标准数据集上实现了显著的性能提升，超越了传统的零样本学习方法，并在与进行了大量数据微调的模型相比时也展现出了竞争力。如下表所示，尽管完全无需额外训练及微调，CaR在零样本语义分割的8个不同指标上表现出比之前在额外数据上进行微调过的方法更强的性能。
作者还测试了CaR在零样本Refering segmentation的效果，CaR也表现出了相较之前零样本的方法表现出更强的性能。
综上所述，CaR（CLIP as RNN）是一种创新的循环神经网络框架，能够在无需额外训练数据的情况下，有效地进行零样本语义和指代图像分割任务。它通过保留预训练视觉-语言模型的广泛词汇空间，并利用迭代过程不断优化文本查询与掩膜提议的对齐度，显著提升了分割质量。
CaR的优势在于其无需微调、处理复杂文本查询的能力和对视频领域的扩展性，为开放词汇量图像分割领域带来了突破性进展。
论文链接：https://arxiv.org/abs/2312.07661项目主页：https://torrvision.com/clip_as_rnn/
最直接的影响就是明年又会有一大批自出创新型科技项目要上马了。 说一点感想。 。 。 一是现在很多大公司都越来越重视DL，所以赶紧多了解了解DL无论是对于相关领域的工作，还是对于未来自己的发展都有好处二是DL现在一大硬伤在于运算复杂度太高导致的计算时间太长，所以GPU加速这一块未来也会越来越重要。 现在和DL关系比较密切的加速手段也主要就是CUDA，所以CUDA相关的东西也可以多了解了解，未来肯定只会用的越多而不是越少今年CVPR2015和ICCV2015，不少使用DL的工作识别精确度暴增10%，使得未来如果不是工作上有巨大创新的话，基本上所有人都会向着DL的方向去做了而且这是一条很难回头的路，因为实验结果只能越来越好而不是越来越差，如果你不用DL，那么你的结果比不过别人，所以很多人虽然心里不怎么情愿，但也是不得不用DL来做自己的一些工作
