关于周刊
本期周刊，我们选择了9篇预训练相关的论文，涉及词汇迁移、常识问答、多模态训练、层次训练、对比学习、图像分割、图文模型、蛋白质作用和免疫特征表示的 探索 。此外，在研究动态方面，我们选择了2篇预训练资讯，将介绍大模型竞争和视觉算法年度回顾方面的一些最新内容。最后，在资源推荐方面，我们选择了1篇预训练资源，将介绍跨语言摘要方面的一些最新内容。
本期贡献者：申德周 翟珂 吴新刚
论文推荐
标题：俄罗斯Yandex、Facebook等 | Fine-Tuning Transformers: Vocabulary Transfer（微调Transformer：词汇迁移）
简介：本文讨论了巨大型预训练模型为下游任务微调而引发迁移学习的 探索 之一：词汇迁移。自然语言处理领域最新进展中Transformer已成为绝对主流。这些模型的大多数实际自然语言处理应用通常是通过迁移学习实现的。本文研究了用于微调的语料库特定标记化是否会提高模型的最终性能。作者通过一系列的词汇表优化和迁移实验，证明了这种词汇表优化和迁移策略可以提高模型的性能。作者称之为：在迁移学习领域开创了词汇迁移的这一方向。
论文地址：「链接」
标题：加州大学 | Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization（基于完形转换和一致性优化的小样本常识问答）
简介：本文在常识问答（CQA）方向研究预训练语言模型中的知识提取。作者将重点放在更好地利用预训练语言模型中存储的知识。虽然研究人员发现，通过让预先训练的语言模型填充精心设计的关系提取和文本分类提示的空白，可以提取嵌入在预训练的语言模型中的知识，但目前尚不清楚作者是否可以在CQA中采用这种范式，其中输入和输出的形式更加灵活。为此，作者研究了四种可以将自然问题翻译成完形填空式句子的翻译方法，以更好地从语言模型中获取常识性知识，包括基于句法的模型、无监督神经模型和两种监督神经模型。此外，为结合不同的翻译方法，作者提议鼓励使用未标记数据对不同翻译问题进行模型一致性的预测。实验证明了作者的方法在三个CQA数据集上的有效性。
论文地址：「链接」
标题：威斯康星大学、微软等 | RegionCLIP: Region-based Language-Image Pretraining（基于区域的语言图像预训练）
简介：本文研究了基于识别图像区域的语言图像预训练模型。业界使用“图像-文本对”的对比语言图像预训练 (CLIP)在零样本和迁移学习中的图像分类方面取得了令人印象深刻的结果。然而，作者表明直接应用此类模型来识别图像区域以进行对象检测会导致性能不佳，因为存在域偏移：CLIP 被训练以将图像作为一个整体与文本描述进行匹配，而没有捕获图像之间的细粒度对齐区域和文本跨度。为了缓解这个问题，作者提出了一种称为 RegionCLIP 的新方法，该方法显着扩展了 CLIP 以学习区域级视觉表示，从而实现图像区域和文本概念之间的细粒度对齐。作者的方法利用 CLIP 模型将图像区域与模板标题匹配，然后预训练作者的模型以在特征空间中对齐这些区域-文本对。当将作者的预训练模型转移到开放词汇对象检测任务时，作者的方法在 COCO 和 LVIS 数据集上的新类别分别显著优于现有技术 3.8 AP50 和 2.2 AP。
论文地址：「链接」
代码地址：