1. 《Contrastive Representation Distillation》
本文在模型蒸馏领域中利用了一系列对比目标来捕获相关性和高阶输出依存关系。在本文中对它们进行了修改，以将知识从一个神经网络提取到另一个。
本文考虑了三个蒸馏阶段：
- 模型压缩
- 将知识从一种方式（例如：RGB）转移到另一种方式（例如：深度）
- 将一组网络精简为一个网络
对比学习的主要思想是学习在某个度量空间中对于正例对的表示尽可能接近，同时对于负例对的表示尽可能远。
本文在模型蒸馏领域中利用了一系列对比目标来捕获相关性和高阶输出依存关系。在本文中对它们进行了修改，以将知识从一个神经网络提取到另一个。
本文考虑了三个蒸馏阶段：
对比学习的主要思想是学习在某个度量空间中对于正例对的表示尽可能接近，同时对于负例对的表示尽可能远。
项目 GitHub 地址