自监督学习兼顾语义对齐与空间分辨能力？清华、商汤提出SIM原理

第二张快照的相对右方为：

对于第二张左图，大尺度变异也被均面性转到右方接收者中都：

再次，这些接收者输入到 sincos 右方字符数组中都得到如下右方字符：

重大损失数组

SIM 转用 UniGrad 作为重大损失数组：

UniGrad 被转用主要出于两个原因：（1）这种对比数组是 ID 方式的统一形式；（2）它对内存愈发友好：确信一般来说应用于的 InfoNCE 重大损失数组并不均需要 O (|N|) 的内存来计算出来近似于度，这对于有大量差比对的比较大内涵重大损失数组是不现实的；而通过到时计算出来差比对之间的相关矩阵，UniGrad 只并不均需要 O (D1]2) 的内存浪费。

SIM 尝试将 UniGrad 产生在有序内涵和比较大内涵，有序重大损失数组用有序不等的特点作为整张左图的特点：

而比较大重大损失数组将每个左图块作为单独的比对，并且为了减少与有序重大损失数组的冲突，每个左图块的特点减去了有序不等特点:

再次的基本上的重大损失数组为：

人类学家发掘出在短轮数下，(α_1=1,α_2=4) 说明了毫无疑问的稳定性优劣。寻常的是，当训练轮数足够长时，只应用于比较大重大损失数组 (α_1=0,α_2=1) 也能说明了较好的标量归纳稳定性。

实验室

主要结果

人类学家在多种评估指标下对比了 SIM 和其它方式的稳定性，最主要标量归纳、ImageNet 均完整数据变更、ImageNet 1% 完整数据变更、COCO 上的物体监测与模板切分。

标量归纳各个方面，SIM 可以做到和 MoCo-v3 相当的水平，同时不断多达 MAE（400ep 大约 11 个点，1600ep 大约 8 个点）；同时，即便不应用于有序重大损失数组，SIM 也能说明了不错的标量归纳结果；

监测与切分执行上，SIM 多达了 MoCo-v3 大约 2 个点，也能在应用于更短轮数的必均需下不断提高与 MAE 相当的水平（400ep v.s. 1600ep）；

变更执行上，SIM 在均完整数据变更时可以不断提高和在此之后方式相当的水平，而当只有 1% 完整数据能用时，SIM 尽可能多达 MoCo-v3 2 个点，MAE 14 个点。

融解实验室

预报VGA还是特点。表中都（ab）和（de）指明，在应用于相近快照作为输入和前提时，预报VGA稳定性较好；而应用于有所不同快照时，预报特点稳定性较好；

有所不同快照。表中都（ae）和（cf）指明，应用于有所不同快照尽可能降低标量归纳大概 7-13 个点；

黄色减弱。表中都（ac）和（ef）指明，对于有所不同快照，黄色减弱可以降低标量归纳 3.5 个点，不过对于相近快照则很难这种降低优点。人类学家猜测相近快照会将预报前提所转用的黄色减弱获知给模型，从而摧毁了对黄色不变性的利用计算机；

对 projector 与 decoder 应用于 BN 还是 LN。人类学家尝试将 projector 和 decoder 中都的归一化层从 LN 换形同 BN，表中都（fg）指明这种替换对标量归纳与监测执行都有一些降低；

有序重大损失数组。表中都（gh）指明，有序重大损失数组有利于标量归纳稳定性的降低，但是并不是应当的；

比较大重大损失数组。表中都（hi）指明比较大重大损失数组尽可能在物体监测执行上降低 2.3 个点，在模板切分执行上降低 1.6 个点，这指明比较大重大损失数组对中游比较大预报执行是有帮助的。