在深度学习领域,对比学习技术的迅猛发展引发了广泛关注,尤其是在图像和文本处理任务中。然而,传统对比损失(Contrastive Loss)在大规模批量训练时常常面临显存瓶颈,这限制了其效果的发挥。最近,达摩院的研究团队提出了Inf-CL(近乎无限批量大小对比损失),这一创新方法不仅有效突破了显存限制,更是将对比学习的效率提升了整整100倍。 Inf-CL的创新之处在于其分块计算策略,这使得在单台A ...