随着AI研究的深入，针对Transformer的多项技术创新如更先进的GPU硬件、多GPU训练优化算法、量化以及专家混合技术等持续助力这个领域的发展。特别是，自注意力机制的计算效率使得Transformer能够延长上下文窗口，充分利用历史信息进行更深 ...

在现代人工智能领域，Transformer架构正在引领技术进步，成为构建前沿AI应用和模型的核心。自2017年由Google提出的《Attention Is All You ...

现任首席科学家 Jeff Dean 、出走又回归的Transformer作者 Noam Shazeer ，与知名播客主持人Dwarkesh Patel展开对谈。

如今，几乎所有前沿的 AI 产品和模型都采用变压器架构。大型语言模型（LLMs）如 GPT-4o、LLaMA、Gemini 和 Claude 都是基于变压器的，其他 AI 应用如文本转语音、自动语音识别、图像生成和文本到视频模型也以变压器作为其基础技术。随着 AI 热潮的持续，了解变压器的工作原理及其在可扩展解决方案增长中的重要性显得尤为重要。变压器不仅仅是表面现象，它们是处理数据序列的神经网络架 ...

编辑：编辑部 HYZs 【新智元导读】一篇报道，在AI圈掀起轩然大波。文中引用了近2年前的论文直击大模型死穴——Transformer触及天花板，却引来OpenAI研究科学家的紧急回应。 谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又 ...

2025-01-15 19:00发布于北京新智元官方账号 【新智元导读】Sakana AI发布了Transformer²新方法，通过奇异值微调和权重自适应策略，提高了LLM的泛化和自 ...

在全球人工智能领域竞争日益激烈的背景下，中国的开源大模型Qwen2成功卫冕，力压美国，成为最新的世界冠军。这一成就不仅是技术进步的象征，同时也为人工智能的应用拓展了新的可能性，尤其是在AI绘画和AI写作等领域的潜力令人期待。

2025年开年，国产AI大模型DeepSeek以惊人的速度席卷科技产业，用户规模突破亿级。作为一款基于Transformer架构的先进推理模型，DeepSeek参数规模庞大，对硬件计算能力、内存容量和带宽都提出了极高要求。奕斯伟计算在搭载了自研RIS ...

人类智慧的一大特征是能够分步骤创造复杂作品，例如绘画、手工艺和烹饪等，这些过程体现了逻辑与美学的融合。然而，让 AI 学会生成这样的 “步骤教程” ...

Sakana AI发布了Transformer²新方法，通过奇异值微调和权重自适应策略，提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA；即便是从未见过 ...