梦晨 发自 凹非寺量子位 | 公众号 QbitAI ViT核心作者Lucas Beyer，长文分析了一篇改进Transformer架构的论文，引起推荐围观。 他前不久从谷歌跳槽到OpenAI，这次是在飞机上阅读论文并写下了分析。

36氪获悉，大模型架构创新公司元始智能（RWKV）已于12月完成数千万人民币天使轮融资，投资方为天际资本。本轮融资后，公司估值较此前种子轮翻倍，而本轮融资将主要用于团队扩充、新架构迭代以及产品商业化落地。 OpenAI旗下的ChatGPT于2022年11月发布，并掀起全球生成式AI浪潮后，已经有两年多的时间。而支撑起ChatGPT的Transformer架构以及Scaling Law（缩放定律）， ...

想象一下，Transformer 不仅能“记住”最重要的事情，还能主动“忘记”多余的细节，从而产生更智能、更快速、适应性更强的模型。该研究解决了 Transformer 基础模型缺乏选择性存储信息能力的问题。NAMM ...

该研究提出字节潜在 Transformer（Byte Latent Transformer，简称 BLT）挑战了这种常规做法。BLT 通过直接建模原始字节流，将它们根据熵动态分组为 patch 以实现高效计算。 最近几天，来自 Meta 、芝加哥大学等机构的合著论文《 Byte Latent Transformer: Patches Scale Better Than Tokens ...

加州大学伯克利分校、微软研究院等提出了一种多模态蛋白质生成方法 PLAID ，可以从更丰富的数据模态 (例如序列) 生成较稀缺的模态 (例如晶体结构) 来实现多模态生成。 过去多年间，科学家们持续致力于探索蛋白质的结构和组成，以更好的解谜「生命密码」 ...

为了有效地保护模型所有权和数据隐私，浙江大学、蚂蚁数科、利物浦大学和华东师范大学的朱建科与王维团队提出了一种全新的跨域微调（offsite-tuning）框架：ScaleOT。该框架可为模型隐私提供多种不同规模的有损压缩的仿真器，还能促进无损微调（相 ...

引言近年来，基因组学领域取得了飞速发展，尤其是全基因组测序（Whole Genome Sequencing, WGS）的普及，使得研究人员能够全面分析人类及其他物种的基因组数据。然而，人类基因组中约98%的区域为非编码区（Noncoding ...

《连线》曾在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 发明 PageRank。PageRank 彻底革新了互联网搜索方式，Radford 的工作（特别是在 Transformer 和后来的 ...

物质科学Physical science2024年诺贝尔物理学奖授予了约翰·H·霍普菲尔德（John H. Hopfield）和杰弗里·E·辛顿（Geoffrey E. Hinton），以表彰他们在 ...

经过2024年一年的煎熬和打磨，谷歌找到了自己的节奏，在24年最后一个月份迎来了丰收。不仅以Gemini 2.0打破了OpenAI连续12天产品发布会的连续剧，更是以量子芯片Willow证明了自己在科技界不可撼动的地位。

上周，社交网络上流传着一份30多页的智谱路演PPT。这家头部大模型公司刚刚宣布完成新一轮30亿元人民币的融资，新的投资方包括多家战略投资者及国资，老股东君联资本等继续跟投。很快，阶跃星辰也公布了数亿美元的B轮融资，资方包括国资、战略和财务投资人等，其 ...