跳转到内容

computer-science / frontier

研究 前沿

人类在计算机科学领域当下正在推进的最前沿——尚未解决的问题、谁在攻关、近年的突破, 以及仍然未知的边界。这里收录的是“正在发生的知识”,而非已盖棺定论的结论。

18 个前沿议题

编程语言与系统2 篇
计算体系结构3 篇
2020s-2030s

神经形态与后 CMOS 计算:当搬运数据比计算更贵

Neuromorphic and Beyond-CMOS Computing — When Moving Data Costs More Than Computing

现代处理器有一个被算力叙事掩盖的真相:一次乘加运算的能耗,远低于把参与运算的数从内存搬到运算单元的能耗。在典型工艺下,从片外 DRAM 读一个数所耗的能量,可以做几百次乘加。

Carver Mead(Caltech,神经形态一词的提出者) · Dharmendra Modha(IBM,TrueNorth / NorthPole) · Mike Davies(Intel Neuromorphic Computing Lab)

2020s

计算的碳足迹:可持续计算的实测与分歧

The Carbon Footprint of Computing — Sustainable Computing

2025 年 4 月,国际能源署(IEA)发布《Energy and AI》特别报告,给出了两个被反复引用的数字:全球数据中心 2024 年用电约 415 太瓦时(TWh),占全球用电量约 1.5%;在基准情景下,2030 年将增至约 945 TWh——超过今天日本全国的用电量。报告同时把增长的主要驱动点名:AI。

Eric Masanet(UC Santa Barbara / Northwestern) · Jonathan Koomey(能源效率研究者) · Emma Strubell(卡内基梅隆大学)

2020s

集群训练系统:把模型铺到一千张卡上

Cluster Training Systems — Spreading a Model across a Thousand Accelerators

Meta 在 Llama 3 405B 的预训练里动用 16,384 张 H100,论文给出的总算力约为 $3.8\times 10^{25}$ FLOPs。

Mohammad Shoeybi 等(Megatron-LM) · Samyam Rajbhandari 等(DeepSpeed ZeRO) · Ziheng Jiang 等(MegaScale)

量子计算1 篇
密码学2 篇
密码学与安全2 篇
人工智能6 篇
2020s

大语言模型与基础模型

Large Language Models and Foundation Models

2022 年 11 月 30 日,OpenAI 把一个叫 ChatGPT 的系统悄悄放到了互联网上。没有发布会,没有大型广告。五天后,它有了 100 万用户;两个月后,1 亿用户。这是消费级应用历史上最快的用户增长。

Ashish Vaswani 等(Google Brain,Transformer 论文) · OpenAI(GPT 系列) · Anthropic(Claude 系列)

2020s

机制可解释性:从可命名特征到因果机制

Mechanistic Interpretability from Named Features to Causal Mechanisms

2021 年,OpenAI 研究者在 CLIP 中观察到一个“蜘蛛侠神经元”:蜘蛛图像、单词 spider 的图像和蜘蛛侠角色都会激活它。这说明模型内部可能出现跨文字、符号和视觉形式的抽象响应。

Chris Olah · Neel Nanda · Aaron Mueller

2020s

AI 驱动的科学发现:从蛋白质到天气再到数学

AI for Science — Machine Learning as an Instrument of Discovery

2024 年 10 月,诺贝尔化学奖一半授予 David Baker,另一半授予 Demis Hassabis 与 John Jumper——表彰计算蛋白质设计与蛋白质结构预测。一个本质上是机器学习系统的成果拿到了科学最高奖,这在诺贝尔奖历史上没有先例。

John Jumper 与 Demis Hassabis(Google DeepMind,AlphaFold) · Remi Lam 等(Google DeepMind,GraphCast) · Amil Merchant 与 Ekin Dogus Cubuk(Google DeepMind,GNoME)

2020s

推理时计算与推理模型:让机器学会"多想一会儿"

Inference-Time Compute and Reasoning Models

2024 年 9 月 12 日,OpenAI 发布 o1-preview,博客标题只有一句话:Learning to Reason with LLMs。模型的用法看起来很反常——它在回答之前会"沉默"几十秒甚至几分钟,生成一大段用户看不见的推理过程,然后才给答案。

OpenAI(o1 / o3 系列) · DeepSeek 团队(R1 / R1-Zero) · Hunter Lightman 等(OpenAI,过程奖励模型)

2020s

扩散模型:从噪声里长出分布

Diffusion Models — Growing a Distribution out of Noise

2020 年,Ho、Jain 与 Abbeel 的 DDPM 把一条看起来像物理的程序——把图像一步步加噪直到变成高斯,再学着把它一步步去噪——做成了能在 CIFAR-10 上打出 FID 3.17 的生成模型。

Jonathan Ho、Ajay Jain、Pieter Abbeel(DDPM) · Yang Song、Stefano Ermon、Jascha Sohl-Dickstein(分数 / SDE) · Robin Rombach 等(潜扩散 / Latent Diffusion)

2020s

混合专家:稀疏激活的大模型

Mixture of Experts — Sparsely Activated Large Models

2023 年 12 月,Mistral AI 放出 Mixtral 8×7B 的开放权重:总参数约 467 亿,但每个 token 只激活约 129 亿。它在多数公开基准上匹配或超过 Llama 2 70B,推理成本却按“激活参数”而不是总参数来付。

Noam Shazeer(稀疏门控 MoE,2017) · William Fedus、Barret Zoph、Noam Shazeer(Switch Transformer) · Albert Q. Jiang 等(Mixtral)

人工智能系统1 篇
系统与安全1 篇