跳到正文

行业动态Wired AI

来源时间 本站刊期

这些 AI 专家想要公开进行高风险研究

These AI Experts Want to Do High-Stakes Research Out in the Open

想撬开前沿实验室的闭门研究,但公开高风险课题的代价也不小

判断

这件事改变AI研究者和资助方的下注对象:原先只能等OpenAI、Anthropic开放模型细节,现在要判断是否支持Trillium Labs把后训练和递归自我改进放到公开实验里;公开后外部能复现挑错,高风险方法也会更容易被看见和模仿。

依据

Nathan Lambert 与 Tom Zick 创办非营利机构 Trillium Labs;WIRED 10月2日报道其当天启动。两人说要把实验细节公开,让外部科学家能研究和复现,而不是像 OpenAI、Anthropic 那样只让强模型通过应用或应用程序接口(API)被访问。机制是:后训练(模型建成后的微调)和递归自我改进(RSI,让 AI 参与研究来开发新模型)需要大量算力与反复试验,闭门做挡住外部复核;公开做则把可复现性变成外部挑错入口。材料里的对照是,小米公布了某次大模型训练的运行细节,斯坦福研究者正在公开预训练 Marin;Trillium Labs 还会看强化学习(用奖励好结果、惩罚坏结果来改进模型)如何塑造模型性格。它已从 Schmidt Sciences、Halcyon Futures 等拿到未披露金额,目标是总共筹集 $40 to $100 million,并计划在未来18个月花 $30 million 在训练上。

  • 筹款目标$40 to $100 million
  • 训练支出$30 million
  • 执行窗口18个月
Trillium Labs 的筹款目标、训练支出与执行窗口。

没写清 材料没说公开到什么粒度:是论文、训练日志,还是代码与权重,也没说谁有资格做 RSI 这类高风险实验。

下一步 核对 Trillium Labs 是否在18个月内执行 $30 million 训练预算,并发布首份后训练或 RSI 实验的公开记录。

本期其他新闻

  1. 行业动态

    Apple 将限制 Mac 磁盘访问,因 AI Agent 风险“大幅”增加

    The Verge AI

  2. 行业动态

    用自主 AI 重新定义企业智能

    MIT Technology Review AI

  3. 行业动态

    在 Amazon SageMaker AI 上用多轮 RL 微调搜索 Agent

    AWS Machine Learning Blog

  4. AI工具

    Meta 开源代码,让你制作 Muse AI 设备

    The Verge AI

  5. AI工具

    使用 Amazon Quick 和 Adjudicated Query 模式对数千份租约进行合规扫描

    AWS Machine Learning Blog

  6. AI工具

    用 Amazon Bedrock AgentCore 为 Claude Desktop 添加安全的 Web Search

    AWS Machine Learning Blog

  7. 精选深读

    GPT-6 系列模型指南

    OpenAI

  8. 精选深读

    开源 AstaBrief,Asta 中的快速报告生成模型

    Hugging Face