来源时间 本站刊期
一家初创公司想用AI对抗AI生物武器
A Startup Wants to Fight AI Bioweapons With AI
值得关注生物安全者一读:其模型称可识别自然与AI工程病原体,但尚待外部验证。
判断
受审查的测试者和国家实验室正在评估Omnii Defense,他们必须判断0到1的威胁评分是否可付诸行动,因为访问仅限邀请且尚无外部评估发表。
依据
首席执行官Eric Nguyen将生物防御描述为一场即将到来的军备竞赛,称公司觉得生物安全领域“在防御方面远远落后”。Radical Numerics生物防御负责人Christine Parthemore称Omnii相较Felix等基于匹配的工具是“阶跃式变化”:边缘模型不是将序列与已编目生物库比较,而是学习与生物功能相关的模式,并给出结合非自然性与功能预测的0到1威胁评分。在一项实验中,公司从训练数据中移除了Bundibugyo病毒;仅移除该物种时,模型仍检测到推送来的Bundibugyo序列中有33%属于某种病原性;移除整个属时,它标记了22%的病毒序列,而非AI工具基本未显示风险迹象。Broad Institute的Bronwyn MacInnis说,对AI所赋能之事保持警惕是明智的,但提醒说,从检测到信号到判定病原体是否具有真实后果、或威胁是否被工程化,仍有很大跨度。
- 移除物种33 percent
- 移除整个属22 percent
没写清 来源未给出该威胁评分的假阳性率、独立基准,也未说明经审查的测试者或国家实验室迄今发现了什么。
下一步 留意Radical Numerics或具名国家实验室是否在公司自身实验之外发表Omnii Defense评估结果。