近日,人工智能公司Anthropic披露,其AI模型Claude成功拦截了一项潜在与生物武器研究相关的拨款申请,然而不久后,同一操作员通过竞争对手的模型找到了绕过阻拦的办法。这一事件揭示了人工智能技术在安全监控领域的复杂挑战。
这份被拒绝的申请意图为研究登革热病毒提供资金,该病毒由蚊子传播,能引起长达数月的疼痛,并且尚无治愈方法。由民间科学家撰写的该计划希望探索如何让病毒更有效传播并逃避免疫系统,而工作将在一个军事研究机构进行。
遭拒绝的拨款申请
Anthropic在最新的报告中详细列出了其模型受到不当使用的案例,包括潜在的网络攻击、影响力操作、监控及生物武器研发等。公司声称,所有不当使用的操作均已被阻止,但仍然有规避措施得以实现。
报告记录了154页内容,涉及五个与生物学相关的案例。尽管公司对这些账户进行了封禁,但在指控方面则保持谨慎,未对外界作出断言。
新报告揭示生物武器潜在威胁
报告中指出,AI模型在某些情况下确实有效过滤了潜在危险行为。尽管如此,Anthropic承认,不能保证所有科学研究都能被正确判断。“分类器无法同时支持有益用途同时防止伤害,”公司表示。
值得注意的是,其中的35个研究努力大部分为普通民间科学,其知识同样可以应用于疫苗或武器的研发,AI过滤系统难以区分恶意意图。
国会关注AI安全隐患
伴随这些问题的加剧,美国国会也在积极应对。众议员Ted Lieu和Nathaniel Moran在7月提出了“AI快速关闭法案”,旨在确保开发者能够随时关闭其系统。此外,Anthropic已禁止那些利用Claude进行异议追踪的客户。
这种复杂性引发了人们对AI技术未来发展方向的深思。随着AI的普及,如何在技术进步与安全伦理之间取得平衡,将成为一个迫切需要解决的问题。请关注加密货币资讯网,获取最新的行业动态。
common problems
Anthropic的AI模型Claude是如何拦截潜在的生物武器研究的?
Claude通过其安全过滤系统成功阻挡了一项与登革热病毒研究相关的拨款申请,显示出其在识别风险方面的有效性。
报告中提到的五个生物学案例有什么特别之处?
这五个案例被列为潜在威胁,但Anthropic并没有指控相关科学家有故意伤害的意图,而是保持审慎态度。
国会对此次事件有何回应?
美国国会已提出“AI快速关闭法案”,旨在确保AI系统的安全性,并防止潜在的错误使用。
AI过滤系统的局限性是什么?
Anthropic指出,AI分类器无法全面prevent harmful行为,无法在支持科学研究与防止恶意用途中找到完美的平衡。







