OpenAI推出全新安全框架，确保高度智能模型安全可控”

OpenAI宣布将扩大其内部安全流程，以应对潜在的有害人工智能 (AI) 风险。该公司正在成立一个全新的“安全顾问小组”，该小组将由董事会直接监管，以确保其在模型发布过程中的决策权。此外，OpenAI还计划设立一个独立的“准备团队”，负责在模型发布前对其进行风险评估和量化。

OpenAI正在开发一种名为“准备框架”的方法，以跟踪、评估、预测和防范日益强大的模型所带来的灾难性风险。这种框架将涵盖四个主要的风险类别，分别是网络安全、虚假信息传播、模型自主性以及化学、生物、放射性和核威胁等领域的风险。一旦某个模型被评估为具有较高风险，OpenAI将暂停其部署并寻求解决方案。

OpenAI的团队将根据四个风险类别对每个模型进行评级：网络安全、“说服”（例如虚假信息）、模型自主性（即自行行动）和CBRN（化学、生物、放射性和核威胁，例如创造新病原体的能力）。OpenAI假定了各种缓解措施：例如，模型对于描述制作凝固汽油或管式炸弹的过程保持合理的保留态度。在考虑已知的缓解措施后，如果一个模型仍然被评估为具有“高”风险，它将无法部署，如果一个模型存在任何“关键”风险，将不会进一步开发。

除了上述措施之外，OpenAI还将加强其技术安全和外部监督。公司正在与外部机构合作，以加强对OpenAI模型的安全审查。此外，OpenAI已经建立了一个名为“准备团队”的新部门，该部门的职责是在模型发布之前对其进行风险评估和量化。该团队将定期进行安全演习，以针对公司的业务和自身文化进行压力测试。

OpenAI的首席科学家Ilya Sutskever和工程副总裁Helen Toner已经离开了董事会。这两位都是OpenAI的高管，他们的离开引起了外界对OpenAI高层人事的担忧。然而，OpenAI解释说，这两位高管的离职是由于个人原因，而非因为他们在模型安全方面的立场不同。OpenAI已经向外界承诺，将聘请一位独立第三方审计机构来对公司的安全措施进行检查。