大模型安全挑战：上海在行动

上海举办国家网络安全宣传周分论坛，探讨大模型安全挑战

近日，2024年国家网络安全宣传周上海地区活动在徐汇区大模型主题分论坛成功举办。据上海市委网信办总工程师杨海军介绍，我国已有188款大模型完成备案，上海市共有34款，其中徐汇区21款。当前，上海还有两批次17款大模型正在备案过程中。此次活动的成功举办展现了模速空间生态集聚效应。

自2022年底以来，以大语言模型为代表的生成式人工智能技术与应用得到了快速的发展，为广大公众和各行各业带来了便利。然而，这也引发了业界和公众对人工智能安全和伦理问题的关注。为了应对这一挑战，我国及上海市持续出台法规政策，推动创新与依法治理相结合。2023年8月15日，《生成式人工智能服务管理暂行办法》正式实施，成为全球生成式人工智能服务监管立法的先驱。

2024年世界人工智能大会上，“上海人工智能安全治理实验室”正式挂牌。杨海军表示，他们将持续平衡发展和安全，推动人工智能技术在各个行业的广泛应用，同时加强安全保障，提高安全性、可靠性、可控性和公平性，使人工智能更好地造福人类社会。

当天，论坛以“大模型浪潮下的安全挑战”为主题，深入研讨了大模型最新的技术进展和安全问题。来自学术界、科研机构、企业和信息安全领域的人士共同探讨了大模型科研动态、发展趋势、技术实践以及安全挑战等议题。

上海市信息安全测评认证中心总工程师李宏达分享了《生成式人工智能内容安全指引及备案》的经验。智巡密码（上海）检测技术有限公司副总经理、高级工程师刘军荣则从《密码技术守护大模型安全》的角度进行了主题演讲，探讨了密码技术与大模型的融合发展。此外，多家单位的技术专家还参与了关于《大模型浪潮下的安全挑战》的圆桌讨论。