2024 年 9 月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，旨在应对人工智能带来的各类风险挑战，推动人工智能健康发展和规范应用。
一、人工智能安全治理原则
包容审慎、确保安全：鼓励创新，对人工智能研发及应用采取包容态度，同时严守安全底线。
风险导向、敏捷治理：跟踪人工智能发展趋势，分析安全风险，动态调整治理措施。
技管结合、协同应对：综合运用技术和管理措施，明确相关主体安全责任，发挥多种治理机制作用。
开放合作、共治共享：推动全球人工智能安全治理国际合作，形成具有广泛共识的治理体系。
二、人工智能安全治理框架构成
安全风险方面：梳理人工智能技术自身及应用过程中的安全风险隐患。
技术应对措施方面：提出提升人工智能产品及应用安全性的技术手段。
综合治理措施方面：明确各方防范应对安全风险的措施手段，推动协同共治。
安全开发应用指引方面：为不同主体开发应用人工智能技术提供安全指导规范。
三、人工智能安全风险分类
人工智能内生安全风险：
模型算法安全风险：包括可解释性差、偏见歧视、鲁棒性弱、被窃取篡改、输出不可靠、对抗攻击等风险。
数据安全风险：存在违规收集使用数据、训练数据含不当内容或被 “投毒”、标注不规范、数据泄露等风险。
系统安全风险：有缺陷后门被攻击利用、算力安全、供应链安全等风险。
人工智能应用安全风险：
网络域安全风险：涉及信息内容安全、混淆事实误导用户、不当使用引发信息泄露、滥用于网络攻击、模型复用缺陷传导等风险。
现实域安全风险：可能诱发传统经济社会安全风险、用于违法犯罪活动、两用物项和技术滥用风险。
认知域安全风险：包括加剧 “信息茧房” 效应、用于开展认知战等风险。
伦理域安全风险：有加剧社会歧视偏见、挑战传统社会秩序、未来脱离控制等风险。
四、技术应对措施
针对人工智能内生安全风险：
提高模型算法可解释性、消除安全缺陷和歧视性倾向、提高鲁棒性。
遵循数据安全规则，加强知识产权保护，严格筛选训练数据，加强数据安全管理，符合跨境管理和出口管制要求。
提高人工智能系统透明性，加强平台风险防护，确保算力平台安全，关注供应链安全。
针对人工智能应用安全风险：
建立安全防护机制，防止输出不可信结果，确保数据输出符合法律法规。
设置服务提供边界，提高追溯能力。
判别不准确输出结果，防范滥用收集用户信息的系统，加强对生成合成内容的检测。
在算法设计等过程中防止产生歧视，对重点领域人工智能系统设置应急管控措施。
五、综合治理措施
实施人工智能应用分类分级管理，建立风险等级测试评估体系，加强最终用途管理。
建立人工智能服务可追溯管理制度，明确标识要求。
完善人工智能数据安全和个人信息保护规范。
构建负责任的人工智能研发应用体系，推进版权保护和高质量数据集建设，完善伦理审查制度。
强化人工智能供应链安全保障，推动开源和开放生态建设。
推进人工智能可解释性研究，提高可解释性和可预测性。
建立人工智能安全风险威胁信息共享和应急处置机制。
加大人工智能安全人才培养力度。
建立健全人工智能安全宣传教育、行业自律、社会监督机制。
促进人工智能安全治理国际交流合作，分享最佳实践，共同制定国际标准。
六、人工智能安全开发应用指引
模型算法研发者安全开发指引：践行 “以人为本、智能向善” 理念，重视数据安全和个人信息保护，确保训练环境安全，评估模型算法偏见，结合法律要求评估产品成熟度，做好版本管理，定期开展安全评估测试，制定测试规则和方法，评估对外界干扰的容忍程度，生成测试报告。
人工智能服务提供者安全指引：公开产品和服务信息，告知适用范围和注意事项，支持使用者行使监督和控制责任，让使用者了解精确度并做好解释说明预案，检查责任说明文件，建立风险监控机制，评估抵御风险能力，报告安全事故和漏洞，明确纠正措施和终止服务权利，评估对使用者的影响。
重点领域使用者安全应用指引：审慎评估潜在影响，开展风险评估与定级，定期审计系统，了解数据处理和隐私保护措施，使用高安全级别密码策略，增强网络和供应链安全能力，合理限制数据访问权限，确保操作符合保密规定，有效监督人工智能行为，避免完全依赖决策。
社会公众安全应用指引：提高安全风险认识，仔细阅读合同和服务协议，提高个人信息保护意识，了解数据处理方式，关注网络安全风险，注意对儿童和青少年的影响。
随着人工智能的快速发展，安全问题日益凸显。《人工智能安全治理框架》的发布为各方提供了明确的指导和规范，有助于共同防范化解人工智能安全风险，推动人工智能技术造福人类。
《人工智能安全治理框架》1.0版全文下载地址：链接: https://pan.baidu.com/s/1MuFXodFEXNXojwd-4Mv6Yw，提取码: yumi
