电影《极限审判》里有一个让人印象深刻的设定:洛杉矶警探雷文被绑在“审判椅”上,一个名为马多克斯的AI法官用90分钟决定他的生死。AI判定嫌疑人有罪,概率将近98%,嫌疑人需要自证清白、洗脱罪名。
这是科幻电影中的一幕,但仍旧给观众带来了很大的思考空间。
如果有一天算法更深程度、更大范围参与决策,那会是一个怎样的未来?
其实我们每天都在面对类似的“算法决策”。外卖平台用算法推荐餐厅,短视频用算法“猜你喜欢”,银行用算法决定你的信用额度。这些决策渗透在我们生活的细节里——你看到的每一条推送、被推荐的每一家店、被审批的每一笔贷款,背后都有算法在默默工作。大多数时候,它们运转良好,让生活更便捷、更高效。
《2026年国际人工智能安全报告》将人工智能风险概括为三类:一是恶意行为者滥用人工智能所产生的风险,二是人工智能系统出现故障或失控所产生的风险,三是人工智能广泛应用所带来的系统性风险。这一分类为理解算法决策安全提供了一个比较清晰的框架。
专家认为,当算法进入医疗、教育、就业等领域时,一个局部偏差可能通过自动化、规模化和跨系统连接被迅速放大,最终演变为系统性社会风险。例如,一个招聘算法的偏差可能影响数以万计求职者;一个信贷模型的错误可能造成某些群体长期被排除在金融服务之外;军事决策系统中的一次误识别,则可能直接造成人员伤亡甚至引发危机升级。因此,对于涉及生命安全、基本权利和重大公共利益的决策,尤其需要坚持实质性的人类监督,建立算法影响评估、持续监测、审计问责和申诉救济机制,防止局部技术问题演变为更广泛的社会风险。
近年来,我国相继出台了《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》等一系列文件,在全球范围内率先建立了较为完整的人工智能监管框架,这体现了我国对算法安全治理的高度重视。
但从实践来看,算法安全监管难点不少,很大一个原因在于监管对象发生了根本变化。传统监管主要针对固定的产品、明确的行为和相对稳定的规则,而人工智能算法,特别是大模型和智能体系统,则具有持续学习、不断迭代、多场景应用等特点,能力边界始终处于变化之中。技术的发展速度远远快于规则更新的速度,因此容易出现“监管追着技术跑”的情况。
技术在进步,它在帮助人,而不是取代人。真正的答案,是建立一套与技术进步同步的治理框架:让算法知道边界在哪,让开发者知道责任在哪,让用户知道申诉的门在哪。为算法参与决策系上“安全带”,它才能既跑得快,又跑得稳。
