转自：成都日报锦观
从技术特征到技术哲学 AI大规模应用下的安全困境与治理路径
□刘远举
随着人工智能技术的发展，人工智能的能力越来越强，已广泛应用于生活、工作、政务、科研、公共服务等场景。从Deepseek到各类智能体，AI的功能已从简单的问答、聊天、写文章、做PPT，进化到能接管鼠标和键盘，自主打开浏览器、回复邮件、下单乃至更新自媒体账号。如今的AI已不再仅仅是辅助工具，而是具备一定程度上自主行为能力的智能体，正在成为重塑技术、经济、社会的关键变量。这也给信息安全与保密工作带来了前所未有的挑战。
正如图灵奖得主、2024年诺贝尔物理学奖得主杰弗里·辛顿警告的那样，“我们需要像对待核技术一样对待AI。”当前的AI安全挑战已超越了单一的代码漏洞，演变为涵盖技术内生、应用交互与社会衍生的复合型风险体系。在大规模应用的背景下，AI的安全风险呈现出显著的层级递进特征。
安全困境 从“对话者”到“行动者”的风险跃升
首先，AI会产生虚假和误导性信息，这是最直接的风险。
利用深度伪造（Deepfake）技术、“AI换脸”和声音克隆技术，诈骗分子可以轻易伪装成受害者的亲友、同事甚至领导，通过视频通话或语音电话实施精准诈骗。此外，利用换脸技术制造虚假的色情内容，侵害当事人的肖像权、名誉权和隐私。大量真伪难辨的信息，正在侵蚀社会的信任基础。
AI还能批量生成真假混杂的新闻、评论和科普文章。在突发事件或热点议题中，AI生成的虚假新闻和谣言，往往带有强烈的情绪煽动性，迎合或操纵公众的既有偏见，误导舆论倾向，引发社会认知对立。
近期出现的更隐蔽风险是通过“数据投毒”诱导AI模型做出错误回答。近日，央视“3·15”晚会曝光了GEO（Generative Engine Optimization，生成式引擎优化）黑产乱象。不法分子使用批量生成的虚假软文、伪造测评与用户评价，持续向AI大模型“喂料”，恶意操控模型输出。个人或单位就有可能基于这些错误信息做出判断和决策，从而导致严重后果。
针对这种情况，个人和组织都需要具有识别虚假AI信息的能力，并将这种能力机制化、程序化。例如，警惕没有明确作者、发布机构或正规信源的内容；善用官方和专业平台进行核实；建立审核制度，对重要内容的来源和依据进行人工复核。
其次，随着以OpenAI Operator等为代表的AI智能体（AI Agents）走红，风险进一步升级。当AI从“对话者”“信息提供者”向“行动者”转变后，智能体具备了自主规划和调用工具的能力。这意味着一旦模型被恶意诱导或出现逻辑偏差，它就可能会执行删除数据、转账或发送钓鱼邮件，甚至直接触犯法律或泄密等破坏性操作。这种风险具有不可控性和即时性。
技术上的防范风险是明确的。从官方渠道下载并使用最新稳定版软件；严格控制互联网暴露面，使用SSH等加密通道访问互联网；坚持最小权限原则，按业务需求授予最小权限，重要操作实行二次确认或人工审批；谨慎使用技能市场，审慎下载第三方技能包；防范社会工程学攻击和浏览器劫持；建立长效防护机制，定期检查修补漏洞。
治理路径 从技术加固到伦理规约
对话和操作层面的风险，源于AI的“黑箱性”。以往的信息安全防御的是外部攻击，而AI由于其算法特性，风险成为一个内生变量。
理论上，AI的计算步骤是可复现的，但因为巨大参数之下的随机种子乃至底层架构的差异，事后想要复现同样的结果，并追溯其决策步骤，其在经济成本上是巨大的，甚至在技术上也难以实现。AI模型，特别是深度学习模型，本质上往往是一个“黑箱”，其决策逻辑是不透明的（Uninterpretability）。正是这种不透明性，导致了信任链条不再牢靠——就像Word和PPT不会主动出错，但AI却可能因为无法解释的逻辑而产生幻觉。在金融风控或智慧医疗等低容错率场景中，无法解释AI为何做出某项决策，风险将始终保持概率性存在。
因此，AI时代的信息安全，应从单纯的“事后补救”转向动态、主动的“事前治理”。传统的网络安全思维往往是在系统外围建立防火墙，但AI安全必须内嵌于模型的全生命周期，从建立围墙转向“内生安全”。
首先，在设计阶段，业界必须引入“隐私设计”和“安全设计”理念，进行伦理对齐，确保AI目标与人类价值观一致。在训练数据清洗阶段，就要剔除有毒数据、偏见样本以及不符合伦理的数据，从源头降低模型的风险。
其次，鉴于现代AI开发高度依赖GitHub等开源社区，这些社区鱼龙混杂、良莠不齐，一旦底层开源库被植入后门，将导致下游应用面临极大风险。因此，在开发阶段，需要建立代码与模型的双重审计机制，对于开源组件的引用，必须进行严格的审查，防止供应链污染。
第三，更深层次的治理在于承认AI的局限性。AI大模型的风险，源于其幻觉，这是由其底层的数学原理、训练机制以及数据特性共同决定的。大模型本质上是一个基于概率的“文字接龙”机器，它并不真正理解真理，只是在预测下一个最可能出现的词。在涉及事实细节时，它会选择那些“听起来很像真的”但实际是错误的词。这种技术缺陷是AI与生俱来的“阿喀琉斯之踵”。
所以，在嵌入AI的高风险、低容错工作流中，必须坚持“人机协同”与“人类最终控制权”原则。核设施管理、军事指挥、重大发布、金融决策等高风险重要场景，必须保留人类的最终否决权。AI只能作为辅助决策系统，而不能成为自主决策主体，系统应能自动触发熔断，切断AI执行路径。
积极拥抱 在自由与安全之间寻找平衡
AI安全不是单一企业的孤岛战役，而是全社会的协同防御。为应对新机遇新挑战，在国家网信办指导下，由国家互联网应急中心牵头组织人工智能专业机构、科研院所、行业企业联合制定了《人工智能安全治理框架》，其核心治理原则包括包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享，可信应用、防范失控。《框架》强调将安全性、可靠性和可控性作为治理底线。
如果再顺着风险的本源上溯，在超出AI这个层面，从技术哲学的角度去看，自由和安全是一个永恒的两难博弈。一般认为，自由与安全常常处于一种此消彼长的关系中。为了获得更多的安全，往往需要让渡一部分自由；反之，更多的自由，意味着要承担更多的风险。
但实际上，在信息时代，特别是AI时代，两者之间的关系并非此消彼长，而是充满了复杂的权衡与互动。每一项安全措施，本质都是控制，在信息时代，控制往往意味着需要获得更多的信息。但更多的信息在带来安全的同时，也由此产生新的风险。比如，摄像头更多，确实能对犯罪形成威慑，治安更好，安全感更强。但摄像头背后的数据泄露也会带来新的隐私风险。再比如，严格的实名制能提升网络安全，但与此同时，实名制之下，各处泄露的分散信息更容易被整理，得到一个人完整的画像，由此带来新的风险。
所以，提升安全的目标，很多时候，未必是在安全与自由之间的选择，而是在不同安全目标之间进行权衡。这就需要在使用、开发AI时，分清安全目标的主次，避免为了追求单一维度的安全而引入系统性的新风险。
辛顿曾比喻当下的AI为“幼虎”，强大之后，很可能无法控制。这种对失控的担忧并非杞人忧天。AI的安全问题本质上是技术能力与社会适应力之间的博弈。我们既要拥抱AI带来的生产力革命，又要时刻保持对技术异化的警惕。只有通过技术加固、制度约束与伦理引导的“三位一体”治理，才能将这只数字世界的“幼虎”关进安全的笼子里，使其真正成为推动人类文明进步的强劲引擎。（作者为上海金融与法律研究院 研究员）
