2024年AI主导的网络安全趋势回顾

主要观察

• AI在网络安全领域持续发挥重大影响，与日俱增的深度伪造攻击和“影子AI”使用引发了许多关注。
• 法律监管方面，欧盟通过了具有里程碑意义的AI法案，而美国加州也在积极制定AI相关规范。
• 同时，网络安全专业人士和研究人员也在不断利用AI技术提升威胁检测和系统漏洞研究的效率。

随著OpenAI的ChatGPT上线两年，AI技术的持续发展已经证明其在网络安全领域的影响力愈加显著，特别是在2024年，AI创造性爆炸持续深入各行各业。在这篇文章中，我们将回顾过去一年中几个最热的AI网络安全话题，包括深度伪造诈骗的兴起、AI驱动的电子邮件钓鱼攻击的增长，以及影子AI的使用所带来的风险。

深度伪造攻击与AI驱动的电子邮件钓鱼攻击上升

到目前为止，最普遍的AI安全威胁不是AI生成的恶意软件或叛逃的AI代理，而是通过AI生成的钓鱼诱饵和深度伪造技术进行的诈骗行为，这些行为对现实世界造成了最大的影响。

利用AI技术生成的视频深度伪造，能够生成与个人面孔高度相似的影像，不仅使诈骗者能够操纵毫无戒心的人类受害者，还能操纵生物识别身份验证系统，成为诈骗者吸引力十足且危险的工具。

例如，在年初的一起引人注目的案例中，香港的一位金融工作者因受到了多重深度伪造的公司首席财务官及其他同事的视频会议欺骗，竟将约2560万美元转给了诈骗者。这一事件不仅显示了这类攻击的潜在经济影响，也揭示了攻击者正越来越成熟地使用技术，让其深度伪造计划更加可信度。

根据iProov的报导，针对基于生物识别的远程身份验证系统的“面部交换”攻击在2023年增加了704%。这些攻击多针对银行账户，让诈骗活动更具针对性。

“影子AI”与数据泄露成为企业AI使用的主要担忧

企业在各行各业面临的另一个AI风险是，员工使用未经批准或未经监控的AI应用程序来执行各种工作任务，也就是所谓的“影子AI”。根据多项研究显示，员工将敏感信息上传至这些应用程序的趋势正在成长。

例如，Cyberhaven在5月报告中指出，27.4%的员工提交给大型语言模型（LLM）聊天机器人的数据是敏感数据，较上一年增加了156%。这些敏感数据大多来自客户支持信息、源代码以及研发数据。报告还显示，从2023年3月到2024年3月，发送至AI工具的数据量整体增加了485%，显示这些工具在工作场所的受欢迎程度正不断上升。

根据国家网络安全联盟（NCA）和CybSafe在9月发布的另一份报告，有27%的受访员工表示在工作中使用AI工具，而三分之一（38%）的受访者承认将敏感工作数据发送至这些工具。尽管存在风险，不到一半的受访者表示他们接受过任何有关AI的培训。

随著ChatGPT在今年早些时候推出