AI安全刻不容缓：换脸骗了430万，小作文坑了科大讯飞56亿

学习科技周边要努力，但是不要急！今天的这篇文章《AI安全刻不容缓：换脸骗了430万，小作文坑了科大讯飞56亿》将会介绍到等等知识点，如果你想深入学习科技周边，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

问道者 李 百

深度合成AI技术被骗子利用，成功迷惑一位“老朋友”，同时由AI创建的小作品使得一家上市公司股价瞬间下跌。深度合成和生成式AI技术所导致的安全问题已经迫在眉睫。

01

AI技术衍生的安全问题

发生在福州的AI诈骗事件至今仍不时刷屏。

一个骗子利用深度合成AI技术，冒充福州一家科技公司老板的朋友，通过微信视频与他交流。“朋友”只是想让“资金”借这位老板的公司过个桥，“耳听为虚，眼见为实”有图有真相，10分钟内，老板信以为真，未验证是否收到款，就给这个“朋友”转了430万。

向真朋友核实后，老板方才发现上当报了案。尽管有336.84万元被成功拦截，但仍有96.16万元转移成功。

在这起事故中，使坏的不是AI，而是骗子，骗子利用了时下火爆的深度合成AI技术，从而让人类防不胜防。

由AI衍生的安全问题并非个案。

5月24日，紧跟ChatGPT搞出了星火大模型的上市公司科大讯飞因为生成式AI写作的一篇小作文，导致盘中股价差点跌停，收盘时跌幅4.26%，市值蒸发了56亿。

小作文的题目为“科大讯飞被曝涉嫌大量采集用户隐私数据”，文中还提及“科大讯飞可能通过其语音识别服务非法获取用户个人信息”。

事实是，有百度AI文心一言的用户要求“写一篇科大讯飞出现重大风险的警示文”，这篇小作文最后出现在了一个股票交流平台上，引起股民关注导致股价暴跌。

更早之前，甘肃平凉一位市民利用生成式AI技术，泡制了一条虚假信息发布在网上，引发了一波舆情。

不久前，网上出现川建国被逮捕和泽连斯基投降的照片，后来的事实证明，同样是有人指挥AI造了假。

02

人工智能缺陷逐渐暴露

当下，人工智能产业在全球各地风起云涌，我国也不例外。

工信部发布的数据显示，我国人工智能核心产业规模超过4000亿元，比2019年同期增长6倍多，企业数量超过3000家，比2019年同期增加15%，在制造、交通、医疗、金融等重点行业形成了一批典型应用场景。

比如继ChatGPT之后，我国的高科技企业马上百花齐放。百度先出个了文心一言，随后，科大讯飞出了个星火，阿里出了个通义千问，360出了个智脑，腾讯出了个混元，华为出了个盘古，而更多的企业则在摩拳擦掌跃跃欲试。但林子密了，什么鸟都会有。

深度合成技术能否被合法应用，是关系互联网信息内容安全的大事。虚假信息一直是互联网治理的痛点与难点，深度合成技术的广泛应用对虚拟信息的治理提出了更高的要求。

数据驱动的第二代人工智能在可解释性和稳健性方面的不足已经逐渐显现，导致安全事件屡屡发生。当前人工智能行业最重要的命题是如何在高质量发展和高水平安全的前提下，实现良性互动。张钹，中国科学院院士，清华大学人工智能研究院名誉院长，感到忧虑。

中国信息通信研究院发布的《人工智能白皮书（2022年）》指出，随着人工智能应用暴露出各种风险和挑战，以及人们对人工智能认识的不断深入，人工智能治理已经成为全球各界高度关注的议题，对可信安全的呼声不断增多。

不能否认，AI本身并不违法，是不当使用AI的人违法了。大势之下，完善相关法律已是迫在眉睫。我们应该如何预防涉及AI使用安全问题随时可能在我们身边发生？

03

国内防范AI滥用的盾

ChatGPT火了之后，国内资本市场人工智能概念也被引爆了。一些高科技企业，主营网络信息安全业务，成为抵御人工智能滥用的盾牌。其中，美亚柏科是其中的代表。

美亚柏科是央企国投集团数字/科技板块的重要企业、国内电子数据取证行业龙头和公共安全大数据领先企业、网络空间安全与社会治理领域国家队。今年来，美亚柏科的股价距离高点已经上涨了超过1倍。

在2017年，美亚柏科成立了AI研发中心，积极开展人工智能技术的深入研究。2019年，专门成立了一个研究团队，以应对可能出现的安全问题，因为人工智能技术的深度合成技术。

通过运用技术能力，使用对应的技术手段，我们可以防止人工智能的滥用和恶意行为。这就像用对抗黑魔法的白魔法一样。”美亚柏科董事长滕达表示，公司聚焦生成式人工智能和AI生成内容的检测识别技术，针对深度合成文本、视频、图像的检测鉴定技术、生成式人工智能技术、人工智能安全取证技术等方面的应用场景，不断打磨出更加安全、可信、可靠的人工智能技术产品，为打击利用人工智能的新兴涉网犯罪提供了技术武器。

比如美亚柏科的“慧眼”视频图像鉴真工作站，就是一面坚硬的盾。经过实践验证，该方法能够检测目前绝大部分深度伪造视频和图像篡改技术，并且其检测准确率处于国内领先地位。它不仅对利用传统伪造手段篡改的影像能生成理想的鉴定效果，对利用深度伪造技术进行换脸、美颜、生成人脸、同图或异图复制篡改的影像同样像火眼金睛，一鉴洞穿。

美亚柏科建议网民在涉及金钱的事情上保持警惕，务必通过多种方式确认对方的身份。同时也要关注个人的信息安全，不随便点击不明的短信链接、邮件链接，不随意扫描不明来源二维码、下载APP，还要特别注意不轻易提供人脸等个人生物信息给他人。

终于介绍完啦！小伙伴们，这篇关于《AI安全刻不容缓：换脸骗了430万，小作文坑了科大讯飞56亿》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！