AI造假盯上了头部带货主播

在数字化时代，信息传播的速度比以往任何时候都快，但这也意味着虚假信息的传播同样迅猛。

最近，“三只羊卢某某录音”的瓜大家都有吃到吧，就算没怎么关注的朋友，也可能看到过网上对三只羊的各种调侃甚至谩骂。

事情的起因是一段关于三只羊公司董事长卢某某的“酒后录音”在网络上疯传。

在这段录音中，一个和卢某某本人非常相似的声音大肆地说着一些违背伦理的话，引来公众对卢某及三只羊公司的各种批评与指责。

然而，随着合肥市公安局高新分局的介入，事件竟然得到了反转。

警方通报指出，经过侦查，所谓的录音实际上是伪造的，是由一名25岁的男子王某某利用AI技术合成的。

图源：微信

有意思的地方来了。在警方通报后不久，一家名为深圳市睿域科技有限公司的AI公司出面发表了声明。

该公司宣称，嫌疑人王某某使用的其公司自主研发的Reecho 睿声AI配音大模型平台，由卢某此前直播片段的约30秒录音进行克隆，并通过文本进行生成。

图源：睿域科技

这无疑一下给事件增添了更多的戏剧性。有网友戏称，这算不算是三只羊无意间打了个“超硬核广告”？

毕竟，能够以假乱真到最后让警方介入调查，这款AI软件的生成能力可以拿出去吹半年了。

玩笑过后，我们需要重视的是这么强的AI能力，这么低的使用门槛，会不会导致以后更多类似的事件发生？

该公司也说了，目前，公司已经启动内部审核机制，进一步加强用户身份认证与音频生成的安全管控措施，确保技术合法合规应用。

事实上，无论是从网红的角度还是直播带货的角度，三只羊并不是第一个AI“受害者”，但事情大到被警方调查通报，它确实是第一个。

为什么这么说呢？因为就在前不久，另一位直播带货行业的新任巨头董宇辉也遭受了AI造假的困扰。

就在他出差去巴黎看奥运会的那段时间里，网络上突然多出一大堆“董宇辉语录”，聊女人，聊生活啥都有，甚至很多短视频中还挂着小黄车链接，想以此坑“丈母娘”们一笔。

这不得不让董宇辉在回国后的直播中公开表示，网传的很多言论都是通过AI合成的，并非出自他本人之口。

图源：抖音

“声音仔细听是能听出来区别的，说我在评价女性还是家庭，我哪说过这话。”

“网上传好多就是那种AI合成的，我搜才发现我有那么多话题全AI合成的，然后那一整个账号发的几乎没有一句话是我真正说过的。”

这些话语的背后，是董宇辉的无奈，是AI技术在流量经济中正被恶意利用，成为某种程度上操纵舆论、损害个人名誉的工具。

再回到三只羊事件上，其实该录音被所谓曝光后不久，大杨嫂（大杨哥老婆）就已经出面澄清录音不实，还因此发了很长的一段话来表达自己的不满。

但在当时网友们却更倾向于认为她只是在强行解释，为自家公司洗白。

而直到她的言论被官方证实后，情况和想象中好像又不太一样，部分网友对三只羊的抵触情绪竟然还不减反增？

比起录音的真实性，他们更关心这起事件的发酵，是否成为了掩盖三只羊卖假货的手段，更有网友直言：“卖假货没得洗”、“转移视听，man”。

图源：微信

仅从假录音事件来看，不免让人有些细思极恐。

现在市面上有很多AI软件、AI应用为了拉前期的用户量，大多都以简单的条件甚至是无条件免费开放给用户使用，下载完即可开始使用。

从最开始的文字对话，到现在文生图、图生图、图生视频等应有尽有，普通人在微博上分享的一张自己的美照很可能就变成了别人利用的素材。

AI技术的发展，本应为人类带来便利和进步，但在不法分子手中，它却变成了制造混乱和伤害的工具。

这不仅对个人名誉造成了影响，也对当前的诚信体系构成了挑战。

毕竟，三只羊的事件虽然目前已告一段落，但仍然有许多隐患等待着有关部门去解决。

谁也不想哪天突然在某些恶劣视频上看到自己的脸，亦或是因为自己的某张照片害家里人被换脸技术骗了一大笔钱。

AI音频，还只是其中小小的一部分。

从国内骗到国外的AI技术

刚才介绍了这么多现在AI的功能，AI音频只是其中之一，更狠的AI造假莫过于“AI一键去衣”、“AI换脸”等。

在北京警方侦破的一起案件中，一名犯罪嫌疑人白某某就利用AI技术，制作并贩卖了近7000张裸照！是的，裸照，AI弄的。

图源：微博

他原本是一家互联网公司的技术员，却动起了歪心思，打算利用这项技术来赚钱。

白某某通过境外社交媒体接触到了这项“一键去衣”的技术，于是他开始了自己的犯罪行为。

他使用的人工智能软件，能在几秒钟内对被害人的图片进行“一键去衣”，批量生成相应的图片。

这些图片的受害者包括学生、教师、同事等，涉及女性人数众多。并且，白某某还在QQ上向351个人贩卖过相关图片，每张图片的售价仅为1.5元。

这项技术操作起来十分简单，去衣只需要一键就能完成，因此白某某定价不高，希望能利用低价吸引更多的订单。

但事实上，据专家透露，他所利用的这款AI技术并不是真能一键“去衣”，而是AI在人物模型的基础上重新生成了一张你想要的图片。

但即便如此，白某某的行为依然造成了极恶劣的社会影响，要知道那些裸照里面有他的同事，甚至还有学生！

无独有偶，另一名男子虞某玩得更花，他利用AI换脸技术制作定制视频，并以此牟利。

在社交软件上，虞某创建了“浏览群”和“私人定制群”，传播AI换脸的淫秽视频吸引、招揽观看者。

虞某根据视频的长度、清晰度等难易条件，按照5分钟300元、10分钟500元等标准来收取定制的费用。

也就是说，只要你提供人物、视频长度等各种需求，什么明星、身边朋友、你想要的他都能满足，只是价格有所不同。

这玩意儿可不能细想，不然听起来的确是个诱惑力与犯罪感十足的操作。

然而，在国外，AI换脸来得就更直接了，被人直接用来诈骗，而且骗的钱还不少。

一个著名的案例则是近期的“AI马斯克”骗取美国一老人69万美元退休金事件。

诈骗分子利用AI技术，制作出特斯拉CEO马斯克的虚假视频，并利用这些视频为各种虚假产品或“投资”进行背书，承诺高额的投资回报。

在这些视频中，AI马斯克都会承诺各种快速回报的激进投资机会，口型与声音都高度吻合，看起来极为真实。

图源：BBC截图

这些案例都揭示了AI技术在个人隐私侵犯与诈骗中的潜在危害。

AI换脸技术可以轻易地模仿任何人的面貌和声音，制造出极具欺骗性的视频。这不仅对个人隐私造成了极大的威胁，也为诈骗活动提供了新的工具。

AI造假技术的滥用，让我们不得不面对一个严峻的现实：在数字时代，眼见不一定为实。

我们需要更加警惕，提高自己的信息识别能力，同时，也需要法律和技术的共同进步，来应对这一挑战。

AI的正确打开方式

人工智能（AI）技术，作为当代科技进步的象征，正如一把锋利的双刃剑，正以前所未有的速度改变着我们的生活和工作方式。

AI技术的核心在于其强大的数据处理和学习能力，这使得它在医疗、教育、交通等多个领域展现出巨大潜力。

但同样的能力，也使得AI成为潜在的危险源。在缺乏有效监管的情况下，AI技术很轻易的就能变成被用于制造虚假信息、侵犯个人隐私，甚至进行犯罪活动的工具。

从这方面看来，AI的确是把双刃剑。

当然了，作为工具，它本身是没有好坏之分的，区别就在于使用它们的人。

但作为技术的供应方，你总不能在用户使用你的应用前要先给他来个“政审”吧？或者先来个犯罪倾向问卷？都不合适。

你能做的，很大概率只能在大模型输出的内容中加上一些违禁词，亦或是多一道最终审核的步骤。

然而无论怎么做，都注定是一个增加成本的操作，时间成本、人力成本、经济成本都有可能增加，但这却不是不去做的原因。

当然了，这也并不是开发者单独一方的责任，面对AI技术所将面临的挑战，我们需要共同努力，去建立尺度更合适的技术使用规范和伦理框架。

开发者要做的，是确保技术向善，避免技术被滥用；而用户也应提高辨别能力，并合法合规地使用AI。

总的来说，在AI时代，科技与伦理的平衡至关重要。

AI技术的发展，应当伴随着对伦理和法律的深刻思考。

只有通过全社会的共同努力，才能确保这把双刃剑为人类社会带来更多的福祉而非伤害。

作者 | 刘峰