来源:经济观察报(ID:eeo-com-cn)，作者:任、周，实习生:陶。
当人类很难用肉眼识别AI合成的痕迹，进而可能被AI欺骗时，有人想到了用AI技术打败AI技术的办法。互联网公司对人工智能大模型和GPT产品非常谨慎。到目前为止，已经有几十家公司开展了大规模的模型内测，但都是在内测，没有一家对外开放。|||今年以来，国内出现了一些面向C端的“虚拟女友”AI产品，可以模拟人类和用户用AI聊天，但很快被微信等平台封杀。
图片来源:由** AI工具生成。
一个包头老板被艾诈骗430万元的消息瞬间传遍朋友圈。三天后，安徽警方公布了又一起因艾变脸引发的诈骗案，涉案金额高达百万元。
这种利用人工智能技术的新型犯罪也迅速引起了监管部门的关注。中国互联网协会5月24日在关伟撰文称，ChatGPT和GPT-4等技术的应用已成为信息技术领域的热点，引发了公众对AI技术的广泛关注和热情。但随着深度合成技术的开源，深度合成产品和服务逐渐增多。利用“AI换脸”、“AI换声”等虚假音视频实施诈骗、诽谤的情况屡见不鲜。他还提醒，面对利用AI技术的新型骗局，广大市民需要提高警惕，加强防范。
AI换脸技术直到最近才成熟；早在2019年就风靡全球。2019年，换脸技术DeepFake的出现，引起了极大的伦理和法律争议。但是，当时的技术已经证明，“一键变脸”至少在技术上是没有门槛的。
但是，技术的细节迭代还是发生了。比如，相对于之前那些肉眼可以轻易识别的，当生成式AI技术浪潮爆发，AI的变脸变得越来越无痕。
创新工场AI子公司、港股上市公司CTO张发恩告诉记者，随着AI技术的快速发展和研究的深入，AI的瑕疵会越来越小。“技术是好的，但有时会被犯罪分子利用。”张发恩也是unnc的客座教授。曾任百度AI云事业部首席架构师、技术委员会主席。
技术和国防
“现在已经到了大规模集中讨论AI风险的关键时刻。”接受记者采访时，清华大学教授、博士生导师沈阳告诫。他研究AI和大数据已经十几年了。
沈阳今年也在搭建大模型平台。他理解技术进步的速度，也理解大众面对新技术的无奈。他承认，AI技术有非常积极的应用价值，但其不好的一面也应该引起重视。
按照沈阳的判断，AI变脸引发的问题会让我们经历一段时间的混乱，这对当下社会的整体应对提出了很高的要求。而且，这种乱象会长期蔓延。
“会比互联网或者移动互联网早期的混乱时间更长。互联网和移动互联网毕竟还是工具，但AI可能是自我觉醒的新物种，它真的能挑战人类的存在。”沈阳说。
国外ChatGPT产品已经对外开放，暴露出更多的风险。据了解，OpenAI已经选择暂停GPT-5的开发，为期6个月。麻省理工学院人工智能和基础交互中心物理学教授、未来生命研究所所长安东尼·阿吉雷(Anthony Aguirre)表示，GPT的军备竞赛是不幸的，它更像是一场自杀竞赛。“我们正面临一场由企业不负责任、应用广泛、监管缺失和大量未知因素导致的完美风暴。”
安易科技联合创始人兼CTO陈希妍告诉记者，能否识别AI产生的是什么，将成为未来人类的基本生存技能。因为这些能力缺一不可。
当人类很难用肉眼识别AI合成的痕迹，进而可能被AI欺骗时，有人想到了用AI技术打败AI技术的办法。
独特科技的首席执行官张文浩认为人工智能安全是下一个好的方向。最近出现了大量专门针对AI安全的公司，他们的创业方向是识别AI合成图片和视频的痕迹，以及识别伪造的声音。
陈希妍对此也很感兴趣。他说，虽然他从事AI视频行业，但他现在一眼就能看出一个视频是不是AI合成的，但如果出现类似的产品，他愿意购买。毕竟，很难预测技术会发展到什么程度。
在过去三个月获得投资的AI公司中，有两家安全公司，分别是奇智科技和云科安信。
一家大型模型公司的技术人员告诉记者，AI安全是学术界非常重要的研究领域。升级为工程产品后，“整个大模型行业都在讨论这个问题”。
但是，AI是否真的能看透AI，目前还存在争议。
沈阳告诉记者，国外已经有一些AI安全技术的雏形，可以自动检测一个图片或者视频是不是AI合成，但是目前的技术还不太成熟。
技术难点是AI产生的数据量太大，跟不上检测的计算能力。而且很多AI内容都是经过多次合成的。如果只经过一次合成，相对容易识别。如果是多次合成，现在的技术很可能找不到合成特征。
张发恩对此更不乐观。他直言，用AI看透AI是个伪命题。有一种人工智能模型训练方法，叫做生成式判别对抗训练。在这种训练方式下，有两种AI模型，一种是“假”模型，一种是辨别模型。同时训练这两个模型，当“假”模型产生的内容越来越逼真时，将无法分辨真假模型。基于这个逻辑，我们不能靠AI来曝光AI。
他觉得还是要提高人们的防范意识，公众要接受更多的知识普及，至少要知道技术发展到哪里了，要有更多的警觉。
沈阳补充说，防范人工智能风险还需要人工智能生成平台和社会传播渠道的合作。比如AI变脸或变声，内容生成平台要自动编码，表示是AI合成的，起到提醒的作用。
陈希妍也同意这一点。他认为，一个AI内容诞生后，应该让人们知情，这更符合价值观和伦理观。另外，沟通渠道也有自己的责任。一旦发现账户涉嫌诈骗，应及时封杀。
选择与进退
事实上，“AI变脸”的风险不仅限于诈骗。也被广泛应用于影视剧二次创作、搞笑恶搞视频、表情包制作中，其中法律风险和侵权纠纷不断涌现。
醒目显示，上海鱼腥草信息技术有限公司因一款ai换脸APP被网络名人中多名博主起诉，法院判决该公司公开赔礼道歉并赔偿经济损失。今年3月，一张女子在地铁上用AI软件“一键脱衣”的照片被恶意传播。
张文浩告诉记者，近期“AI变脸”问题频发的根本原因是很多AI模型开源，开发工具多，使用门槛迅速降低。恶意用户用开发工具生成AI内容也简单明了。“技术上，已经到了这样的程度。”清华大学人工智能博士张文浩研究基础模型、图像视觉等领域多年。
目前互联网厂商或者正规企业都没有做针对C端的AI产品，但这也给了灰色地带机会。
派拓网络大中华区售前总经理董春涛发现，包括AI变脸在内的AI攻击之所以会愈演愈烈，与网络犯罪门槛的逐渐降低密不可分。暗网的一些攻击工具可以非常便宜——甚至不到10美元，还有软件即服务模式、ChatGPT等AI工具，为新手和业余黑客打开了大门。董春涛有多年网络安全背景，派拓网络是一家关注AI生成内容工具对网络安全影响的公司。
派拓网数据显示，从2022年11月到2023年4月初，ChatGPT相关的域名注册量每月飙升910%。期间，团队从DNS安全日志中发现，相关抢注域名的被盗量增幅高达17818%。
图灵三巨头之一蒙特利尔大学的教授Yoshua Bengio此前就警告过这种风险。他在解释为何签名赞成暂停超级AI的研发时说，自从ChatGPT发布以来，人们发现不那么谨慎和自律的玩家会更有竞争优势。如果是这样的话，降低谨慎和道德监督的水平会更容易出人头地。
AI在斯蒂芬妮爆炸后，一家互联网厂商告诉记者，类似的产品在他们公司已经存在很长时间了，可以生成比网上效果更好的歌曲，可以和歌手在录音棚录制的歌曲媲美。但由于担心版权风险等不可控风险，一直没有针对C端用户推出。
互联网公司对人工智能大模型和GPT产品非常谨慎。到目前为止，已经有几十家公司开展了大规模的模型内测，但都是在内测，没有一家对外开放。
上述大模型公司的技术人员告诉记者，互联网公司都在努力以无害化的方式产生内容。如果不能解决安全问题，大型号产品是不会真正上线的。
大模型加持的AI产品和之前的AI产品完全不一样。上述互联网创客举例说，比如Tik Tok此前推出的一键卡通脸、AI穿衣等。这些AI游戏都是定制的，结果都是事先定好的。但是大模型加持后，AI生成的结果是完全随机的。“这真的很可怕，根本无法控制。”
AI创业公司的态度同样谨慎。独有科技产品主要面向B端客户，为各行各业的KOL或专业人士、广告营销公司、有营销创新需求的企业提供一键视频生成功能。这个产品已经成熟，可以引入C端用户。但张文浩目前不考虑C端市场。
行业和边界
目前面向C的AI公司也不被投资人看好。记者统计了最近三个月AI领域的投融资情况。B端公司11家，C端公司1家，B端和C端都做的公司5家。投资机构不敢投资C端产品。他们担心如果产品出了问题，投资就白费了。
这种教训是有先例的。2019年8月底，陌陌旗下产品ZAO也推出了一键换脸功能。当时，ZAO一夜成名，迅速登上苹果应用商店免费榜榜首。然而，仅仅三天后，ZAO就因侵犯隐私被质疑，被工信部约谈，随后下架。2021年3月，另一款人工智能变脸产品Avatarify也经历了类似的过程。这款高居中国App Store免费榜榜首的AI变脸产品，在3月2日凌晨悄然从App Store下架。
今年以来，国内出现了“虚拟女友”等一些面向C的AI产品，可以模拟人类和用户用AI聊天，但很快被微信等平台封杀。据张文浩观察，目前国内平台不支持该产品的推出。
记者在各电商平台搜索“AI换脸”和“AI换脸套餐”并未显示任何结果，而社交平台更多的是防范AI换脸诈骗。
北京市嘉伟律师事务所律师赵占领告诉经济观察报记者，目前AI变脸和AI变声并不是一个行业，而是AI行业孕育的灰色地带，通常涉及侵犯肖像权或声音相关权利。使用他人的肖像和声音需要得到他人的授权。如果用AI变脸，用AI变声，就构成刑事犯罪，需要承担相应的刑事责任。
赵占领表示，利用AI变脸变声的基本边界是得到他人的同意，不能侵犯其合法权益，更不能利用这些技术手段从事犯罪活动。
赵占领表示，在今年之前，没有专门与人工智能技术相关的法律，传统法律，如民法典、民法通则和刑法的其他相关法律法规仍然可以适用，对它们进行规范没有问题。从今年开始，4月份，国家网信办发布了生成式人工智能的征求意见稿，专门对AI技术和AI产业的特有现象进行了规范，特别是对AI软件和AI服务的提供者，赋予了他们更多的责任和义务。
赵占领提到，AI换脸即使不以营利为目的，也可能构成侵权，甚至纯粹为了娱乐的换脸剪辑也可能构成侵犯他人肖像权。
北京闻仲律师事务所律师赵虎表示，人工智能技术的发展引发的犯罪或侵权行为相对较新，刑事侵权行为的类型也很多。但他表示，AI变脸作为一项技术是中立的，这是一个原则，AI技术相关的行业不应该被否定。赵虎认为，如果在明知会在犯罪现场或者侵权现场使用的情况下，仍然提供AI技术，这种情况的提供者也是行为人的共犯或者构成共同侵权。
5月16日，OpenAI创始人兼首席执行官山姆·奥特曼(Sam Altman)出席了美国国会举行的主题为“AI监管:人工智能的规则”的听证会，并表示希望与政府合作加强AI监管。他提出了三点建议:成立一个新的政府机构，向AI制造商提供许可证；为AI大模型创建一套安全标准；指派第三方专家独立评审AI产品各方面指标。此外，奥特曼支持创建一个类似国际原子能机构的国际组织，负责建立各国监管AI的统一标准，以统一方向。
张文浩也希望有更明确的法律法规，让人工智能产业的发展前景更加明朗。
本网站声明:网站内容来源于网络。如有侵权，请联系我们，我们会及时处理。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信，我们会及时处理和回复。
原文地址"ai换脸技术原理，ai换脸技术叫啥"：http://www.ljycsb.cn/qukuailian/216777.html。
微信扫描二维码投放广告
▲长按图片识别二维码
