揭开AI换脸的消费圈套：“杨幂”“刘亦菲”轮流带货，最低29.9元教你学“技能”
“活泼在巴黎时髦秀场上的明星竟然也开端带货了”“杨幂、刘亦菲竟然卖起了减肥茶”，顾客在直播间里看得一头雾水，但却因“目睹为实”屡次张狂下单，被骗了还浑然不知。更有甚者，打出“包教包会”的旗帜当起了工作练习师。“练习费用”从29.9元到上万元，包含东西、许诺包教包会，顾客缴费后才知道所谓的包教包会，是“只售出无售后”。从“AI换脸”到“Sora”,当顾客们还沉浸在科技对国际的重塑力上时，有这样一些商家早现已构建起了一条低成本牟暴利的灰色工业链。
“主播”变“明星” 带货骗你没商量
晚上9点，点进电商直播间，“杨幂”和“刘亦菲”竟然卖起了减肥茶，不久后“迪丽热巴”也加入到直播带货中。在短短4个小时的时刻里，依靠着“明星同款”“顶流力荐”的标签，直播间内的产品销量已达上千件。
“追直播追了好几天，成果追了个‘李鬼’，简直欺骗了我的爱情和信赖。”顾客李响怒火中烧道。
顾客在观看直播购物时，会由于对某个明星的喜欢和信赖而购买产品。部分商家正是抓住了顾客的这一心思，开端凭借AI换脸技能诱导顾客消费购物。
北京商报记者在实践对比了十余个同类型“明星”直播间后发现，通常状况下，只需直播间里的“明星”不做过于大幅度的动作，真的很难分辨出真伪。
但只需直播时刻一长，仔细观察就不难发现，该直播间内的“女明星”假如动作稍大，就会露出“面具”之下的原本样貌，或许呈现“面具”出画的现象。
当目睹也纷歧定为实，针对疑似“AI换脸”的画面，顾客怎么防备？工业观察家陈一凡指出，大面积遮挡脸部，或在脸部前方挥手，将导致人脸检测失效，顾客能够由此判别是否运用了相关技能。
“骗术”当“技能”输出 玩多元变现
光直播带货还不过瘾。现在部分商家还做起了更“高档”的生意，将现已纯熟于心的“骗术”，当作“技能”输出。
顺着某科普博主的账号，北京商报记者进入一个独立站点，而该博主科普AI技能的身份背面，掩藏着一条完好的“AI换脸”套餐出售链。
除了价格29.9元的“AI换脸”教程，该博主还供给人脸模型定制。全体定制服务在2000元至上万元不等，详细价格视质量要求和运用场景而定，能够在全流程协助科技“小白”完结“AI换脸”的一系列操作，完成视频通话、直播等多个场景下“换脸”。
而服务于“技能流”的套餐则愈加简略直接。经过电商渠道直接检索“AI换脸模型”，无法显示出相关成果，但用于练习人脸模型的src（源视频）资料包却可在渠道揭露兜销。
资料包价格低至16.8元，最贵的仅29.8元。北京商报记者购买了其间一款资料包，其间约含图片4000张，大部分是对应艺人的影视剧截图和个人相片。而在明星之外，该商家还供给“群众脸女带货主播”“中年男路人”等资料包。
北京商报记者以顾客身份暗访了某资料包出售商家，该商家向记者介绍，“假如是纯新手，不引荐购买，需求有必定建立此类模型的根底。”而在记者的再三追问下，该商家表明，也有能够直接运用的人脸模型，但需求脱离渠道暗里购买，女人面孔居多价格更高，男性面孔较少。
想售后？不支持任何理由退款和换货
这笔存在于“技能流”层面的买卖也并不省心。
经过“AI换脸”从事虚拟主播的柒柒谈道，“模型用得久了，渐渐呈现了一些运转不稳定、脸部有锯齿、表情无法辨认的问题，其时砸进去近万元做的模型，但商家现已联络不上了，假如别的找人修正模型，简直要重新开端，又是一大笔费用”。
在暗访中，北京商报记者留意到，简直一切的“换脸”明星资料包商家产品概况，都在产品介绍中写明：“本店为虚拟产品，下单后主动发货，不支持任何理由退款和换货。”
聚集在人脸模型定制服务上的问题同样是售后。北京商报记者以咨询换脸明星进行直播带货为由与供给人脸模型定制的商家刘先生取得联络，对方称需求预先付出99元作为定金，随后能够进行一个开始的“换脸测验”，看看作用再判别是否要进行进一步的需求对接。
当触及假如终究的制品无法到达满足的作用怎么进行售后服务时，刘先生三缄其口，一直逃避交货后的保护问题。
顾客赵月告知北京商报记者，最初为了“AI换脸”充了月卡，成果生成视频竟然需求花168元成为终身会员，到现在渠道却没有征兆地忽然下架了“AI换脸”功用。
此类状况并非个例，在黑猫投诉中以“AI换脸”为关键词检索，呈现了近百条投诉，其间包含“换脸”作用不合心意但渠道不受理退款等。
严峻危害顾客权益 渠道需强监管
关于“AI换脸”所触碰到的版权及危害顾客权益等问题，商家们也纷繁预先表态“不背锅”，在多位供给人脸模型定制服务的事务介绍中，均说到“不接任何违背品德或许法令的相关事务，事务范围仅限于个人文娱、合法直播范畴”。
依据《民法典》相关规则，公民享有肖像权，这意味着别人不得随意运用肖像，同样地，运用明星的脸部图画也或许触及到侵略明星的肖像权。
北京市中闻律师事务所律师赵虎指出，假如运用“AI换脸”技能来制造虚伪的代言人形象，误导顾客购买产品或服务，那么这种行为就或许构成虚伪宣扬。一起，人脸作为辨认个人身份的重要信息，假如被不妥运用，也或许触及到名誉权的问题，应由商家承当相应的法令职责。此外，产生数据走漏的状况，需求查明原因并确认职责，当由于AI东西本身存在缺点导致的数据走漏，那么AI东西的供给者应当承当相应的法令职责。
那么买了假明星带货的产品，顾客要不要负连带职责？
关于顾客而言，赵虎进一步指出，顾客在购买产品时仍需坚持理性，留意区分直播间内容的真伪。当顾客根据对直播内容的信赖和爱好进行购买，他们通常是受害者，而非职责方。假如顾客由于商家的虚伪宣扬或侵权行为而遭受丢失，有权向商家维权，可及时向渠道或相关部分告发，保护本身权益和商场秩序。
事实上，相关规则早已为“AI换脸”划定了“底线”和“红线”。2023年起实施的《互联网信息服务深度组成办理规则》明晰，任何安排和个人不得运用深度组成服务制造、仿制、发布、传达法令、行政法规制止的信息，深度组成服务供给者应当以明显方法提示深度组成服务技能支持者和运用者承当信息安全职责。
本年全国两会，全国政协委员靳东再谈“假靳东”，再度回应了犯罪分子冒名其身份，经过运营“高仿”交际账号，再以出资、爱情等各种理由索要钱款这一事情，他对媒体表明，期望从法令层面加大对网络渠道的监管，让网络空间愈加明亮清明。
相关业内人士也向北京商报记者表明，现阶段，虽然不少渠道现已明晰要求商家在运用“AI换脸”技能时注明身份，以保证AI组成视频的发布者身份明晰可辨，但在利益驱动下，仍存在企图经过含糊身份来躲避职责或误导顾客的商家。此外，渠道监管的不到位和处分力度不行，也或许使得一些商家对规则置之不理。
陈一凡指出，新质出产力的确以其颠覆性和原创性的特色，为传统出产格式注入了新的生机，为经济社会发展供给了新的动能，催生出很多新工业，成为推进社会进步的重要力气。新科技的运用往往带来商场的革新，但假如被过错运用，或许导致商场信号失真，资源配置不合理。
北京商报沸点调查小组
相关文章
直播间里，“迪丽热巴”“杨幂”“刘亦菲”都在卖货，AI换脸全套模型3.5万元，当心惹祸上身！
“点进直播间一看，‘迪丽热巴’居然在直播卖货。”近来，有网友点开直播间，却发现正在卖货的竟是当红女星。但是再定睛一看，这些带货“明星”很快露出了马脚——身穿中式服装，正在卖力带货的“明星”们，其实仅仅...
编 辑丨王俊
图 源丨AI
直播带货公司“三只羊”的风云又起。
一段疑似集团创始人卢文庆醉酒后的音频流出，音频说到客服投诉、竞争对手和三位女主播联系，一时引发了很多评论。
9月26日，安徽合肥市公安局高新分局承认，相关网传音频为AI假造，在犯罪嫌疑人（男，25岁）的电脑、手机和制造AI音频的网站中发现了假造相关音视频的依据，并经部、省专业组织查验判定。现在犯罪嫌疑人被依法采纳刑事强制方法。
27日清晨，深圳言域科技有限公司发文称，三只羊事情运用的是“Reecho睿声”大模型，由卢文庆30秒的直播片段克隆生成，现在在加强安全管控方法。
一石再激千层浪。
传神的口气、脏话、安徽口音让许多人不行相信音频为AI生成，而这家好像“名不经传”的公司则错综复杂——上一年12月树立，注册资本100万元，面向C端的产品能够瞬时克隆声线，声响商场中现已有刘亦菲、杨幂等人物能够加进“购物车”……
AI声响克隆开展到哪一步了，是不是普通人就能随意完结“以假乱真”？AI内容的标识方法行将出台，这次深度假造事情又意味着哪些法令应战？
“没有哪个产品敢为所欲为克隆人声”
天眼查数据显现，深圳言域科技有限公司在上一年12月刚刚树立，注册资本100万元。产品官网显现，商业伙伴现已有Keep、央视网等。
21世纪经济报导记者实测了旗下To C产品“Reecho睿声”，克隆声响的流程十分简略：首要上传一段音频文件，作为练习资料；随后AI主动学习这段音频，生成一个克隆人物；最终就能够输入文本，用克隆人物的声响念出任何内容。
简略来说，这是一套不必十分钟能够完结个性化定制的文生音模型。假如是“瞬时克隆”，用户只需求上传5～8秒的声响样本；假如是精度更高的“专业克隆”，需求1分钟～60分钟的练习资料。
专业克隆的本钱门槛不高，198元就能够定制一个人物，千元出面能定制6个人物。
但这套技能和产品形式或许要打上一个问号。
AI技能博主数字生命卡兹克在文章中剖析，现在的声响克隆技能首要有两种：一种叫TTS（Text-to-speech），即文生音。只需求几十秒的资料练习AI模型，再让大模型念出指定文本。长处是本钱低、时刻快，而缺陷是心情、中止、口气都不行传神。
另一种为SVC，也能够理解为AI变声。区别是并非把文本简略转为音频，而是需求真人先录制一段音频，再用AI替换声线。上一年爆红的AI孙燕姿歌唱，运用的便是SVC克隆技能。
一位看到新闻后去试用了睿声产品的AI业界人士告知21世纪经济报导记者，“他们的大模型质量一般，（生成的音频）10秒以内的还能听，10秒以上就不行了。”
他剖析，要到达假造卢文庆音频的传神作用，AI无法做到一键生成，但假如用户有心“一段一段生成去硬凑，也是能够做到的。”
长时间用该产品配音的用户踯躅说，生成音频的重音、口气并不天然，“原始音频是什么口气，后边（生成的）台词便是什么口气，我都是生成之后用修音软件重新处理”。而睿声的首要吸引力是能够彻底仿照音色。
更大的问题或在于此——在这款向一切人免费敞开的产品里，用户能够“仿照”任何人的音频文件，并且能揭露发布。
睿声产品主页专门有一个“声响商场”板块，21世纪经济报导记者在9月27日下午进入商场时，现已看到了杨幂、刘亦菲、丁真、成龙等人的声响。虽然生成的音频听起来不行天然，但运用十分便利，只需像参加购物车相同，把克隆声响添加到人物库里即可。
“其实在国内，根本没有能够为所欲为克隆声响的产品敞开（给用户）的。”前述业界人士有些惊奇于这款产品的“粗野”。
业界更常提起的模范生做法是剪映和豆包。本年年初，剪映和豆包AI别离上线了音色克隆功用，卖点都是几秒内创立自己的克隆声响，但在运用过程中，用户需求点击话筒，实时录制一段自己的声响。
前述业界人士表明，“这样就限制了条件，你只能克隆你自己的声响，没方法为所欲为克隆别人。”而睿声答运用户上传任何现已录制好的音频文件练习AI，无疑埋下了危险。
现在国内的深声科技、小米、华为、百度、字节跳动等公司，都有布局人声克隆技能，但罕见现已成形的产品。像深声科技的声响定制服务，产品面向的也是企业端，而非一切普通用户。
垦丁律师事务所联合创始人欧阳昆泼剖析称，声响克隆或许触及民事侵权，声响也归于一种品格权益，具有人身专特点。未经授权的情况下运用别人声响能够构成民事侵权。本年4月，北京互联网法院一审就开庭宣判了全国首例AI生成声响品格权侵权案，确定在具有可识别性的前提下，天然人声响权益的维护规模可及于AI生成声响。
渠道是否应担责？
问题不仅仅在于声响侵权，而是更广规模内运用的不行控性。
“跟着AI技能开展，生成组成技能不仅在传神程度上日臻成熟，技能东西的可及性及易用性极大进步。当人人均可低本钱地制造、传达深度假造的内容时，实际与虚拟的边界不再清楚明了，互联网信息传达的根本逻辑遭到应战。”欧阳昆泼指出。
Data Bridge商场研讨剖析，在2021年到2028年间，声响克隆的商场规模将到达约4446.08亿美元，并以挨近26%的复合年增加率增加。如何将这些深度组成技能关进笼子现已成为全球规模内的课题。
欧阳昆泼向21世纪经济报导记者解说称，关于渠道的职责确定，现在仍首要以红旗准则和避风港准则为参阅。一方面，为了促进技能开展和表达自在，关于渠道课加的职责仍应是抑制的。
另一方面，也跟着渠道对社会大众的影响力越来越大，加之AI、算法等的开展，渠道对其上内容的监管正变得越来越重要。
我国施行的《互联网信息服务深度组成办理规矩》《生成式人工智能服务办理暂行方法》中均对运用AI技能施行违法犯罪行为进行了规制，旨在要求深度组成服务提供者应当执行信息安全主体职责。
具体来看，渠道具有事前防备的职责，《深度组成办理规矩》设立了安全评价、算法存案、内容审阅等事前防备方法；此外，渠道也有过后应对职责——假如深度假造的流言没有在生成之前被阻拦，则需由服务者设置的用户申述和大众投诉、告发进口，并经过现已树立的驳斥谣言机制采纳及时方法进行驳斥谣言。
深圳言域科技有限公司宣称，在收到合肥警方调查取证后，公司启动了内部审阅机制。记者在产品的运用文档中看到，假如要用专业克隆功用，现在需求进行支付宝人脸实名认证，但仍然没有束缚实名制用户克隆声响的规模。
运用文档的底部，有提示用户——“请勿运用咱们的服务克隆或生成任何侵略版权的内容”“咱们生成的一切内容均带有具体日志，主动/人工复审，以及可溯源的隐形音频水印，若发现您违反了相关规矩，咱们保存停止您的服务并上报公安机关等组织的权力。” 但在运用界面，记者没有看到有关提示。
值得一提的是，21世纪经济报导记者也没有在互联网信息服务算法体系上，找到深圳言域科技有限公司的存案信息。
欧阳昆泼表明，睿声公司若没有实行存案职责，对内容审阅、安全评价等职责也没有做到位的情况下，是有或许被监管机关追查相关法令职责的。
欧阳昆泼还弥补道，关于深度组成技能的标识职责，已有相关法规要求在运用组成内容时进行标识，各个交际渠道也已采纳了相关方法，会在AI生成的内容旁标示类似于“本内容为AI生成”的内容。但是，在实际操作中，对AI生成内容标识仍存在必定应战。例如，组成内容经二次传达后，标识就或许被省掉或忽视，导致接收方对内容来历产生误解。这会是接下来各个渠道需求处理的课题。
SFC
本期修改 刘雪莹
21君荐读
官方通报：罚款6894.91万元，暂停运营！“三只羊”抱歉曾志伟，表情“爆了”！知网“控诉”AI查找公司侵权