拟音、换脸,AI诈骗新套路不断!“眼见不一定为实”如何防范?
来源:福州日报 时间:2024-10-21 16:55

  日前,小米集团董事长雷军的AI语音包刷屏了。一些网友用AI克隆雷军的声音,或是吐槽不文明行为,或是表达对他人的不满,言辞尖锐,十分逼真,再次引发公众对于技术加速迭代的深层次思考。

  近年来,人工智能技术加快发展,在带来创新和便利之际,也一并带来了侵权、诈骗等违法行为的可能。如何防范AI技术被滥用?AI诈骗上当后怎么办?近日,记者对此进行了相关采访。

  用10秒就能克隆任何人的声音 

  雷军的声音是如何被克隆的?近日,记者在某微信公众号上发现一文章标题,“仅用10秒,用AI克隆任何人的声音”。顺着文章指引,记者注册了某款AI音频软件,发现软件上有上百种真人声音模板,其中不少都是公众人物,部分模板使用次数高达近29万人次,直接转发2500多次。

  这类“拟音”软件使用门槛很低。记者随机选择了其中一款公众人物的声音模板,输入文本,几秒钟内,与文本相对应的声音内容就被成功克隆出来了,语气、音色都十分逼真,还能直接下载、转发。网络上类似的AI声音软件并不少见,不仅如此,还有各类AI换脸软件和教程层出不穷,覆盖图片、视频等,在手机上就可以操作。

  工信部信息显示,伴随着人工智能快速发展,合成技术门槛持续降低,逐渐向低算力、小样本学习方向演进,利用手机终端即可完成,对算力和数据的要求下降明显。同时,随着AI大模型的技术加持,正逐步由面部合成向全身、3D合成发展,效果更加逼真。

  去年4月,通过微信上的智能AI换脸技术,电信诈骗分子佯装成福州市某科技公司法人代表郭先生的好友,在10分钟内骗取郭先生430万元。最终通过警银联动,成功紧急止付涉嫌电信诈骗资金330多万元。郭先生表示,当时骗子给他打视频,在视频中他也确认了面孔和声音,才放松了戒备。

  业内人士表示,如今AI技术正加速向网络诈骗、虚假信息等领域渗透。如在一些网络平台上假冒明星、公众人物生成视频图像,吸引网民。此外,AI技术也可能被用来规模化地实施违法犯罪,如批量、自动维护网络账号,发送虚假信息,模拟人工在线聊天等。

  “用科技打败科技” 

  今年4月,北京互联网法院宣判全国首例“AI声音侵权案”,原告获赔25万元。法院表示希望通过此类案件裁判,为新业态新技术划定应用边界,并亮明兼顾保护人格权益与引导技术向善的司法态度。

  目前,我国法律法规也对AI深度伪造作出了一定规制。2022年12月施行的反电信网络诈骗法加强预防性法律制度构建,加大对违法犯罪人员的处罚,对尚不构成犯罪的人员也要从严处罚,没收违法所得,处违法所得1~10倍罚款或者10万元以下罚款,由公安机关拘留。

  2023年1月施行的《互联网信息服务深度合成管理规定》也明确,“提供人脸、人声等生物识别信息编辑功能的,应当提示深度合成服务使用者依法告知被编辑的个人,并取得其单独同意”“可能导致公众混淆或者误认的,应当在生成或者编辑的信息内容的合理位置、区域进行显著标识”等。

  眼下,福州也正试图“用科技打败科技”。10月6日,刘某通过一网络社交平台接收兼职任务,利用QQ视频通话和手机号码对提供兼职者进行诈骗,福州移动AI外呼智能化系统智能筛选出刘某的作案号码,精准识别GOIP设备,协助公安部门迅速追踪并精准抓获嫌疑人。

  福州移动相关负责人介绍,AI外呼通过试点提升反诈回呼模型稽核能力,制定回访研判机制和规则,研判存在诈骗诱导的电话号码、电子邮件及短信,识别GOIP设备,向警方推送线索,进而助力诈骗窝点精准打击。截至目前,系统已协助公安机关完成181个重要线索核查,打击人数170余人次,缴获设备70余台。

  此外,依托e体+智慧赋能警务实战平台,福州公安部门打通刑侦、经侦、网安、合成侦查中心等警种资源共享,建成应用网络信息拦截系统和警银联动预警平台,对于新型网络诈骗实行快速响应、快速研判,以及推进快侦、快破、快抓逃、快追赃、快挽损。

  牢记“三不一多”谨防受骗 

  “近年来,电信网络诈骗类型层出不穷,诈骗手段不断更新,让人防不胜防,成为一个极其复杂的社会治理问题,需要社会各界通力合作、齐抓共管、综合治理。”市公安局台江分局相关负责人说。

  成立福州大数据反诈联合专班,研发福州市互联网诈骗防范拦截系统,加大电信网络诈骗犯罪案件办案惩治力度,建立不良信用通信用户名单库和违法失信惩戒联动机制……近年来,新型网络诈骗已引起公检法及电信、金融监管等多部门的关注,打击网络诈骗多元共治的治理模式正在逐步形成。

  要扼制AI仿造技术的滥用影响,细致完善的法律规范配套措施必不可少。北京市盈科(福州)律师事务所律师罗锦斌认为,AI仿造技术不仅可能涉嫌侵害他人肖像权和名誉权,甚至可能涉嫌犯罪。民事侵权案件中受害方难以举证证明其损害结果、侵权行为与损害结果的因果关系等,这种情况下,网络服务提供者的责任又该如何监管和加强是需要考量的。因此,需要细化法律条款,完善配套措施,才能让法律条款落到实地。

  针对性的反诈宣传也必不可少,尤其是针对一些老年人、学生等群体。罗锦斌认为,未来AI可根据大数据创造出无比接近真实的“真实”,“要通过持续的宣传教育改变大众观念,让人知道眼见不一定为实,有图不一定有真相,提升对网络信息的辨别力”。

  公安部门也再次提醒广大公众,各类电信网络诈骗手法虽然形式多变,但万变不离其宗,公众要牢记“三不一多”原则:未知链接不点击,陌生来电不轻信,个人信息不透漏,转账汇款多核实。一旦遇到诈骗分子,要及时报警,防止财产损失。

附件下载

扫一扫在手机上查看当前页面