AI生成的头像正在成为X平台上协调操控的重要工具,德国的研究人员识别出近8000个账户,这些账户使用合成面孔,主要集中在放大政治信息和加密方案上。
“最近在生成性人工智能(AI)领域的进展模糊了真实内容与机器生成内容之间的界限,使人类几乎无法区分这些媒体,”研究指出。
这项研究由鲁尔大学波鸿、GESIS 莱布尼茨研究所和CISPA亥姆霍兹中心的团队进行,发现这些账户中超过一半是在2023年创建的,通常是在可疑的大规模创建事件中。
“在我们的数据收集之前,很多账户是在短时间内批量创建的,这是一种常见模式,通常用于信息放大、虚假信息活动或类似的破坏性活动,”研究人员解释道。
这一发现得到了最近由反对数字仇恨中心进行的平台分析的进一步背景,显示X平台的所有者埃隆·马斯克支持唐纳德·特朗普的政治帖子获得了171亿次观看——是同一时期所有美国政治竞选广告观看次数的两倍多。
“马斯克今年至少有87条帖子宣传了关于美国选举的声明,这些声明被事实核查者评定为虚假或误导性,累计获得20亿次观看。这些帖子中没有任何一条包含社区注释,即X对用户生成的事实核查的称呼,”CCDH报告称。
生成性AI的使用——无论是生成假图像还是文本——都很容易被识别,因为合成面孔账户表现出与合法用户不同的明显模式。“假图像账户的关注者较少(平均:393.35,中位数:60),而真实图像账户的关注者较多(平均:5086.38,中位数:165)。”研究还发现,假账户往往与其关注者生态系统的互动较少,而是发布消息而不回复或与其他账户互动。
研究还强调了特定模式,表明协调活动:“我们注意到1996个假图像账户(25.84%)恰好有106个关注者。我们的内容分析显示,这些账户属于一个参与协调不真实行为的大型假账户集群。”
研究团队的复杂检测方法取得了显著的准确性,研究人员报告称他们的发现几乎有100%的确定性。
研究人员还表示,许多账户的生命周期并不长,超过一半的账户在不到一年内被暂停。
内容分析还揭示了跨多种语言的精心策划的发布模式。研究识别出“可能是自动创建的大型假图像账户网络,这些账户参与了大规模的垃圾邮件攻击。”英语账户主要集中在有争议的话题上,研究人员发现这些账户倾向于处理乌克兰战争、美国选举以及关于COVID-19和疫苗政策的辩论等问题。
除了政治,这些账户还推广加密骗局和与性相关的内容。
展望未来,研究人员计划扩展检测能力,以识别基于不同技术生成的AI图像——例如使用扩散模型而不是生成对抗网络(GAN)。他们还希望改进他们的方法,以找到更多识别他们所分类的“跨社交平台的协调不真实行为”的方式。
编辑:Josh Quittner 和 Sebastian Sinclair
免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。