研究人员揭示了人工智能图像识别工具中的疏忽

【字体: 时间:2024年10月16日 来源:AAAS

编辑推荐:

  一项新的研究表明,人工智能可以帮助人们精确地处理和理解大量数据,但内置在人工智能中的现代图像识别平台和计算机视觉模型经常忽略一个重要的后端功能,即控制图像透明度的alpha通道。德克萨斯大学圣安东尼奥分校(UTSA)的研究人员开发了一种名为AlphaDog的专有攻击方法,以研究黑客如何利用这种疏忽。

  

一项新的研究表明,人工智能可以帮助人们精确地处理和理解大量数据,但内置在人工智能中的现代图像识别平台和计算机视觉模型经常忽略一个重要的后端功能,即控制图像透明度的alpha通道。

德克萨斯大学圣安东尼奥分校(UTSA)的研究人员开发了一种名为AlphaDog的专有攻击方法,以研究黑客如何利用这种疏忽。他们的发现在一篇由UTSA电气与计算机工程系助理教授Guenevere Chen和她的前博士生Qi Xia撰写的论文中进行了描述,并在2025年网络和分布式系统安全研讨会上发表。

在论文中,UTSA的研究人员描述了技术差距,并提供了减轻此类网络威胁的建议。

“我们有两个目标。一个是人类受害者,一个是人工智能。”

为了评估该漏洞,研究人员通过开发AlphaDog识别并利用了对图像的alpha通道攻击。攻击模拟器使人类看到的图像与机器看到的图像不同。它的工作原理是操纵图像的透明度。

研究人员生成了6500张AlphaDog攻击图像,并在100个人工智能模型上进行了测试,其中包括80个开源系统和20个基于云的人工智能平台,如ChatGPT。

他们发现,AlphaDog擅长瞄准图像中的灰度区域,使攻击者能够破坏纯灰度图像和包含灰度区域的彩色图像的完整性。

研究人员在各种日常场景中测试了图像。

他们发现人工智能方面的差距对道路安全构成了重大风险。例如,使用AlphaDog,他们可以操纵道路标志的灰度元素,这可能会误导自动驾驶汽车。

同样,他们发现它们可以改变x射线、核磁共振成像和CT扫描等灰度图像,这可能会造成严重威胁,导致远程医疗和医学成像领域的误诊。这也可能危及患者的安全,并为欺诈打开大门,比如通过改变显示正常腿的x光结果来操纵保险索赔。

他们还发现了一种改变人物形象的方法。通过瞄准alpha通道,UTSA的研究人员可以破坏面部识别系统。

AlphaDog的工作原理是利用人工智能和人类处理图像透明度的差异。计算机视觉模型通常处理红、绿、蓝和alpha (RGBA)图像——定义颜色不透明度的值。alpha通道表示每个像素的不透明程度,并允许图像与背景图像组合,从而产生具有透明外观的复合图像。

然而,使用AlphaDog,研究人员发现他们测试的人工智能模型不能读取所有四个RGBA通道;相反,它们只从RGB通道读取数据。

“人工智能是由人类创造的,编写代码的人专注于RGB,但忽略了alpha通道。换句话说,他们为人工智能模型编写代码来读取没有alpha通道的图像文件。”“这就是弱点。在这些平台中排除alpha通道会导致数据中毒。”

她补充说:“人工智能很重要。它正在改变我们的世界,我们有很多担忧。”

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号