我们是否过于相信人工智能？新的研究要求人工智能的问责制

我们是否对我们并不完全了解的技术抱有信心？萨里大学的一项新研究表明，人工智能系统正在做出影响我们日常生活的决定——从银行、医疗保健到犯罪侦查。该研究呼吁立即改变人工智能模型的设计和评估方式，强调这些强大算法需要透明度和可信度。

随着人工智能被整合到高风险领域，而这些领域的决策可能会改变人们的生活，与“黑匣子”模型相关的风险比以往任何时候都要大。这项研究揭示了人工智能系统必须为其决策提供充分解释的情况，让用户信任和理解人工智能，而不是让他们感到困惑和脆弱。由于医疗保健中的误诊和银行中的错误欺诈警报，潜在的危害（可能危及生命）是巨大的。

萨里大学的研究人员详细介绍了人工智能系统未能充分解释其决策的令人震惊的例子，让用户感到困惑和脆弱。由于医疗保健中的误诊案例和银行中的错误欺诈警报，潜在的危害是巨大的。欺诈数据集本质上是不平衡的——0.01%是欺诈交易——导致数十亿美元规模的损失。人们知道大多数交易是真实的，这让人放心，但这种不平衡对人工智能学习欺诈模式提出了挑战。尽管如此，人工智能算法可以非常精确地识别欺诈性交易，但目前还没有能力充分解释为什么它是欺诈性的。 

该研究的合著者、萨里大学分析学高级讲师沃尔夫冈·加恩博士说：

“我们不能忘记，在每个算法解决方案的背后，都有真实的人，他们的生活受到这些决定的影响。我们的目标是创造人工智能系统，不仅智能，而且还能为人们（技术用户）提供他们可以信任和理解的解释。”

该研究提出了一个被称为SAGE（设置、受众、目标和道德）的综合框架来解决这些关键问题。?SAGE旨在确保人工智能解释不仅可以理解，而且与最终用户相关。?通过关注目标受众的具体需求和背景，SAGE框架旨在弥合复杂的人工智能决策过程与依赖这些过程的人类操作员之间的差距。

与此框架相结合，该研究使用了基于场景的设计（SBD）技术，该技术深入研究现实世界的场景，以找出用户真正需要的人工智能解释。这种方法鼓励研究人员和开发人员站在最终用户的立场上，确保人工智能系统以同理心和理解为核心。

沃尔夫冈·加恩博士继续说道：

“我们还需要强调现有人工智能模型的缺点，这些模型往往缺乏提供有意义解释所需的上下文意识。通过识别和解决这些差距，我们的论文倡导人工智能开发的进化，优先考虑以用户为中心的设计原则。它呼吁人工智能开发人员与行业专家和最终用户积极互动，营造一个协作环境，让不同利益相关者的见解可以塑造人工智能的未来。通往更安全、更可靠的人工智能世界的道路，首先要致力于理解我们创造的技术及其对我们生活的影响。对于我们来说，忽视变革的呼声的风险太大了。”

该研究强调了人工智能模型以文本形式或图形表示解释其输出的重要性，以满足用户的不同理解需求。?这一转变旨在确保解释不仅易于获取，而且具有可操作性，使用户能够根据人工智能的见解做出明智的决定。

这项研究发表在《应用人工智能》杂志上。

打赏

下载安捷伦电子书《通过细胞代谢揭示新的药物靶点》探索如何通过代谢分析促进您的药物发现研究

10x Genomics新品Visium HD 开启单细胞分辨率的全转录组空间分析！

欢迎下载Twist《不断变化的CRISPR筛选格局》电子书

单细胞测序入门大讲堂 - 深入了解从第一个单细胞实验设计到数据质控与可视化解析

下载《细胞内蛋白质互作分析方法电子书》