布里斯托大学计算机科学学院的科学家们在解决人工智能“幻觉”问题和提高关键国家基础设施(CNI)异常检测算法的可靠性方面取得了重大进展。

人工智能(AI)的最新进展凸显了该技术在异常检测方面的潜力，特别是在cni的传感器和执行器数据中。然而，这些人工智能算法通常需要大量的训练时间，并且很难确定异常状态下的特定组件。此外，人工智能的决策过程往往不透明，导致人们对信任和问责制的担忧。

为了解决这个问题，该团队采取了一系列措施来提高效率，包括:

1. 增强的异常检测:研究人员采用了两种先进的异常检测算法，这些算法具有更短的训练时间和更快的检测能力，同时保持了相当的效率。这些算法使用了来自新加坡科技设计大学(University of Technology and Design)水处理试验台SWaT的数据集进行测试。

2. 可解释AI (XAI)集成:为了增强透明度和信任，团队将可解释AI (XAI)模型与异常检测器集成在一起。这种方法可以更好地解释人工智能决策，使人类操作员能够在做出关键决策之前理解和验证人工智能建议。还对各种XAI模型的有效性进行了评估，提供了哪些模型最有助于人类理解的见解。

3. 以人为中心的决策:该研究强调了人工智能驱动的决策过程中人类监督的重要性。通过向人类操作员解释人工智能的建议，该团队旨在确保人工智能作为决策支持工具，而不是毋庸置疑的神谕。这种方法引入了问责制，因为人工操作员根据人工智能的见解、政策、规则和法规做出最终决定。

4. 评分系统开发:我们正在开发一个有意义的评分系统来衡量AI解释的正确性和可信度。这个分数旨在帮助人类操作员衡量人工智能驱动的见解的可靠性。

这些进步不仅提高了cni中人工智能系统的效率和可靠性，而且确保人工操作员仍然是决策过程中不可或缺的一部分，从而增强了整体的问责制和信任。

该研究的合著者萨拉德·维努格帕兰博士解释说:“人类通过长时间的重复学习，在较短的时间内工作，而不会容易出错。”这就是为什么在某些情况下，我们使用的机器可以在更短的时间内以更低的错误率执行相同的任务。

“然而，这种自动化，包括网络和物理组件，以及随后使用人工智能来解决自动化带来的一些问题，被视为黑箱。这是有害的，因为使用AI建议的人员对他们所做的决定负责，而不是AI本身。

“在我们的工作中，我们使用可解释的人工智能来增加透明度和信任，因此在做出决定之前，使用人工智能的人员会被告知人工智能为什么(为我们的领域用例)提出建议。”

这项研究是matthuros Kornkamon硕士论文的一部分，由Sridhar addepu博士指导。

Adepu博士补充说:“这项工作发现了WaXAI如何通过可解释的人工智能彻底改变工业系统中的异常检测。通过集成XAI，人工操作员可以获得清晰的见解，并增强处理关键基础设施安全事件的信心。”

该论文在ACM ASIACCS2024会议第10届ACM网络物理系统安全研讨会上获得最佳论文奖。