Aleksander Madry建立值得信赖的AI

克瓦希Madry，计算机科学的麻省理工学院的副教授和计算机科学与人工智能实验室(CSAIL)的可信赖AI主动的铅教员，AI比较锋利的刀子，一个有用的，但潜在危险的工具，社会必须学会正确地训练。Madry最近在麻省理工学院关于强大，可解释人工智能的研讨会上发表演讲，该 研讨会由麻省理工学院的情报部门共同赞助 和CSAIL，并于11月20日在Singleton Auditorium举行。该研讨会的目的是展示麻省理工学院在建立人工智能保障领域的新工作，这几乎已成为机器学习的一个分支。六名教师谈到了他们的研究，40名学生展示了海报，而Madry以一个名为“ 健壮性和可解释性 ”的谈话开启了研讨会。“我们采访了这个新兴领域的领导者Madry，讨论了活动期间提出的一些重要想法。

问： AI最近在深度学习方面取得了很大进展，深度学习是机器学习的一个分支，它大大提高了算法在文本，图像和声音中挑选模式的能力，为我们提供了Siri和Alexa等自动化助手。但是深度学习系统仍然以令人惊讶的方式受到攻击：当他们在现实世界中遇到稍微不熟悉的例子或者恶意攻击者为其提供微妙改变的图像时会遇到绊脚石。您和其他人如何努力使AI更强大?

答：直到最近，人工智能研究人员才专注于获取机器学习算法来完成基本任务。实现均衡的平均绩效是一项重大挑战。现在性能已经提高，注意力已转移到下一个障碍：改善最坏情况的性能。 我的大部分研究都集中在迎接这一挑战。具体来说，我致力于开发下一代机器学习系统，该系统对于自动驾驶汽车和过滤恶意内容的软件等关键任务应用程序而言足够可靠和安全。 我们目前正在构建工具来训练对象识别系统，以识别场景或图片中发生的事情，即使已经操纵了模型中的图像。我们还在研究提供安全性和可靠性保证的系统限制。我们可以将多少可靠性和安全性构建到机器学习模型中，以及我们需要牺牲哪些其他功能来实现目标?

我的同事 Luca Daniel也发了言，正在研究这个问题的一个重要方面：开发一种方法来衡量关键情况下深度学习系统的弹性。深度学习系统做出的决策会产生重大影响，因此最终用户必须能够衡量每个模型输出的可靠性。使系统更健壮的另一种方法是在培训过程中。在她的演讲中，“ GAN和黑盒优化中的稳健性 ”， Stefanie Jegelka 展示了生成对抗网络(GAN)中的学习者如何能够承受对其输入的操纵，从而获得更好的表现。

问：支持深度学习的神经网络似乎几乎毫不费力地学习：为他们提供足够的数据，他们可以在许多任务中超越人类。然而，我们也看到他们很容易失败，至少有三个被广泛宣传的自驾车撞毁并杀死某人的案例。人工智能在医疗保健方面的应用尚未达到相同的审查水平，但风险也同样高。 当人工智能系统缺乏稳健性时，大卫桑塔格将他的谈话集中在经常生死攸关的后果上。在对患者病历和其他观察数据进行AI培训时，有哪些危险信号?

答：这可以追溯到保证的性质以及我们在模型中构建的基本假设。我们经常假设我们的训练数据集代表了我们测试模型的真实数据 - 这种假设往往过于乐观。桑塔格给出了两个在训练过程中出现的有缺陷的假设的例子，这些假设可能导致AI给出错误的诊断或推荐有害的治疗方法。第一个重点是去年由美国国立卫生研究院发布的大量患者X射线数据库。预计该数据集将为肺病的自动诊断带来重大改进，直到怀疑的放射科医生 仔细观察并且在扫描的诊断标签中发现了广泛的错误。在使用大量不正确的标签进行胸部扫描训练的AI将很难产生准确的诊断。

Sontag引用的第二个问题是，由于系统故障或医院和医疗保健提供者报告患者数据的方式发生变化，未能纠正数据中的差距和不正常现象。例如，重大灾难可能会限制急诊室患者可用的数据量。如果机器学习模型未能将这种转变考虑在内，那么它的预测就不会非常可靠。

问：您已经介绍了一些使AI更可靠和安全的技术。那么可解释性呢?是什么让神经网络如此难以解释，以及工程师如何开发出引人入胜的方式?

答：理解神经网络预测是众所周知的困难。每个预测都源于由数百到数千个单独节点做出的决策网络。我们正在尝试开发新方法，以使此过程更加透明。在计算机视觉领域，其中一位先驱是 The Quest的主管Antonio Torralba。在他的演讲中，他展示了在他的实验室中开发的一种新工具，该工具突出了神经网络在解释场景时所关注的特征。该工具可让您识别网络中的节点，这些节点负责从一组窗户或一组树木中识别门。可视化对象识别过程使软件开发人员能够更细致地了解网络的学习方式。

实现可解释性的另一种方法是精确定义使模型可理解的属性，然后训练模型以找到该类型的解决方案。 Tommi Jaakkola 在他的演讲中表达了“可解释性和功能透明度”，“在保持网络整体灵活性的同时，可以将模型训练为线性或本地具有其他所需品质。在解释物理现象时，需要在不同的分辨率水平上进行解释。当然，在机器学习系统中建立保证需要付出代价 - 这是贯穿所有会谈的主题。但这些保证是必要的，而且不是不可克服的。人类智慧的美妙之处在于，虽然我们无法完美地执行大多数任务，但就像机器一样，我们有能力和灵活性在各种环境中学习。

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!