可解释人工智能分析,在新一代人工智能科研平台,以及人工智能实验室建设中,具有越来越重要的地位 —— 调试机器学习模型是最痛苦的,因为算法本身不透明,就算运行结果不好,有时你也很难知道问题出在哪里。了解 ML 模型的性能和行为是一个不容易的过程。性能摘要统计信息(输出的数据,比如 AUC、均方误差等等,对指导我们如何改进模型是远远不够的。最近,Uber 也推出了一款 ML 可视化调试工具Manifold(流形),可以帮助开发者发现让模型不能准确预测的数据子集,通过不同子集之间的特征分布差异来解释模型性能不佳的可能原因。