在神经网络中，数据从一层传递到另一层，每一步都经历一些简单的转变。在输入层，和输出层之间还隐藏着若干层，以及众多节点组和连接。其中往往找不出可被人类解读的规律，与输入或输出也没有明显的联系。所谓的『深度』网络，便是隐藏层的数量较多的神经网络。
机器学习的特征，便是从特定类型的数据中寻找规律。在大数据，算法模型，计算力三驾马车的推动下，以深度学习为核心的新一代人工智能，从语音识别到语言翻译，从下围棋的机器人到自动驾驶汽车，各行各业都在该技术的驱动下出现了新的突破。然而，在现代机器学习算法中，可解释性与精确度却难以两全其美。深度学习精确度最高，同时可解释性最低。—— 我们虽然知道神经网络在『做什么』，但我们对『怎么做、为何做』几乎一无所知。正如下图：X 轴为可解释性（Explain Ability），Y 轴为预测精确率（Prediction Accuracy）—— 其中决策树（Decision Tree）的可解释性最高，然而预测精确率却最低。
尽管深度学习与新一代人工智能科学家与教研人员持续致力于实现人工网络的『透明化』，然而，神经网络由成百上千万的独立单位、即神经元构成。每个神经元都可将大量数字输入转化为单个数字输出，再传递给另一个或多个神经元。就像在人脑中一样，这些神经元也分成若干『层』。一组细胞接收下一层细胞的输入，再将输出结果传递给上一层。神经网络可通过输入大量数据进行训练，同时不断调整各层之间的联系，直到该网络计算后输出的结果尽可能接近已知结果（通常分为若干类别）。近年来该领域之所以发展迅猛，还要归功于几项可快速训练深度网络的新技术。在深度网络中，初始输入和最终输出之间相隔多层。正如曾以极大的优势（15.3％ VS. 第二名 26.2％ 错误率）赢得 2012 年 ImageNet LSVRC-2012 竞赛的著名深度网络 Alex Net，可对照片进行归类，根据照片的细微差别将其划入不同类别。同时，该网络含有超过 6,000 万个『权重』，根据不同权重，神经元会对每项输入给予不同程度的关注。换句话说：要想理解这个神经网络，你就要对这 6,000 万个权重都有一定的了解。
在从无到有地打造了一种新型智能『大脑』之后，我们如今又需要将其拆开，利用数字形式的『显微镜』和『手术刀』，对『大脑』中的『左脑』、『右脑』、『神经元』这些虚拟器官展开分析。从而尝试更好的理解神经网络为何做出某项决策，并在神经网络做出错误决策时发现问题在哪里。
深度学习通常被称为一个难以理解的黑匣子。但是，责任感和可控性对于将深度学习模式商业化至关重要。人们通常认为，对准备好的数据集的高精度足以用于商业产品的模型。然而，在实际应用中，对准备好的数据集，执行良好的模型往往会失败，并会导致边角点采样被修复。此外，在医疗诊断、财务决策等应用中，有必要对结果进行解释，以使系统具有可信赖性。可解释人工智能分析平台（简称：KXCY-AI-XAI）是用于神经网络可解释性研究的基础设施和工具的集合，通过特征可视化以及神经元归因，提供灵活的抽象化描述与直观的教学引擎，以便教研人员实现对神经网络更为高效的工作原理介绍，以及面向深度学习与新一代人工智能实现更为广泛的可解释性研究。同时，借助交互式编程实验环境，教研人员与学生完全可以在实验手册上直接执行各种神经网络神经元的特性。同时，跨象乘云™ 内置了大量基于交互式编程实验环境的实验指南，使教研人员与学生能通过完整的实践案例，对特征可视化，图像分区，图像参数区分，风格转换，神经元交互，等技术进行针对性实战，更好地帮助学生理解深度学习模型，进而调试故障，解释决策流程，优化模型策略。进而揭示神经网络如何一步一步对图像进行分析与预测，并进一步解释究竟哪些像素影响了预测结果。
可解释人工智能分析平台可以帮助您了解经过培训的模型，这些模型可以用于调试故障、解释决策等。在这里，我们提供了分析深入学习模型决策的功能，这些决策很容易适用于任何张量流模型（稍后将支持其他模型）。影响评分有助于通过训练样本了解模型。该分数可用于筛选对测试性能产生负面影响的不良培训样本。它有助于确定潜在的错误标记示例的优先级，以及调试列车和测试样本之间的分布不匹配。在这个版本中，我们添加了Grad Cam 和 Guided Grad Cam，这对于理解 CNN 模型的决策很有用。