数据科学团队应选择哪种解释框架？
最后更新：2020-05-08 11:23:08 手机定位技术交流文章
数据科学和人工智能领域的发展催生了不同的模型，可以解决不同的问题。随着用例和问题变得越来越复杂，模型的可解释性也变得越来越复杂。模型解释框架可以帮助数据科学团队理解不同的模型。这些框架也有助于进一步研究模型，以了解模型如何进行预测，并识别训练过程中未发现的潜在过度拟合或偏差。从机器学习模型到深度学习模型，这些框架的采用有助于团队检查、解释和改进模型。
LIME
LIME是许多解释框架的超集。这是一种新的解释技术，它通过学习一个可解释的模型来解释任何分类器的预测。它通过使用本地可解释的代理模型访问基本估计器(模型)的行为来实现这个目标。这些代理模型是可解释的模型(如线性回归模型或决策树)，它们从原始黑盒模型的预测中学习。LIME并没有试图拟合一个全局代理模型，而是专注于拟合一个局部代理模型来解释为什么只做了一个预测。LIME是GitHub上的一个开源框架。
ELI5
ELI5是一个Python库，它允许使用统一的API来可视化和调试各种机器学习模型。它内置了对多种机器学习框架的支持，并提供了解释黑盒模型的方法。ELI5可以在分类或回归模型的微观和宏观层次上实现。它可以在微观层面检查模型的单个预测，并试图找出模型做出这种决定的原因，或者在宏观层面检查模型参数，并试图找出模型的全局工作模式。简而言之，ELI5显示了每个特征的权重，并描述了它对所有树的最终预测决策的影响。ELI5也是GitHub上的一个开源框架。
AllenNLP解释器
自然语言处理是数据科学的一个分支，发展非常迅速。AllenNLP解释器是一个解释自然语言处理模型的灵活框架。AllenNLP解释器为基于AllenNLP的交互式模型解释提供了一个工具包。该工具包使得将基于梯度的显著图和对抗性攻击应用到新模型和开发新的解释方法变得容易。AllenNLP解释器由三个组件组成:一套适用于大多数自然语言处理模型的解释技术，一个用于开发新解释方法的应用编程接口(例如，一个用于获取输入梯度的应用编程接口)，以及一个用于可视化解释结果的可重用前端组件。AllenNLP团队提供各种高端演示、代码和教程。
滑冰者
滑冰者是一个统一的框架，支持所有形式的模型的模型解释，以帮助建立一个可解释的机器学习系统，可以用于现实世界的用例。模型解释可归纳为以下几类:
1.事后解释:给定一个黑盒模型(X-> Y，其中X是输入，Y是输出)。该函数返回一个可视表示(或文本表示)，以帮助理解模型的内部工作方式，或者为什么一个结果比另一个结果更有利。它也可以被称为黑盒检查或逆向工程。
2.可解释模型:对于监督学习问题，预测模型(解释函数)有一个透明的设计，可以在全局和局部解释。
SHAP
SHapley加法解释是一种博弈论方法，用于解释任何机器学习模型的输出。SHAP给每个特征指定了一个特定的预测“权重”。该框架的组成部分包括:识别新的附加特征权重度量。理论结果表明，在这个类中存在一个具有一组理想属性的唯一解。然后，SHAP值试图将模型输出(函数)解释为将每个特征引入条件期望的效果的总和。对于非线性函数，引入特征的顺序非常重要。SHAP值是从所有可能种类的平均值中得出的。SHAP支持XGBoost、LightGBM、CatBoost、scikit-learn和pyspark树模型的快速c++实现。
最后的
有许多框架可以用于模型解释。这些框架有自己的特点和亮点。没有神奇的子弹。总的来说，年轻的数据科学团队在模型构建期间选择一个框架，以使经理和非技术人员更容易理解模型。随着团队变得越来越成熟，他们会遇到更复杂的模型，最终他们会构建自己的解释框架。
本文由 在线网速测试 整理编辑，转载请注明出处。
