Explanation algorithm for anomalies in mixed categorical-continuous spaces using local explainability techniques

Abstract

[Abstract] In this project, we present the use of the local explainability techniques Local Interpretable Model-agnostic Explanation (LIME) and SHapley Additive exPlanations (SHAP) for creating a new layer of explanations over the machine learning algorithm Anomaly Detector for Mixed Numerical and Categorical Inputs (ADMNC). The ADMNC anomaly detection algorithm has been developed by the LIDIA (Laboratorio de Investigación y Desarrollo en Inteligencia Artificial) group of the Computer Science Department of Facultade de Informática de A Coruña (FIC). The project’s goal is to create a new layer of explanation over the ADMNC anomaly detector, so as to help a supervisor understand how it works, and address one of the most common issues of Artificial Intelligence (AI) algorithms: the lack of transparency and clarity on the internal process. We address these issues with the use of Local Explainability Techniques, more specifically, SHAP and LIME, which provided us with explanations of how the ADMNC makes decisions to classify the elements. We tested the explanations qualitatively, through the help of a survey and specific case checking, and quantitatively with the library Quantus for evaluation of explanations. The results show that a better approach to the use of explanations is to use multiple available explainability techniques simultaneously.

[Resumen] En este proyecto presentamos el uso de las técnicas de explicabilidad local Local Interpretable Model-agnostic Explanation (LIME) y SHapley Additive exPlanations (SHAP) para crear una nueva capa de explicaciones sobre el algoritmo de aprendizaje automático Anomaly Detector for Mixed Numerical and Categorical Inputs (ADMNC). El detector de anomalías ADMNC ha sido desarrollado por el grupo LIDIA (Laboratorio de Investigación y Desarrollo en Inteligencia Artificial) del departamento de Ciencias de Computación de la Facultade de Informática de A Coruña (FIC). El objetivo del proyecto es crear una nueva capa de explicaciones sobre el detector de anomalías ADMNC, para ayudar a un supervisor a compreder como funciona y abordar uno de los problemas más comunes de los algoritmos de Inteligencia Artifical (IA): la falta de transparencia y claridad sobre el proceso interno. Respondemos a estos problemas con el uso de Técnicas de Explicabilidad Local, más concretamente SHAP y LIME, que nos proveen con explicaciones de como el detector de anomalías ADMNC toma decisiones para clasificar los elementos. Examinamos las explicaciones de manera cualitativa, mediante la ayuda de un formulario y la comprobación de casos específicos, y cuantitativamente con la librería Quantus para evaluación de explicaciones. Los resultados muestran que un mejor enfoque para el uso de explicaciones es usar múltiples técnicas de explicabilidad disponibles simultáneamente.