Explanation Methods for Artificial Intelligence Models Carlo Metta, KDD Lab CNR ISTI Pisa 24 Maggio 2021 Sommario del Talk Breve sommario degli argomenti presentati 1 Introduzione all’ Explainable Art.
Explanation Methods for Artificial Intelligence Models Carlo Metta, KDD Lab - CNR-ISTI Pisa 24 Maggio 2021 Sommario del Talk Breve sommario degli argomenti presentati: Introduzione all’ Explainable Artificial Intelligence (XAI) Modelli Interpretabili, Spiegabili e Comprensibili Open the Black Box: Formulazione del Problema Classificazione modelli e tecniche XAI Alcuni modelli : LIME: Local Interpretable Model-Agnostic Explanations LORE: Local Rule-Based Explanations SHAP: Shapley Additive Explanations Why Explainable Artificial Intelligence ? 01 Enorme quantità di Dati I dati sono prodotti da attività umane, contengono pertanto bias, pregiudizi, alterazioni che alterano e indirizzano il processo di apprendimento 02 03 Crescente complessità delle architetture Abbiamo da tempo superato il limite di comprensione umana della quantità di informazione manipolabile e producibile da un intelligenza artificiale GDPR E’ diritto dell’individuo ottenere spiegazioni soddisfacenti e comprensibili derivate da processi decisionali artificiali 04 Enormi rischi sulla qualità delle decisioni prese Perdendo il controllo dell’informazione abbiamo perso il controllo sulla sua qualità, accuratezza, consistenza e di conseguenza è messa a rischio la fiducia nell’informazione stessa In cosa consiste l’Explainability ? Black Box Predictor E’ un modello basato su metodi e tecniche di intelligenza artificiale le cui dinamiche e processi decisionali sono sconosciuti oppure sono conosciuti ma non comprensibili da parte di un essere umano L’abilità (passiva) di un modello che quantifica quanto esso appartenga ad un dominio comprensibile dagli umani L’abilità (attiva) di un modello di fornire spiegazioni sul suo processo decisionale interno L’abilità (passiva) di un modello di presentarsi in modo comprensibile dagli umani Explainability Interpretability Explanation Comprehensibility Una interfaccia fra l’umano e il decisore che è simultaneamente un proxy (accurato) del decisore ed è comprensibile dagli umani Le qualità di un Modello Interpretabile Interpretability Locale e Globale Complessità e Time Limitation Accuratezza e Fedeltà User Expertise Modelli Interpretabili di base Albero Decisionale Regola Decisionale Una funzione che mappa l’insieme delle osservazioni nell’insieme delle decisioni If-then rules: if condition_1 ∧ condition_2 then outcome M-of-n-rules: dato un insieme di n regole, se almeno m sono soddisfatte allora la vale una conseguenza List of rules: lista di regole ordinate, dove si considera come verificata la conseguenza della regola che per prima è soddisfatta Falling rules list: lista di regole ordinate rispetto alla probabilità di una specifica conseguenza Decision sets: insieme non ordinato di regole indipendenti Modello Lineare Nei modelli lineari l’analisi della feature importance è immediata: dipende esclusivamente dal segno e dalla magnitudine del coefficiente relativo a ciascuna feature Opening the Black Box Black Box Explanation Model Explanation Outcome Explanation Transparent Box Design Model Inspection Model Explanation Il problema consiste nel fornire una spiegazione (globale) attraverso un modello interpretabile e trasparente Def: Una Black Box è una funzione b: X^m → Y Def: Indichiamo invece c un modello che mappa lo spazio delle feature in quello dei target interpretabile che fornisce una predizione c(x) comprensibile dagli umani (localmente o globalmente) (Problem) Data una black box b, un dataset X, il problema consiste nel trovare una spiegazione E ∈ 𝞢 appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello interpretabile c = f (b, X) derivato da b e da X (Explanation) Una spiegazione E ∈ 𝞢 è ottenuta tramite c se E = g (c, X) per qualche logica g variabili c ed X Outcome Explanation Il problema consiste nel fornire una spiegazione sull’outcome del modello rispetto ad una particolare istanza Assumiamo che sia dato un modello interpretabile locale c rispetto a b ed x ∈ X (Problem) Data una black box b, una istanza x ∈ X , il problema consiste nel trovare una spiegazione e ∈ 𝞢 appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello locale interpretabile c = f (b, x) derivato da b e da x (Explanation) Una spiegazione e ∈ 𝞢 è ottenuta tramite c se e = g (c, X) per qualche logica g variabili c ed X Model Inspection Il problema consiste nel fornire una rappresentazione di qualche proprietà della black box o di una sua predizione (Problem ) Data una black box b, un dataset X, il problema consiste nel trovare una rappresentazione (grafica o testuale) r = f ( b, X) di una proprietà di b Inspection / Explanation: La seconda richiede l’estrazione di un modello interpretabile mentre la prima si concentra su specifiche caratteristiche della black box senza richiedere alcuna comprensione Transparent Box Design Il problema consiste nel costruire direttamente un modello interpretabile (localmente o globalmente) (Problem) Dato un dataset D = (X, Y) il problema consiste nell’apprendimento di un modello interpretabile c (a partire da D), ossia un modello dotato di una logica g da cui è possibile derivare una spiegazione e = g (c, X) Open the Black Box Un metodo è capace di aprire la black box se si riferisce ad una o più delle seguenti tecniche: (i) spiegazione del modello, (ii) spiegazione di una predizione del modello, (iii) ispezione delle caratteristiche del modello, (iv) costruzione modello trasparente Ci si riferisce a (i), (ii), (iii) come post-hoc explainability Principali Tecniche XAI Decision Tree Decision Rules Feature Importance Sensitivity Analysis Partial Dependence Plot Prototype Selection Saliency Mask Activation Maximization - Model Agnostic: LIME non è dipendente dal modello, ovvero fornisce spiegazioni per qualsiasi tipo di black box Local Explanations: LIME fornisce spiegazioni che sono localmente fedeli in un intorno del dato che si vuole spiegare Al momento LIME è limitato a modelli di ML e DL di tipo supervised https://github.com/marcotcr/lime Repository +2k forks LIME Ribeiro, Singh, Guestrin, 2016 Local Interpretable Model-Agnostic Explanations Come funziona LIME? Dato un modello predittivo (black box) B ed un dato X, LIME fornisce una spiegazione locale e fedele di B attorno ad X: - Sampling and obtaining a surrogate dataset: LIME produce un intorno locale centrato in X (normale standard, 5000 samples) del vettore delle features; successivamente classifica tale intorno il predittore B Tale intorno è a tutti gli effetti un dataset surrogato attorno ad X rispetto a B Feature Selection from the surrogate dataset: una volta ottenuto il dataset surrogato, pesa i differenti punti del dataset a seconda della loro distanza da X Successivamente utilizza delle tecniche di feature selection (LASSO) per estrarre le feature più importanti, e da queste apprendere un modello lineare localmente fedele - Rule-Based: LORE fornisce spiegazioni sotto forma di - Local Explanations: LORE fornisce spiegazioni che - decision rules sono localmente fedeli in un intorno del dato che si vuole spiegare Non genera l’intorno di un dato in modo random bensì algoritmo genetico https://github.com/riccotti/LORE LORE Guidotti, Monreale, Ruggieri, Pedreschi, Turini, Giannotti, 2018 Local Rule-Based Explanations Come funziona LORE? Dato un classificatore binario (black box) B ed un dato X, LORE fornisce una spiegazione locale e fedele di B attorno ad X: - Genetic sampling of a surrogate dataset: LORE produce due intorni locali di X del vettore delle features tramite iterazioni di un algoritmo genetico rispetto ad una data funzione di fitness, un intorno di classe positiva Z+ ed uno di classe negativa Z- rispetto ad X Rule extraction: una volta ottenuto il dataset surrogato Z = Z+ U Z-, costruisce un albero decisionale su Z da cui estrae regole e controfattuali A partire da un albero decisionale è possibile estrarre regole e controfattuali seguendo i sentieri dalla radice fino alle foglie La generazione genetica del dataset surrogato locale permette a LORE di performare meglio ed essere più fedele rispetto a LIME - Feature Importance: SHAP attribuisce un’importanza - Model Agnostic: crea spiegazioni per ogni possibile - (un peso) a ciascuna feature black box senza utilizzare la particolare struttura interna Prende spunto dalla teoria di Shapley in teoria dei giochi collaborativa E’ computazionalmente costoso ma molto accurato https://github.com/slundberg/shap Repository with +2k forks SHAP Scott, Lundberg, Su-In Lee, 2017 Shapley Additive Explanations Cosa sono i valori di Shapley? Dato un gioco cooperativo, ovvero un insieme di N giocatori ed una funzione caratteristica v: 2^N → R: - Data una coalizione S, v(S) rappresenta la reward associata alla coalizione S, in particolare v(0)=0 e v è una funzione super additiva Il valore di Shapley rappresenta una fair share della reward fra i diversi componenti del gioco Proprietà dei valori di Shapley: - Simmetria: giocatori ruolo scambiabile devono ricevere la stessa ricompensa Giocatori inutili: giocatori il cui contributo è nullo devono ottenere ricompensa nulla Additività: la somma dei valori di Shapley di tutti i giocatori equivale alla reward della coalizione totale Linearità: i valori di Shapley di più giochi cooperativi sullo stesso insieme di giocatori sono una funzione lineare Come funziona SHAP? IDEA - Prendiamo il gioco cooperativo (N,v): dove N è l’insieme delle feature mentre v è una opportuna misura che associa a ciascun sottoinsieme di feature la sua influenza sulla classificazione che il modello fornisce su un sample Domanda - Qual è la scelta corretta per v che soddisfa le buone proprietà della teoria si Shapley? THANKS! carlo.metta@isti.cnr.it carlometta@gmail.com ... Introduzione all’ Explainable Artificial Intelligence (XAI) Modelli Interpretabili, Spiegabili e Comprensibili Open the Black Box: Formulazione del Problema Classificazione modelli e tecniche XAI Alcuni modelli... controllo dell’informazione abbiamo perso il controllo sulla sua qualità, accuratezza, consistenza e di conseguenza è messa a rischio la fiducia nell’informazione stessa In cosa consiste l’Explainability... apprendere un modello lineare localmente fedele - Rule-Based: LORE fornisce spiegazioni sotto forma di - Local Explanations: LORE fornisce spiegazioni che - decision rules sono localmente fedeli