Ripensare il processo decisionale algoritmico – Technology Org

In un nuovo documento, gli autori della Stanford University, incluso il professore associato di Stanford Law Julian Nyarko, illuminano come decisioni algoritmiche basati sulla “correttezza” non sempre portano a risultati equi o desiderabili.

Intelligenza artificiale, ChatGPT, processo decisionale algoritmico – immagine concettuale artistica. Credito fotografico: Pexels / Cottonbro Studio, licenza gratuita

Gli algoritmi sono alla base di decisioni grandi e piccole su vasta scala ogni giorno: chi viene sottoposto a screening per malattie come il diabete, chi riceve un trapianto di rene, come vengono allocate le risorse della polizia, chi vede annunci di alloggi o lavoro, come vengono calcolati i tassi di recidiva e così via .

Nelle giuste circostanze, gli algoritmi (procedure utilizzate per risolvere un problema o eseguire un calcolo) possono migliorare l’efficienza e l’equità del processo decisionale umano.

Tuttavia, gli stessi standard che sono stati progettati per rendere le decisioni algoritmiche “eque” potrebbero effettivamente radicare ed esacerbare le disparità, in particolare lungo le linee razziali, etniche e di genere.

Questa è la spinta di Progettazione di algoritmi equiun documento pubblicato questa settimana in Scienza computazionale della natura dal professore associato di diritto di Stanford Giuliano Nyarkodirettore esecutivo dello Stanford Computational Policy Lab Alex Chohlas-Woode coautori dell’Università di Harvard.

Con la proliferazione del processo decisionale guidato da algoritmi praticamente in tutti gli aspetti della vita, c’è una crescente necessità di garantire che l’uso di algoritmi nel prendere decisioni importanti non porti a conseguenze negative indesiderate, secondo gli autori.

“Un decisore può definire i criteri per quello che pensa sia un processo equo e aderire rigorosamente a tali criteri, ma in molti contesti si scopre che ciò significa che finiscono per prendere decisioni che sono dannose per i gruppi emarginati”, ha affermato Nyarko , che concentra gran parte della sua borsa di studio su come i metodi computazionali possono essere utilizzati per studiare questioni di importanza scientifica legale e sociale.

Nyarko ha citato come esempio lo screening del diabete. “Gli algoritmi vengono utilizzati come primo filtro per determinare chi riceve ulteriori test. Sappiamo che, dato un certo indice di massa corporea ed età, i pazienti che si identificano come asiatici tendono ad avere tassi di diabete più elevati rispetto a quelli che non si identificano come asiatici.

Un algoritmo che ha accesso alla razza di un paziente può utilizzare queste informazioni ed essere opportunamente più indulgente nella sua decisione di rinvio se il paziente si identifica come asiatico. Tuttavia, se insistiamo sul processo decisionale alla cieca della razza, rendiamo difficile per l’algoritmo utilizzare tali informazioni e adattare le sue previsioni per i pazienti asiatici.

In definitiva, ciò significa che l’algoritmo race-blind, sebbene possa essere “giusto” in senso tecnico, esclude da ulteriori test alcuni pazienti asiatici con un rischio di diabete dimostrabilmente elevato. Un compromesso simile tra ciò che potremmo chiamare a giusto processo E esiti equi si applica ai criteri di equità più diffusi che sono spesso utilizzati nella pratica.

Risultati come questi sono ben noti nella letteratura sul processo decisionale algoritmico, ha affermato. Tuttavia, l’imposizione di rigorosi criteri di equità rimane popolare sia tra i ricercatori che tra i professionisti.

“Crediamo che questo fatto evidenzi la necessità di una solida discussione in merito Perché coloro che sostengono l’uso dei vincoli di equità lo fanno”, ha affermato Nyarko.

“I criteri di equità formale catturano accuratamente le opinioni delle persone su cosa significhi prendere una decisione etica e dovrebbero quindi essere incorporati? L’adesione a un processo decisionale “equo”, ad esempio uno che non utilizza la razza, è desiderabile fine a se stessa o è solo un’utile euristica che spesso porta a risultati più equi? Solo se avremo chiarezza su queste questioni normative ed etiche possiamo sperare di fare progressi verso la comprensione di cosa significhi che le decisioni algoritmiche siano giuste. Si spera che ciò porti anche a una maggiore omogeneità negli approcci”.

Stabilire un quadro attorno a dibattiti disparati

Nyarko ha sottolineato che numerosi studi, specialmente nel contesto medico, hanno esaminato l’impatto dell’imposizione di vincoli di equità come decisioni neutrali rispetto alla razza o al genere. Il nuovo documento è progettato per “fornire un quadro unificante a queste discussioni”, ha affermato.

“Vedi molti documenti individuali, distribuiti tra le discipline, che toccano questioni di correttezza algoritmica, ma pensiamo che il dibattito abbia bisogno di una struttura ed è quello che ci siamo prefissati di realizzare”, ha detto. “Penso che molte di queste discussioni individuali non siano state ben collegate a discussioni etiche più ampie sull’equità”.

Il documento affronta ciascuno dei tre vincoli di equità più tipici, che sono tutti “intuitivamente attraenti”, ma che possono portare a risultati negativi per gli individui e la società nel suo insieme, scrivono.

I vincoli di equità sono: (1) Accecamento, in cui si limitano gli effetti degli attributi demografici – come la razza – sulle decisioni; (2) Equalizzazione dei tassi decisionali tra i gruppi demografici (ad esempio, richiedendo che la quota di pazienti inviati per ulteriori test del diabete sia la stessa per i pazienti asiatici e non asiatici); e (3) equalizzazione dei tassi di errore tra i gruppi demografici (ad esempio, richiedendo che la quota di pazienti che sono erroneamente esclusi dai test anche se hanno il diabete (il cosiddetto tasso di falsi negativi) sia la stessa per i pazienti asiatici e non asiatici) .

Il documento offre diverse raccomandazioni alle persone che addestrano algoritmi per assistere nel processo decisionale, incluso il fatto che comprendano le insidie ​​​​del “bias dell’etichetta”.

“C’è una convinzione molto diffusa nella letteratura sull’apprendimento automatico che fornire più dati all’algoritmo non possa fare alcun danno”, ha affermato Nyarko.

“O l’informazione è utile per fare la previsione o viene scartata. Ma questo è vero solo se la cosa che addestriamo all’algoritmo a prevedere è la cosa a cui teniamo veramente. Tuttavia, si scopre che questi due divergono abitualmente. Nel contesto della giustizia penale, ad esempio, un giudice che sta prendendo una decisione di detenzione potrebbe voler sapere quanto è probabile che un imputato recidivi”.

“Questo aiuterà il giudice a decidere se l’imputato debba rimanere in carcere o possa essere rilasciato. Gli algoritmi assistono abitualmente i giudici nel prendere queste decisioni. Tuttavia, questi algoritmi non sono mai stati addestrati per prevedere la probabilità di recidiva. Dopotutto, il fatto che qualcuno commetta un crimine non è qualcosa che è realmente osservabile su larga scala”.

“Tutto ciò che sappiamo, e tutto ciò che un algoritmo è addestrato a prevedere, è se è probabile che lo sia un imputato nuovamente arrestato. Il fatto che qualcuno venga nuovamente arrestato per un reato può dipendere, in gran parte, dalla presenza di molta polizia nell’area in cui vive. Questo tipo di bias di etichetta è molto comune e dimostriamo che ha importanti implicazioni su come dovrebbero essere addestrati gli algoritmi”.

“Ad esempio, nel nostro esempio di previsione del rischio di recidiva, dimostriamo che dare accesso al codice postale di un imputato ad algoritmi comunemente usati migliora la loro previsione se un imputato sarà nuovamente arrestato. Tuttavia, a causa delle disparità nella polizia tra i quartieri, l’accesso ai codici postali crea gli stessi algoritmi peggio a prevedere se l’imputato recidiverà. Più in generale, le nostre scoperte mettono in discussione la saggezza comune secondo cui l’aggiunta di più dati non può peggiorare le nostre decisioni algoritmiche”.

Fonte: Università di Stanford