Le società di social media utilizzano sempre più complesse algoritmi e intelligenza artificiale (AI) per rilevare comportamenti offensivi online.
Illustrazione del concetto di annotatori di dati. Credito immagine: Nicole Smith, realizzato con Midjourney / University of Michigan
Questi algoritmi e sistemi di intelligenza artificiale si basano tutti sui dati per imparare ciò che è offensivo. Ma chi c’è dietro i dati e in che modo il loro background influenza le loro decisioni?
In un nuovo studio, professore assistente della School of Information dell’Università del Michigan Davide Jurgens e dottorando Jiaxin Pei ha scoperto che il background degli annotatori di dati, le persone che etichettano testi, video e media online, è molto importante.
“Gli annotatori non sono fungibili”, ha detto Jurgens. “I loro dati demografici, esperienze di vita e background contribuiscono tutti a come etichettano i dati. Il nostro studio suggerisce che la comprensione del background degli annotatori e la raccolta di etichette da un pool demograficamente bilanciato di crowd worker è importante per ridurre la distorsione dei set di dati”.
Attraverso un’analisi di 6.000 commenti su Reddit, lo studio mostra che le convinzioni e le decisioni degli annotatori in merito alla cortesia e all’offensività hanno un impatto sui modelli di apprendimento utilizzati per contrassegnare i contenuti online che vediamo ogni giorno. Ciò che è considerato educato da una parte della popolazione può essere valutato molto meno educato da un’altra.
Social media – foto illustrativa. Credito immagine: Jason Howie tramite FlickrCC BY 2.0
“Tutti i sistemi di intelligenza artificiale utilizzano questo tipo di dati e il nostro studio aiuta a evidenziare l’importanza di sapere chi sta etichettando i dati”, ha affermato Pei. “Quando persone appartenenti a una sola parte della popolazione etichettano i dati, il sistema di intelligenza artificiale risultante potrebbe non rappresentare il punto di vista medio”.
Attraverso la loro ricerca, Jurgens e Pei hanno deciso di comprendere meglio le differenze tra le identità degli annotatori e il modo in cui le loro esperienze influiscono sulle loro decisioni. Gli studi precedenti hanno esaminato solo un aspetto dell’identità, come il genere. La loro speranza è aiutare i modelli di intelligenza artificiale a modellare meglio le convinzioni e le opinioni di tutte le persone.
I risultati dimostrano:
- Mentre alcuni studi esistenti suggeriscono che uomini e donne possono avere valutazioni diverse del linguaggio tossico, la loro ricerca non ha rilevato differenze statisticamente significative tra uomini e donne. Tuttavia, i partecipanti con identità di genere non binarie tendevano a valutare i messaggi come meno offensivi rispetto a quelli che si identificavano come uomini e donne.
- Le persone di età superiore ai 60 anni tendono a percepire punteggi di offensività più elevati rispetto ai partecipanti di mezza età.
- Lo studio ha rilevato differenze razziali significative nelle valutazioni di offensività. I partecipanti neri tendevano a valutare gli stessi commenti con un’offensività significativamente maggiore rispetto a tutti gli altri gruppi razziali. In questo senso, i classificatori addestrati sui dati annotati dai bianchi possono sistematicamente sottovalutare l’offensività di un commento per i neri e gli asiatici.
- Non sono state riscontrate differenze significative rispetto all’istruzione dell’annotatore.
Usando questi risultati, Jurgens e Pei hanno creato POPQUORNO, il set di dati Potato-Prolific per la risposta alle domande, l’offensività, la riscrittura del testo e la valutazione della cortesia con sfumatura demografica. Il set di dati offre alle aziende di social media e intelligenza artificiale l’opportunità di esplorare un modello che tenga conto delle prospettive e delle convinzioni intersezionali.
“Sistemi come ChatGPT sono sempre più utilizzati dalle persone per le attività quotidiane”, ha affermato Jurgens. “Ma quali valori stiamo instillando nel modello addestrato? Se continuiamo a prelevare un campione rappresentativo senza tener conto delle differenze, continuiamo a emarginare determinati gruppi di persone».
Fonte: Università del Michigan
Da un’altra testata giornalistica. news de www.technology.org
