I ricercatori cercano di aumentare l’affidabilità delle valutazioni sulle valutazioni della creatività.
Un nuovo studio dell’Università della Georgia mira a migliorare il modo in cui valutiamo creatività dei bambini attraverso valutazioni umane e attraverso l’intelligenza artificiale.
Apprendimento, creatività – interpretazione artistica. Credito immagine: stux tramite Pixabay, licenza gratuita
Una squadra del Mary Frances Early College of Education sta sviluppando un sistema di intelligenza artificiale in grado di valutare in modo più accurato le risposte aperte sulle valutazioni della creatività per gli studenti di età elementare. Questo progetto è stato finanziato dal Dipartimento dell’Istruzione degli Stati Uniti.
“Allo stesso modo in cui i sistemi ospedalieri hanno bisogno di buoni dati sui loro pazienti, i sistemi educativi hanno bisogno di dati davvero buoni sui loro studenti per fare scelte efficaci”, ha detto l’autore dello studio e professore associato di psicologia dell’educazione Denis Dumas.
“Le valutazioni della creatività hanno rilevanza politica e curriculare e, senza dati di valutazione, non possiamo sostenere pienamente la creatività nelle scuole”.
Questi test sono comunemente usati per identificare studenti dotati o di talento che richiedono risorse didattiche aggiuntive per essere servite adeguatamente dalle scuole. E poiché richiedono molto tempo per essere valutati – la maggior parte delle risposte aperte richiedono una valutazione da più giudici umani addestrati – non sono così ampiamente utilizzati come le loro controparti in matematica, lettura o QI.
Creando un sistema di intelligenza artificiale, tuttavia, le valutazioni della creatività potrebbero diventare uno strumento più accessibile per le scuole.
Bambini che corrono – foto illustrativa. Credito immagine: Krolliami via Wikimedia (CC BY SA 3.0)
Per migliorare la funzionalità dell’intelligenza artificiale, Dumas ei suoi collaboratori hanno analizzato più di 10.000 risposte individuali in una valutazione della creatività di 30 minuti. Hanno scoperto che alcune categorie di studenti e alcuni tipi di risposte hanno portato a valutazioni di creatività meno coerenti tra i giudici. Tutte le informazioni identificabili sugli studenti sono state rimosse dalle valutazioni e i giudici hanno ricevuto solo le risposte degli studenti.
“I nostri giudici non sapevano chi fossero i bambini e non conoscevano i loro dati demografici specifici”, ha detto Dumas. “Non c’era un pregiudizio esplicito, ma qualcosa nel modo in cui alcuni studenti hanno risposto ha reso le loro risposte più difficili da valutare in modo affidabile per il nostro team”.
Ai giudici è stato chiesto di assegnare un punteggio alle risposte compreso tra 1 (più poco originale) e 5 (più originale) ed era più probabile che non fossero d’accordo sulle valutazioni quando le risposte mostravano meno originalità o quelle che provenivano da bambini più piccoli o studenti maschi.
“Sospettavo che ci sarebbe stato più disaccordo tra i selezionatori in cima alla scala dell’originalità, ma abbiamo scoperto che poiché i giudici cercavano l’originalità, erano più propensi a concordare quando una risposta era insolita, sorprendente e intelligente”, ha detto Dumas.
“Ma quando una risposta [scored] inferiore sulla scala dell’originalità, che ha causato più disaccordo.
Sulla strada per la scuola. Credito immagine: Libreshot, dominio pubblico CC0
Ad esempio, quando gli è stato chiesto un uso sorprendente per un cappello, un bambino di terza elementare ha suggerito “taglia la parte ombreggiata e sembrerà sciocco”. I giudizi su questa risposta andavano da 1 a 4 e lo studio ha evidenziato questo esempio di come le risposte degli studenti più giovani possano essere più difficili da valutare.
Alcuni giudici lo hanno considerato non originale, poiché il cappello rimane un oggetto indossabile da indossare in testa. Altri, tuttavia, hanno visto l’alterazione dell’aspetto di un cappello come divertente, sorprendente e adatta all’età per un terzo elementare creativo.
È apparsa anche una gamma più ampia di punteggi con risposte molto originali da parte di studenti dotati, con studenti LatinX identificati come studenti di lingua inglese e con studenti asiatici che hanno dedicato più tempo ai compiti. Tutti questi fattori hanno portato a un maggiore disaccordo sulle valutazioni.
“I bambini bilingui scriveranno le loro risposte in modo diverso; le loro risposte sono formulate in modo diverso rispetto a un bambino monolingue”, ha detto Dumas.
“Anche se molti dei nostri lettori erano anche bilingue, ciò può essere difficile da applicare nel contesto delle valutazioni. Sembrava che quello che stavamo scoprendo più e più volte è che gli studenti che avevano maggiori probabilità di essere bilingue erano anche più difficili da valutare”.
Capire dove è emerso il disaccordo sulle valutazioni aiuta a riqualificare il sistema di intelligenza artificiale e renderlo più accurato, ha affermato Dumas, il che aiuta a ridurre la banda di errore sui risultati della valutazione.
Queste bande di errore sono una tariffa standard per le valutazioni comunemente usate nelle scuole, ha detto Dumas, ma possono essere più ampie nelle valutazioni della creatività rispetto, ad esempio, ai test di matematica o di lettura. Più ristretta è la banda, più le scuole possono essere sicure quando prendono decisioni basate sui punteggi.
Dumas ha affermato che questo studio è un passo verso il miglioramento dell’accuratezza e quindi della fiducia in queste valutazioni.
“Ciò che viene valutato nelle scuole tende ad essere ciò su cui gli insegnanti si concentrano nelle loro istruzioni. Quindi i valori e le priorità di un sistema scolastico possono essere osservati nelle valutazioni che scelgono “, ha affermato Dumas.
“Mi piacerebbe poter costruire una valutazione della creatività più nel toolkit dello psicologo scolastico e dare loro la possibilità di osservare il potenziale creativo in un bambino piccolo e interpretarlo come un punto di forza.”
Fonte: Università della Georgia
Da un’altra testata giornalistica. news de www.technology.org
