Il corso mira a fornire agli studenti una comprensione dei modelli probabilistici utilizzati per analizzare le risposte ai test, illustrandone finalità e limiti. In particolare, nel percorso vengono confrontati i principali modelli logistici e analizzate le cause delle fluttuazioni delle stime dei parametri di soggetti e item rispetto ai valori reali. Viene inoltre affrontato il dibattito sulla penalizzazione delle risposte errate. Il corso sviluppa anche competenze applicative: gli studenti imparano a stimare i parametri di soggetti e item, a confrontare le percentuali di risposte corrette attese con quelle osservate e a valutare l’eventuale presenza di fenomeni di cheating. Particolare attenzione viene dedicata allo sviluppo dell’autonomia di giudizio, attraverso l’uso dell’analisi di Rasch per valutare il funzionamento degli item, la scelta di criteri adeguati per l’assegnazione dei punteggi e la gestione di item errati o mal funzionanti, nonché la valutazione delle strategie di contrasto al cheating. Il corso mira inoltre a rafforzare le abilità comunicative degli studenti, permettendo loro di spiegare in modo chiaro scopi e modalità dei test e di discutere le loro caratteristiche utilizzando modelli e terminologie condivise nella ricerca. Infine gli studenti, tramite questo percorso formativo, acquisiscono strumenti per approfondire autonomamente l’Item Response Theory e comprendere, nelle linee essenziali, studi di ricerca basati su questi modelli.
Il corso è suddivisio in tre moduli:
1.Richiami sul modello di Rasch, cenni agli altri modelli dell'Item Response Theory, riflessioni sull'analisi basata su modelli probabilistici e su stime statistiche.
2.Aspetti dell'uso concreto dell'analisi di Rasch (confronto degli esiti di due test, test design, uso del software di analisi).
3.Questioni aperte: l'effetto del guessing, il contrasto al cheating, vantaggi e limiti dell'analisi di Rasch nella pratica del testing su piccola scala.
Ciascuno dei tre moduli contiene video lezioni, slides, script e un quiz riepilogativo. Inoltre, sono presenti link a materiali di approfondimento reperibili in rete. Il corso si conclude con un test di valutazione finale.
Al termine del percorso di apprendimento, gli studenti e le studentesse saranno in grado di:
Conoscenza e comprensione:
-
descrivere le finalità e i limiti della modellizzazione della risposta ai test con modelli probabilistici;
-
confrontare i diversi modelli logistici;
-
individuare le cause delle fluttuazioni delle stime dei parametri intorno ai valori veri;
-
confrontare le diverse posizioni in merito alla penalizzazione delle risposte errate.
Applicare conoscenza e comprensione:
-
effettuare la stima dei parametri di soggetti e item;
-
osservare le discrepanze fra percentuali di risposte corrette attese ed osservate;
-
valutare l'entità potenziale degli effetti del cheating.
Autonomia di giudizio:
-
usare l'analisi di Rasch per valutare il buon funzionamento degli item;
-
adottare un criterio appropriato per l’assegnazione del punteggio del test;
-
decidere come agire in presenza di item errati o mal funzionanti;
-
valutare l'efficacia delle strategie di contrasto al cheating.
Abilità comunicative:
-
comunicare correttamente scopi e modalità di un test a coloro che devono sostenerlo;
-
comunicare e discutere le caratteristiche di un test sulla base di modelli e scelte terminologiche ben definiti e comunemente adottati nella pratica e nella ricerca;
-
affrontare razionalmente discussioni e controversie sulla validità del test.
Capacità di apprendimento
-
poter accedere a presentazioni più approfondite dell’Item Response Theory;
- poter comprendere, almeno nelle linee generali, il contenuto di lavori di ricerca didattica e sulla valutazione basati sull’Item Response Theory. Aggiornare in modo autonomo le proprie conoscenze sugli strumenti di valutazione basati su modelli probabilistici.
Superamento di quiz
Saranno disponibili esercizi e quiz per valutare il proprio livello di apprendimento e consolidare le conoscenze acquisite.
Aver completato il MOOC "Item Response Theory I" oppure conoscere le caratteristiche di base del modello di Rasch.
Guido Magnano
Per domande o problematiche tecniche relative al corso e alla piattaforma contattare:
edvancedeh@unito.it
Contatto del docente del MOOC:
guido.magnano@unito.it