My post recente sulle sfide legate all'utilizzo dell'intelligenza artificiale e dell'apprendimento automatico (AI/ML) nell'EdTech ricevuto varie risposte. Sia alcune risposte positive che alcune negative mi hanno dato la sensazione che concentrarmi sull'esempio piuttosto estremo di un chatbot aperto suggerisse ad alcuni lettori che stavo sostenendo che tutta l'IA/ML è ugualmente complessa, sia che fossero d'accordo o in disaccordo con quella proposizione . Come antidoto, ho pensato che potesse essere utile fornire analisi istantanee delle diverse applicazioni di IA/ML che ho visto in EdTech. Sebbene sia lungi dall'essere completo, spero che illustrerà alcuni modelli:

• In generale, l'intelligenza artificiale/ML può essere utile per supportare il lavoro degli educatori professionisti (compresi i progettisti dell'apprendimento, gli ingegneri dell'apprendimento, ecc.) e avere un impatto diretto sul successo degli studenti.
• L'intelligenza artificiale e il machine learning non sono magici. Hanno limitazioni che sono specifiche sia della tecnologia che del dominio del problema. Allo stesso modo, AI/ML non è un monolite. Questo secchio è costituito da una vasta gamma di tecniche diverse con diverse limitazioni e che, per rendere le cose più complicate, vengono sempre più utilizzate in concerto tra loro.
• L'EdTech sembra non basarsi su una strategia chiamata "human-in-the-loop", il che significa che esseri umani esperti esaminano regolarmente l'output dell'algoritmo come controllo di sicurezza e qualità. Questo non va bene.

Ho molta familiarità con il lavoro di sviluppo di “corsi”, cioè materiali didattici o di formazione autogestiti, anche se ho un'infarinatura di esposizione ad altre aree. Mi concentrerò prima sui corsi e poi fornirò altri esempi.

Courseware

Negli ultimi dieci anni, l'enfasi nei corsi è stata posta sull'”apprendimento adattivo” o “apprendimento personalizzato”, in cui l'algoritmo si adatta alle esigenze di apprendimento di ciascuno studente. Più recentemente, gli sforzi si sono estesi all’uso dell’intelligenza artificiale/ML per ridurre i tempi e i costi di produzione di nuovi corsi. Tratterò entrambe le aree e descriverò brevemente come si sovrappongono.

Apprendimento adattivo

I due metodi di apprendimento algoritmico adattivo più ampiamente adottati e supportati dall’evidenza sono focalizzati sulla memoria e focalizzati sulle abilità. Incentrato sulla memoria è il più semplice dei due. Il modo più semplice di pensare a questa famiglia di tecniche è come flashcard intelligenti, anche se l'esperienza dell'utente non si presenta sempre in questo modo. Sappiamo molto su come funziona la memoria e questo si presta bene agli algoritmi. Ad esempio, sappiamo qual è il tempo più efficace da attendere prima di interrogare nuovamente gli studenti su un dato fatto da memorizzare. Questa si chiama “pratica distanziata”. Sappiamo qualcosa sul modo migliore per mescolare vari argomenti per la memorizzazione, che si chiama “interleaving”. Scrivere un algoritmo che utilizza queste informazioni per sottoporre a domande gli studenti e quindi adattare la propria strategia in base al rendimento degli studenti è un'applicazione relativamente semplice, efficace e sicura della tecnologia. È stato applicato principalmente alla memorizzazione, anche se può essere utilizzato per aiutare gli studenti a verificare se ricordano le nuove abilità apprese.

L’apprendimento adattivo focalizzato sulle competenze è più complicato. Innanzitutto, devi essere in grado di scomporre le abilità in un albero, che tradizionalmente è stato un processo arduo che può essere più difficile di quanto sembri. Per esempio, si scopre che quando gli studenti imparano a calcolare la pendenza di una linea, imparano prima a lavorare separatamente con le linee inclinate verso l'alto e le linee inclinate verso il basso. Quindi imparano a integrare queste abilità. A peggiorare le cose, questo processo è generalmente inconscio per lo studente e invisibile per l’istruttore. L’acquisizione di abilità, anche in materie altamente procedurali come la matematica, è complicata perché non possiamo osservare direttamente l’apprendimento e perché gli esseri umani hanno processi di apprendimento sofisticati e spesso inconsci che si sono evoluti anziché essere progettati. Sono continuamente sorprendenti. Detto questo, la peculiarità dell’apprendimento della pendenza della linea è stata scoperta dagli esseri umani utilizzando un algoritmo di apprendimento automatico per identificare modelli nel modo in cui molti studenti hanno progredito attraverso molte domande di valutazione formativa.

Nell’istruzione superiore, l’apprendimento adattivo basato sulle competenze ha mostrato i maggiori benefici nelle materie STEM, dove la conoscenza è spesso più apertamente procedurale. L’implementazione è spesso un problema. Né lo studente né l’insegnante sanno sempre perché l’algoritmo instrada gli studenti in un modo particolare. E gli studenti possono rimanere intrappolati in un circolo vizioso dal quale gli educatori non hanno il potere di liberarli. Il problema sorge perché molti di questi sistemi non sono stati progettati come educator-in-the-loop. Al contrario, avevano lo scopo di ridurre il numero di educatori richiesti o di corsi “a prova di insegnante” contro educatori le cui competenze non sono attendibili. Ma come ogni altra scatola nera, quando qualcosa si rompe al suo interno, non puoi ripararlo. In effetti, può essere difficile prevedere dove potrebbero sorgere i problemi perché non sempre si sa cosa sta facendo la scatola.

Ho detto che la mappatura delle competenze per l’apprendimento adattivo o per altri scopi è stato un processo complesso e ad alta intensità di lavoro. Le cose stanno iniziando a cambiare. I modelli emergenti di AI/ML sembrano essere molto efficaci nel mappare le competenze rappresentate nei contenuti e poi migliorato grazie al contributo di esperti e all'analisi dei dati degli studenti nel tempo. Questa combinazione di metodi, che utilizza molteplici strategie di intelligenza artificiale/ML, promette di sviluppare corsi più rapidamente, di qualità superiore, utilizzando meno manodopera e migliorando nel tempo con la supervisione umana.

Il coinvolgimento di esperti umani è fondamentale anche nei casi in cui non viene utilizzato l’apprendimento adattivo. L’apprendimento adattivo è composto da analisi e automazione. Innanzitutto, il sistema analizza il livello di padronanza dello studente. Quindi automatizza la risposta. Al giorno d'oggi, la maggior parte dei sistemi privi di automazione, ovvero di apprendimento algoritmico adattivo, dispongono ancora di analisi. E l'analisi delle competenze è legata alle competenze nella mappa delle competenze. Se l’algoritmo identifica erroneamente le competenze, l’analisi, gli indicatori di progresso, saranno errati.

Aumentare l'efficienza produttiva

L'esempio di mappatura delle competenze dimostra sia i miglioramenti della qualità che l'efficienza della produzione. Il trucco sta nel non perdere di vista il miglioramento della qualità mentre si persegue l’efficienza produttiva. Perché puoi facilmente peggiorare la qualità anziché migliorarla se non stai attento.

Gli editori si rivolgono sempre più all'intelligenza artificiale/ML per generare domande di valutazione. Per i tipi di domande tipici come la scelta multipla o il riempimento degli spazi vuoti, la precisione di questi algoritmi sembra raggiungere un limite massimo pari all'80% -85%. Alcune aziende stanno distribuendo queste domande direttamente agli studenti senza che gli esseri umani siano coinvolti, sostenendo che il loro tasso di accuratezza è lo stesso di quello dei libri di testo scritti da umani. Personalmente mi sento a disagio con questo. Aggiungere un pulsante che consenta agli studenti di segnalare le domande che ritengono sbagliate è una sorta di strategia human-in-the-loop, ma avviene dopo il fatto. Il danno è stato fatto. L'entità del danno dipende da vari fattori, ad esempio se la valutazione è formativa o sommativa e se lo studente ha la sicurezza di sé necessaria per mettere in discussione il programma del computer. Dobbiamo diventare più creativi nello sviluppo di nuovi metodi per includere gli esseri umani nel ciclo su larga scala.

Anche i tipi di valutazione più comuni, come le umili domande a scelta multipla, presentano aspetti complicati. I distrattori – risposte sbagliate – sono essenziali per diagnosticare il motivo per cui uno studente potrebbe essere bloccato su un problema. La ricerca ci dice che i suggerimenti (combinati con il giusto algoritmo di machine learning) possono anche dirci molto sui progressi di uno studente se sono scritti correttamente. Sono a conoscenza degli sforzi per generare algoritmi di distrazione e suggerimenti, ma non so quanto siano accurati.

Le opportunità diventano più interessanti – e stravaganti – quando si passa dai soliti tipi di domande classificate automaticamente a domande più nuove. Ad esempio, nel un webinar di Walden University e Google Cloud su un nuovo tutor basato su Google che Walden sta sperimentando, i relatori descrivono un interessante tipo di domanda di parafrasi in cui il sistema utilizza più metodi AI/ML per verificare se la riformulazione di un concetto da parte di uno studente nei materiali del corso è allo stesso tempo abbastanza originale da non essere considerato una copia e abbastanza vicino nel significato da consentire allo studente di parafrasarlo correttamente.

Nella misura in cui funziona, è una meravigliosa aggiunta alla cassetta degli attrezzi. Detto questo, mi piacerebbe vedere studi sull’efficacia, sia per una popolazione generale di studenti che per sottopopolazioni disaggregate di scrittori deboli e studenti di seconda lingua. Come molte di queste innovazioni, potrebbe peggiorare l’apprendimento anziché migliorarlo per alcuni o tutti gli studenti. Non dovremmo essere sicuri di saperlo finché non avremo condotto una ricerca rigorosa.

Per essere chiari, non conosco la letteratura esistente su questa particolare applicazione AI/ML e non so nemmeno quali ricerche Walden e Google abbiano condotto o stiano conducendo. Questa domanda non è stata posta nelle domande e risposte registrate. Più in generale, questo è un altro pericolo legato all’IA/ML. Poiché la tecnologia è così sorprendente e si parla così tanto di dati, è facile presumere che sappiamo quanto bene l’innovazione funzioni con gli studenti. Ma non potremo esserne sicuri finché non avremo condotto numerosi esperimenti ben progettati su larga scala. Per lo stesso motivo per cui l’intelligenza artificiale/ML può accelerare la scoperta di farmaci ma l’approvazione dei farmaci è ancora lenta, non possiamo implementare in modo responsabile la nuova tecnologia AI/ML EdTech con la stessa rapidità con cui viene sviluppata.

Ad ogni modo, queste sono le applicazioni principali di cui sono a conoscenza per i corsi. Esistono applicazioni più all’avanguardia in nicchie in cui c’è denaro da spendere in VR, tracciamento del movimento e altre tecnologie che sono troppo costose per essere mainstream al momento. Non li tratterò in questo post se non per riconoscere che esistono.

Un paio di altri esempi

Naturalmente, i corsi non sono l’unica applicazione dell’AI/ML nell’EdTech. I chatbot vengono utilizzati parecchio, anche se di solito sono progettati utilizzando tecnologie AI/ML che sono abbastanza diverse da quella che ho descritto nel mio post precedente. Ad esempio, molti utilizzano un algoritmo più vicino (o identico a) a quello di Alexa di Amazon. Non è cercare di avere una conversazione con te. Si tratta solo di interpretare ciò che chiedi. Come mi ha descritto il co-fondatore di perno (precedentemente noto come AdmitHub), uno studente che ha bisogno di aiuti finanziari può esprimere tale necessità al chatbot come "Ho bisogno di soldi".

Sul back-end, la risposta restituita da un chatbot può essere semplice come una FAQ automatizzata o utilizzare altre tecniche di intelligenza artificiale/ML per fornire un'esperienza più personalizzata e conversazionale. Non sono sicuro di cosa faccia Mainstay a questo punto (il prodotto si evolve, come fanno i prodotti), ma l'azienda ha condotto numerosi studi randomizzati e controllati (in collaborazione con clienti universitari come Georgia State) dimostrando che possono aiutare gli studenti a orientarsi nel processo di iscrizione al college .

Poi c'è l'analisi conversazionale. Un esempio che mi piace, in parte perché si integra nella videoconferenza in tempo reale e in parte perché conosco e mi fido del fondatore, è Analisi del riff. Riff si collega al software di videoconferenza e fornisce metriche in tempo reale e a posteriori, ad esempio chi parla di più, chi interrompe, i cui commenti ottengono il maggior consenso e così via. Se pensi a quest'ultimo parametro, ovvero chi ottiene la maggiore affermazione, puoi facilmente vedere che devono essere in gioco più tecniche di intelligenza artificiale/ML. Innanzitutto, il discorso deve essere convertito in testo. Quindi deve essere analizzato il sentimento. (Quando dico "devo", significa che sto facendo un'ipotesi plausibile.)

Da qui, sarebbe facile scendere nella tana del coniglio e parlare, ad esempio, di come stanno i miei amici Analisi del discorso stanno migliorando i nudge. Le tecniche AI/ML nell'EdTech sono molto più pervasive, varie e in rapido sviluppo di quanto sia visibile in superficie.

E va bene. Questi sono strumenti. Non sono automaticamente buoni o cattivi. Il trucco sta nel modo in cui li usi. Ecco il mio consiglio:

• Riprendendo un punto del mio precedente post sul blog, non dare per scontato che le tue intuizioni sulla tua applicazione AI/ML che hai raccolto dai primi risultati si dimostreranno accurate una volta provato a scalare. Questa tecnologia può essere ingannevole.
• Pensa attentamente a modi innovativi per includere gli esseri umani nel ciclo. Queste nuove tecnologie portano con sé l’esigenza e l’opportunità di ripensare radicalmente il modo in cui lavoriamo insieme, compreso il modo in cui lavoriamo insieme alla progettazione dell’apprendimento.
• Non dare per scontato che i dati derivanti dall'analisi del tuo prodotto soddisfino gli elevati standard di prova che dovremmo richiedere prima di presentare le nuove tecnologie agli studenti. Segui la ricerca e, quando necessario o possibile, conduci la tua. Ancora una volta, questa è un’opportunità per noi di innovare il modo in cui lavoriamo insieme.