Dé Onderwijsdagen, 9 oktober 2016

Wat leren we van online adaptieve leersystemen?

  • Effectiviteit? Privacy? Vervanging docent?


  • Adaptiviteit? Implementatie? Mogelijkheden en onderzoek?
  • Individuele ontwikkeling, cognitieve processen en strategieen, evidence-based interventies.

Wie zijn wij?

Abe Hofman

  • Promovendus
  • Psychologische Methodenleer (UvA), Oefenweb
  • o.a., ontwikkeling van vaardigheid in adaptieve oefensystemen

Alexander Savi

  • Promovendus
  • Psychologische Methodenleer (UvA), Oefenweb/Coursera
  • o.a., evidence-based interventies in grootschalige online leersystemen

Adaptieve leersystemen

Adaptiviteit en implementatie

Adaptiviteit

Adaptiviteit

Manieren

  • Moeilijkheid
  • Misconceptie
  • Herhaling
  • …

Onderwijskundige principes

  • Doelbewust oefenen (deliberate practice)
  • Zone van naaste ontwikkeling (zone of proximal development)

Oefenweb's adaptieve leersystemen

  • Rekentuin, Taalzee, Words&Birds, Typetuin
  • ±150.000 actieve gebruikers
  • ±1.000.000 responsen p/dag
  • ±1600 scholen; ±45000 items

  • domeinen (bv., +, -, x, /, geld, verhaaltjes)
  • keuze moeilijkheid
  • muntjes sparen
  • vraagteken

Adaptiviteit in Oefenweb

Implementatie: wat is het probleem?

Als we adaptief willen toesten moet we weten

  • welke items makkelijk/moeilijk zijn en
  • wat de vaardigheid is van de speler (student).
  • Hoe doen we dat?

Zodat we vervolgens een schikte tegenstander (item) kunnen selecteren

Elo Rating System

  • Meetingen in sport (schaken)
  • Bij een wedstrijd kunnen we de uitslag voorspellen aan de hand van de vaardigheid van beide spelers.
  • Wanneer speler 1 beter is dan speler 2 dan verwachten we dat speler 1 vaker wint
  • E(S) is gebaseerd op het beroemste model in de psychometrie: het Rasch-model


Elo en Computer Adaptief Toetsten

  • Spelers spelen tegen items.
  • Als een speler hoger scoort dan verwacht gaat zijn/haar rating omhoog en die van het item naar beneden

\(theta_{p} = theta_{p} + K * (S - E(S))\)

\(beta_{i} = beta_{i} - K * (S - E(S))\)

  • \(S\) is de geobseveerde score (bijv. 1 = goed en 0 = fout)
  • \(E(S)\) is de verwachte score aan de hand van de huidige elo scores en het meetmodel
  • \(K\) is een constante die bepaald hoeveel invloed de laatste wedstrijd heeft op de elo-score

Elo en Computer Adaptief Toetsten

Adaptieve leersystemen

Een greep uit ons* onderzoek

Overzicht

  • Perspectief van de onderzoeker: schat aan data en mogelijkheden voor interventies
  • Een greep uit de mogelijkheden van (onderzoek naar) adaptieve leersystemen
  1. Wat zijn makkelijke/moeilijke items
  2. Ontwikkeling van een cohort en een individu
  3. Cognitieve processen & strategieën
  4. Evidence-based interventies

data / model / test

1. Wat zijn makkelijke/moeilijke items

\(3 + 6\)

\(44 + 3\)

\(8 + 9\)

\(2 + 2\)

\(9 + 66\)

\(1 + 70\)

\(80 + 10\)

\(19 + 58\)

\(2 + 2\)

\(1 + 70\)

\(? + ?\)

\(? + ?\)

\(? + ?\)

\(? + ?\)

\(? + ?\)

\(19 + 58\)

1. Wat zijn makkelijke/moeilijke items

\(3 + 6\)

\(44 + 3\)

\(8 + 9\)

\(2 + 2\)

\(9 + 66\)

\(1 + 70\)

\(80 + 10\)

\(19 + 58\)


\(2 + 2\)

\(1 + 70\)

\(80 + 10\)

\(3 + 6\)

\(44 + 3\)

\(8 + 9\)

\(9 + 66\)

\(19 + 58\)

2. Ontwikkeling van een cohort

Worden kinderen beter in vermenigvuldigen gedurende het schooljaar (2015)?

2. Ontwikkeling van een individu

Hoe ontwikkelt een kind zich op verschillende sommen?

Goed / Fout / Vraagteken

2. Ontwikkeling van een individu

  • Beschrijvend, exploratief onderzoek.
  • Waar gaat het fout?

3. Cognitieve processen & strategieën

Kunnen we ook (indirect) inzichten krijgen in wat een kind doet bij het oplossen van een som?


Literatuur: Kinderen hebben sommen geautomatiseerd en/of gebruiken back-up-strategieën

  • Bijv. herhaald optellen: \(3 x 2 = 2 + 2 + 2\)
  • Automatiseren = Snel & Herhaald optellen = Langzaam
  • Confirmatief onderzoek Zijn snelle en langzamer processen kwalitatief verschillend?

3. Cognitieve processen & strategieën

Data: Reactietijden en accuratesses op tafelsommen van 3.551 kinderen (180.651 sommen)

Vraag: Is er evidentie in data van de Rekentuin dat langzame en snelle antwoorden worden veroorzaakt door andere strategieën?

Resultaat: Ja! Sommige kinderen zijn beter in automatiseren terwijl anderen beter zijn in het gebruik van back-up-strategieën.

Conclusie | Discussie:

  • We kunnen leren over strategieën aan de hand van reactietijden
  • Effecten uit de literatuur over rekenen vinden we ook in Rekentuindata (validiteit)
  • Volgende stappen: feedback aan docenten

4. Evidence-based interventies

Wat?

Beoordelen van aanpassingen aan het systeem ter vergroting van de leerwinst.




4. Evidence-based interventies

Bijvoorbeeld

Kapitalistjes…

…in de data

4. Evidence-based interventies

Oplossing?

Vraagteken vertragen: ploetertijd!

  • Minimaal 0, 3, 6 of 9 seconden ploeteren? Uitzoeken dmv experiment!

4. Evidence-based interventies

Uitkomst?


Resultaten worden momenteel geanalyseerd.

  • En vermijding van spelletjes met ploetertijd? Voortijdig afbreken? Vaker gokken?
  • Dat kunnen we zien en dus meenemen in onze beslissing!

4. Evidence-based interventies

Waarom?

Evidence-based

Ecologisch valide


Dubbelblind

Niet-invasieve verificatie onderwijsliteratuur

Conclusies

Opbrengst

Wetenschap


Praktijk

  • Vergroten leerwinst voor 150.000 actieve gebruikers
  • Inzicht leerproces voor docent

Take-home

Symbiose

We hebben gezien dat

er oneindig veel mogelijkheden zijn om onderwijstechnologie betekenisvol te maken,

maar de verwezelijking ervan niet triviaal is.

Daarom is het noodzakelijk dat

er tussen onderzoek en praktijk zowel een uitwisseling van mogelijkheden en wensen is,

als directe samenwerking.

Dank voor jullie aandacht