Bättre pilottester av digitala lösningar i skolan

När kommuner och skolor köper in digitala produkter och tjänster som ska användas i undervisningen, är det viktigt att se till att lösningarna motsvarar de krav och behov som finns. Ofta tar man reda på detta med hjälp av ett pilottest som genomförs tillsammans med lärare och elever i deras vardag. Utvecklas undervisningen i en önskvärd riktning? Ökar elevernas motivation? Får de bättre möjligheter att uppnå målen i läroplanen? Förbättras deras resultat? Underlättas lärararens arbete? Är lösningen kostnadseffektiv?

Rättvisande svar på de här frågorna förutsätter att pilottest har genomförts på ett systematiskt sätt och att man samlat in all den information som behövs för att kunna fatta ett bra beslut. Hur kan man vara säker på det? Finns det riktlinjer som ger vägledning och hjälp? Om pilottesterna utförs på ett mer standardiserat och jämförbart sätt, kan de även fungera som underlag för andras beslut.

Skolhuvudmän och skolor över hela världen står inför den här typen av frågor. Med andra ord kan det vara en bra idé att kasta en blick på hur man tänker och agerar på andra håll.

I början av veckan presenterade Digital Promise resultatet av en halvårslång undersökning som man genomfört tillsammans med UC Davis School of Education: Pilot-to-Purchase Project. Piloting Ed-Tech Products in K-12 Public Schools. Under vårterminen följde man arbetet med pilotstudier i sex skoldistrikt av varierande storlek och sociokulturell struktur i delstaterna Alabama, Georgia, Idaho, Kalifornien, Pennsylvania samt Washington, D.C. Dessa kompletterades med samtal med skolledare och företagsrepresentanter på konferenser i San Francsico och Philadelphia.

Det här är en uppföljning av en undersökning som Digital Promise gjorde förra året bland skolhuvudmän, skolor och företag tillsammans med Johns Hopkins University Center for Research and Reform in Education: Improving Ed-Tech Purchasing. Den visade bland annat att många skoldistrikt inte har formaliserat sitt arbete med pilottester, och att de känner sig osäkra på om de verkligen kan fatta ett bra beslut. Detta leder till frustration såväl ute på skolorna som bland de företag som utvecklar dessa produkter och tjänster. De efterlyste därför hjälp med att leda arbetet på rätt spår och underlätta det ekonomiska beslutsfattandet och det pedagogiska utvecklingsarbetet.

Digital Promise är en oberoende och icke-vinstdrivande organisation för forskning och utveckling som ska främja nytänkande och konstruktiv förändring inom barn- och ungdomsskolan och vuxenutbildningen i USA. Verksamheten drog igång i september 2011 med stöd av det federala utbildningsdepartementet och forskningsfinansiärerna Carnegie, Hewlett Foundation samt Bill & Melinda Gates Foundation.

Digital Promise samlar undersökningens rekommendationer i nio punkter:

    1. Ska vi genomföra ett pilottest? Arbetsprocessen inleds med frågan om det verkligen behövs ett pilottest. Finns det redan tillräcklig evidens från andra huvudmän eller skolor, eller krävs det att man själv undersöker om lösningen fungerar? Många skoldistrikt arbetar under en stram budget, så därför tvekar många inför att ”köpa grisen i säcken”.
    2. Strukturera arbetsprocessen. Skapa en organisation för test och utvärdering och lägg upp en plan med tydliga steg som synliggör hur arbetet ska gå till.
    3. Formulera konkreta och realistiska mål som kan mätas. Det går inte att utvärdera om pilotestet lyckats om man inte är klar över vad man vill uppnå. Handlar det om att få en första inblick i hur lösningen kan komma till nytta i undervisningen eller vill man gå djupare? Ofta är målet att elevernas betyg ska förbättra. Enligt rapporten är det ett alltför otydligt mål, eftersom det är svårt att koppla betygen till en enskild faktor. Istället föreslår man att målen kopplas till de mål som distriktet prioriterar just nu.
    4. Se till att pilottestet är tillräckligt långt och genomförs när det passar bäst. Hur långt pilottestet ska vara beror på vad man är ute efter att undersöka. Ibland kan det vara kortare, ibland behöver det vara längre. Det är också viktigt att det genomförs så att man kan fatta beslut om inköp i nära anslutning till att testet genomförts. Annars riskerar man en långbänk som påverkar både skolor och företag negativt.
    5. Samla in adekvat information från alla relevanta källor. När målen är formulerade, gäller det att bestämma vilken information som är nödvändig, hur den ska samlas in och hur den ska tillgängliggöras och delas. Kan informationen samlas in i realtid eller sammanfattas den periodvis? Vem eller vilka ska göra vad? Hur ser man till att alla får tillgång till den information som de behöver för att uppfylla sin roll under arbetet?

  1. Interagera med utvecklarna under pilottestet Om det är möjligt att ge återkoppling och att modifiera lösningen under pilottestet, får man bättre förutsättningar att undersöka om den fungerar i de situtioner och sammanhang som det är tänkt. De som står bakom en produkt eller tjänst är i regel intresserade av att förbättra den, och välkomnar därför synpunkter och kommentarer från användarna.
  2. Ge tillräckligt stöd åt lärarna under pilottestet. Det är nödvändigt att både huvudmannen/skolan och företaget bakom lösningen ser till att lärarna får den hjälp och det stöd som de behöver för att kunna använda den på lämpligt sätt i sin undervisning. Samtidigt blir man mer säker på att det är lösningens möjligheter som utvärderas och att eventuella brister inte beror på felaktig eller bristfällig användning.
  3. Gör eleverna delaktiga. Om eleverna engageras i pilottestet och ges en tydlig bild av vad som är syftet, kan de ge värdefull återkoppling. Ofta är det eleverna som är slutanvändarna, så det är bra att fånga upp vad som fungerar och vad som kan göras bättre, hur lösningen fungerar för olika typer av elever, och så vidare. Det är också viktigt att se till att alla får komma till tals, så att man får en heltäckande bild av vad eleverna tycker.
  4. Formalisera återkopplingen från lärarna. Återkopplingen från lärarna är för det mesta avgörande när pilottestet ska utvärderas. Därför måste man se till att den samlas in strukturerat och ordentligt genom enkäter, intervjuer, samtal i fokusgrupper, med mera.

Riktlinjer som förbättrar pilottester av digitala lösningar och underlättar en pedagogiskt genomtänkt it-användning i skolan, kan säkert ett bra sätt att driva på utvecklingen. De här riktlinjerna ska inte ses som sista ordet, utan som första steget i det pågående arbetet med att ge vägledning inom det här viktiga området. Även här i Sverige – och på andra håll – kan vi säkert dra nytta av detta!


Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *