Visar alla blogginlägg med nyckelordet:
effectsize

Do you know thy impact? Om att beräkna en effektstorlek utifrån en kvalitativ bedömning.

Tänk dig att du genomfört en förändring i undervisningen i en klass vad gäller förmågan ”Att genomföra systematiska undersökningar” i NO (eller att du genomfört en förändring i en klass och jämför med en klass där du inte gjort denna förändring). Det kan vara att du arbetat med kamratbedömning, själv modellat vad man måste tänka på, arbetat med mer utförlig feedback eller något annat.

Hur beräknar man då en effektstorlek utifrån det? När John Hattie var här i fredags visade han bara hur man gör om man haft poängprov, men vi arbetar ju ofta med mer kvalitativa bedömningar, såsom till exempel matriser.

Tänk dig att du använder DiNO materialets matris för bedömning av den undersökande förmågan. Här visar jag bara en del av hela matrisen.

Just för att beräkna en effektstorlek kan man sedan tänka sig att man tillägnar de olika kvaliteterna ett kvantitativt mått, t.ex. 1-2-3. Om man vill skulle man kunna tänka sig att vikta en särskilt viktig aspekt som t.ex. att värdera resultatet en högre kvantifiering, t.ex. 2-4-6.

DiNO matrisen är väldigt stor, men sammanfattas i en kompetensprofil. Jag använder den bara för att visa hur varje kvalitativ aspekt kan bedömas kvantitativt.

Ovan bedömningen av en elevs undersökande förmåga vid ett tillfälle. Dessa sammanställs sedan och jämförs (antingen vid två separata tillfällen inom en grupp efter en undervisningsperiod eller mellan två grupper där man ändrat på något i den ena gruppen). Nedan ser du en sammanställning för en klass som genomfört liknande laborationer vid två tillfällen efter en period av undervisning för att utveckla förmågan. (Kanske inspirerad av någon av dessa avhandlingar 1 2).

Effektstorleken hamnar ”in the Zone of Extreme Effects” – 1,22.

Sen måste man förstås gå in och analysera och fundera över varför Olle och Dags kunskapsutveckling inte var lika stor som övrigas. Var de borta mycket? Feedbackade jag inte dem lika mycket som övriga?

Ser jag något annat – verkar min undervisning vara genusneutral? Är det några aspekter som har en lägre effektstorlek där jag måste utveckla min undervisning?

Släng sedan upp det och analysen på nästa lönesamtal.

Do you know thy impact?

OBS! Poängen du använder har ju absolut ingen betydelse för eleverna och kommuniceras förstås inte med dem.

PS. Gör man det inser man kanske ett (till?) problem med effektstorlekar – de tar inte hänsyn till tid. En effekt som ger en effektstorlek på 0,4 över en period av 8 veckor är ju ”större” än en som ger 0,4 på ett halvår.