Blogg

UHR verkar inte extremt intresserade av att omvärdera fråga 39

giphy

Här kommer ett nytt blogginlägg i vår lilla följetong om den kontroversiella bedömningen av uppgift 39 från provpass 2 på höstens högskoleprov. De tidigare två inläggen om detta kan du läsa här: 
HPAkademin överklagar facit
Debatten fortsätter

Vi har fått ett nytt svar från Liss Kerstin Sylvén, som är provansvarig för ELF-delen. Tyvärr har Sylvén inte bemött de invändningar som HPAkademins Erik Sundblom har framfört. Som tidigare fortsätter vi att visa upp hela korrespondensen här på bloggen. 

Vi på HPAkademin får tyvärr alltmer bilden av att provkonstruktörerna, med Liss Kerstin Sylvén som talesperson, har låst fast sig i sin bedömning och inte är intresserade av att bemöta de konkreta invändningarna som vi gärna velat ha svar på. Om våra invändningar skulle vara felaktiga så skulle vi gärna vilja veta varför. Vi misstänker ganska tydligt att det är just ordet ”appreciate” som ställt till det och att ordets dubbla betydelser har inneburit att den giltiga men lite mer ovanliga betydelsen ”förstår” gjort att det svaret som är ”mest rätt” svaret skiftat från D till C. Iallafall enligt vår mening. 

Vi vet att reaktionerna mot den officella bedömningen av uppgift 39 har varit starka – många har hört av sig till oss efter att facit släpptes – och man kan därför föreställa sig att många kritiska mejl har strömmat in. Detta gör ju förstås att UHR säkert har problem att läsa alla mail. Men om det nu är så att lika många invänt till UHR som till oss hade man ju så klart önskat  man så klart att provansvariga hade tagit emot dessa kritiska reaktioner och tänkt till ordentligt. Av de standardsvar vi fått verkar det dock tyvärr inte ha hänt. Vi svävar iallafall i ovetande hur de tänkt då de inte bemöter våra argument.

Provkonstruktörernas auktoritet är dock självklar och deras bedömning kan därför inte rubbas om de själva vägrar omvärdera den. Därför är hoppet att facit ska ändras (så att både C och D godkänns, eller så att uppgiften helt enkelt stryks) nu mycket litet.

Lärdomen av denna tråkiga situation kan sägas vara att det inte går att komma ifrån att det kan finnas ett visst mått av subjektivitet i bedömningen av högskoleprovets verbala delar. Den som vill uppnå ett visst resultat på provet ska därför helst inte förlita sig på att ligga på gränsen, utan istället se till att plugga upp sin förmåga med en sådan marginal att man får det resultat man behöver utan att behöva förlita sig på enstaka poäng. Provkonstruktörernas behandling av denna kontrovers är provocerande i sig, men om ens utbildning står och faller på något enstaka poäng kan en problematisk bedömning av den här typen vara direkt förödande. 

Med det sagt, här kommer Sylvéns och Sundbloms nya mejlväxling:

 

från: elf ped gu se <[email protected]>
till: Erik Sundblom <[email protected]>
datum: 4 november 2016 16:46
ämne: SV: Facit till högskoleprovet
skickat från: ped.gu.se

Hej igen,

Texten handlar om groups. Texten säger Just because a group is full of intelligent individuals does not mean the group as a whole will necessarily be smart, och vidare, researchers found that a group’s collective intelligence is affected. I svarsalternativ C står Women seem to appreciate group work better than men. Group work (som enligt Merriam-Webster Dictionary är: a technique within the field of social work wherein various groups (as educational and recreational) are guided by an agency leader to more effective personal adjustment and community participation, alltså arbetssättet grupparbete, nämns över huvud taget inte i texten.

I texten står att women are more likely than men to possess skills such as social sensitivity and the ability to make inferences, men det står ingenting om att de därmed skulle appreciate group work better than men.

I svarsalternativet står att Women seem to appreciate group work. Det finns ingenting i texten som stöder påståendet att kvinnor i högre grad än män uppskattar grupparbete.

I svarsalternativet står ...better than men. Det finns ingen sådan antydan i texten, och det görs ingen jämförelse mellan könen i detta avseende.

Sammantaget finns inget stöd för alternativ C i texten. Anledningarna till att D är det bästa alternativet som svar på frågan What is the main point in this text? har jag redogjort för i mitt tidigare mail.

Med vänlig hälsning,
Liss Kerstin Sylvén
Provansvarig ELF

 

från: Erik Sundblom <[email protected]>
till: elf ped gu se <[email protected]>
datum: 8 november 2016 23:22
ämne: Re: Facit till högskoleprovet
skickat från: hpakademin.se
Hej igen!
Tack för att du fortsätter att försöka besvara mina undringar. Att du bara skickar ut detta kortfattade och ofullständiga svar till mig och andra som överklagar är dock synd. Du har återigen lämnat mina invändningar okommenterade och därför är jag fortfarande förbryllad över hur ni har resonerat.
Jag hänvisar återigen till de tre huvudpoänger jag sammanställde på ett väldigt tydligt sätt i toppen av mitt förra mejl:
1. Inget i texten pekar på att “mixed abilities” fungerar bra i en intelligent grupp. Istället nämns specifika förmågor, som kvinnor generellt sett har i högre utsträckning än män.
2. Appreciate kan översättas som “förstå”, och inte bara som “uppskatta”, och då finns det inget i texten som motsäger svarsalternativ C.
3. Textens “main point” stämmer överens med svarsalternativ C och blir inte minst tydlig i textens två första, sammanhörande meningar.
Punkt 1 upplever jag som avgörande för att svarsalternativ D inte helt stämmer överens med texten, utan att det finns en tydlig diskrepans. Detta har jag redogjort för i mina tidigare mejl.
Punkt 2 är nog den springande punkten, och i ditt senaste mail översätter du fortfarande appreciate endast som ”uppskattar”. Att appreciate de facto kan översättas även som ”förstå” eller ”greppa innebörden i” öppnar upp för att svarsalternativ C definitivt kan tolkas på ett helt annat sätt och därmed stämma väl överens med texten.
Punkt 3 betonar att svarsalternativ C matchar texten även sett till hur texten är uppbyggd och sett till vilket fokus texten har. Detta är naturligtvis betydelsefullt med tanke på hur frågan formulerades. Jag resonerade utförligt kring detta i mitt föregående mejl och hänvisar därför till det.
Den nya poäng du lyfter i ditt mejl är alltså att texten handlar om ”groups” och inte om ”group work” (som är det begrepp som finns med i svarsalternativ C). Jag är öppen för att denna aspekt kan vara värd att diskutera, men det torde vara uppenbart att smarta ”grupper” och ”grupparbete” är begrepp som inte är väsensskilda utan tvärtom hör tätt ihop. Annars är jag intresserad av att höra vad du menar att dessa smarta grupper ägnar sig åt, om det överhuvudtaget inte är någon form av grupparbete?
Bästa hälsningar
Erik Sundblom
HP-Coach

Debatten fortsätter!

Som vi tidigare har berättat har vi på HPAkademin bestämt oss för att överklaga bedömningen av en av ELF-uppgfiterna från provpass 2. Den överklagan som hp-coachen Erik Sundblom skickade in har nu fått ett svar från provansvarig. Detta kortfattade och vaga svar bemötte dock inte de invändningar vi på HPAkademin har. Vi fortsätter nedan att presentera hela korrespondensen så att alla ni andra som intresserar er för högskoleprovet kan ta del av den. Vi börjar med att fräscha upp minnet och klistra in vilken fråga det handlar om:

Groups
Just because a group is full of intelligent individuals does not mean the group as a whole will necessarily be smart. But having more women does, according to a new study. The researchers found that a group’s collective intelligence is affected not by individual intelligence but by social sensitivity and the ability to make inferences – skills women are more likely to possess than men.

Question
39. What is the main point in this text?

A Women in general are more intelligent than men.
B Successful groups require intelligent men.
C Women seem to appreciate group work better than men.
D Intelligent groups consist of people with mixed abilities.

Den ursprungliga överklagan finns att läsa här: HPAkademin överklagar facit.

Nedan följer svaret från provansvarige Liss Kerstin Sylvén och Erik Sundbloms replik. 

från: elf ped gu se <[email protected]>
till: Erik Sundblom <[email protected]>
datum: 3 november 2016 14:52
ämne: SV: Facit till högskoleprovet
skickat från: ped.gu.se

Hej Erik,

Tack för ditt mail angående fråga 39 om texten ”Groups”, där D är det korrekta alternativet. Anledningen att D Intelligent groups consist of people with mixed abilities är det rätta svaret är att det är svaret på frågan som lyder What is the main point in this text?. Formuleringen Women seem to appreciate group work better than men, som finns i svarsalternativ C, kan inte sägas vara the main point i denna text som inleds med Just because a group is full of intelligent individuals does not mean the group as a whole will necessarily be smart, och där konstaterandet att det som påverkar en grupps kollektiva intelligens, nämligen social sensitivity and the ability to make inferences, är något som women are more likely to possess than men nämns i en bisats på slutet av texten.

Jag du känner dig nöjd med denna förklaring.

Med vänlig hälsning,
Liss Kerstin Sylvén
Provansvarig, ELF

 

från: Erik Sundblom <[email protected]>
till: [email protected]
datum: 2 november 2016 14:03
ämne: Facit till högskoleprovet
skickat från: hpakademin.se

Hej!

Tack för ditt svar. Jag uppskattar att du tog dig tiden att försöka förklara för mig varför ni anser att D är mer rätt än C. Du bemötte dock inte alls mina huvudsakliga invändningar och jag skulle gärna vilja ha svar på dem.

Om man vill kan man koka ner mitt resonemang och mina invändningar till tre huvudsakliga poänger:
1. Inget i texten pekar på att “mixed abilities” fungerar bra i en intelligent grupp. Istället nämns specifika förmågor, som kvinnor generellt sett har.
2. Appreciate kan översättas som “greppa innebörden i”, och inte bara som “uppskatta”, och då finns det inget i texten som motsäger svarsalternativ C.
3. Textens “main point” stämmer överens med svarsalternativ C och blir tydlig i textens två första, sammanhörande meningar.

Det är i första hand dessa tre punkter jag önskar svar på, och det gör jag i enlighet med det resonemang jag förde i det föregående mejlet och som jag fortsätter att föra nedan.

Ditt resonemang tycks, så som du presenterar det, vila på en tolkning av den korta textens meningar och satser som lösryckta enheter, vilket i mina ögon inte stämmer överens med att texten är sammanhängande och koncis och bör betraktas i sin helhet.

Men visst, att en texts ”main point” ska framgå tidigt och tydligt är så klart sant. Men jag kan inte se att textens första mening entydigt pekar mot svarsalternativ D. Som jag tidigare skrev finns det heller inget i texten – varken i den första meningen eller senare – som pekar på att ”mixed abilities” skulle vara gynnsamt för att en grupp ska bli intelligent/välfungerande. Poängen är att den individuella intelligensen i sig inte spelar någon större roll, och att det i stället är de specifikt angivna förmågorna ”social sensitivity and the ability to make inferences” som är avgörande; ingenting annat nämns. Det är dessa förmågor som kvinnor i högre utsträckning än män har, precis som svarsalternativ C säger.

Drar man textens resonemang till sin spets så finns det inget som motsäger att en grupp med enbart kvinnor som enbart har just de nämnda förmågorna ”social sensitivity and the ability to make inferences” skulle vara ultimat för att fungera bäst och uppnå högsta nivå av “intelligens”. Detta trots att en sådan grupp skulle vara raka motsatsen till en grupp med “mixed abilities”.

Dessutom uppfattar jag, likt dig, att textens huvudpoäng, eller main point, framgår tidigt i texten. Däremot låser jag mig inte, som du gör, enbart vid den första meningen, utan läser den första och den andra meningen som en tydligt sammanhållen enhet. Den andra, korta och kärnfulla meningen hakar direkt i den första.

“Just because a group is full of intelligent individuals does not mean the group as a whole will necessarily be smart. But having more women does, according to a new study.”

Vad som är textens ärende har därmed presenterats: att berätta om de nya vetenskapliga rönen som pekar på att fler kvinnor gör en grupp smartare och mer välfungerande. Detta är huvudpoängen. Den tredje, längre och avslutande meningen förklarar sedan hur detta kommer sig, vad poängen grundas på: att vissa förmågor som kvinnor generellt sett har i högre utsträckning är män är avgörande för att grupparbete ska fungera bra och gruppen ska bli ”intelligent”. Allt detta, både huvudpoängen och förklaringen till vad huvudpoängen mer konkret innebär, stämmer överens med svarsalternativ C. Vad menar du är fel i denna tolkning?

Den tolkning jag redogör för ovan tar alltså hänsyn till att textens “main point” ska presenteras i textens inledning, i detta fall de två första, sammanhörande meningarna. Tolkningen tar även resten av texten i beaktning; hela den tredje meningen och dess förklaring av huvudpoängen stämmer överens med den förklaring till huvudpoängen som finns med i svarsalternativ C:s beskrivning av huvudpoängen.

Din tolkning av vad som är textens huvudpoäng tycks å andra sidan vila på att enbart läsa den första meningen i texten (och inte den korta, andra meningen som hakar i den första meningen). Utifrån den ofullständiga bild av textens innehåll som man får av att enbart läsa den första meningen måste man sedan göra egna, lite långsökta antaganden om “mixed abilitites” för att komma fram till att svarsalternativ D är obestridligt korrekt.

Tack för ert hårda och viktiga arbete med högskoleprovet. Jag förstår även att det måste vara ett hästjobb att besvara allas invändningar till olika frågor. Just denna fråga är det dock många som kontaktar oss om, med de specifika invändningar vi har, så jag skulle uppskatta mycket om du specifikt bemötte just de tre invändningar jag redogjort för ovan.

Jag ser fram emot att ta del av dina svar!


Bästa hälsningar
Erik Sundblom
HP-Coach
HPAkademin

Hur kommer normeringstabellerna se ut för höstens högskoleprov 2016?

 

forvirrad-normering-hogskoleprovet

Nu när ett officiellt facit har släppts (och det visade sig att HPAkademins facit matchade ganska bra) så kommer förstås nästa mycket viktiga aspekt av högskoleprovet: Hur normeringen kommer att bli?

Nedan följer en liten presentation av vad vi vet och en bedömning av vad vi kan förvänta oss. Vi har även gjort en visuell sammanställning av alla normeringsgränser sedan provet gjordes om till sitt nuvarande format 2011, så att vi kan få en enkel och tydlig överblick över förändringarna över tid. Graferna över detta återfinns längst ned i detta inlägg!

Svaret på rubrikens fråga är i grunden enkelt: det kan vi inte veta! Det görs en helt ny normering för varje prov i samband med att alla provdeltagares svar rättas och analyseras med noggrant utformade metoder för att säkerställa att det alltid ska vara lika lätt eller svårt att få ett visst normerat resultat på provet. Normeringsgränserna för höstens prov beror alltså i stor utsträckning på hur vi som skrev provet i lördags klarade oss.

Nu kan det låta som att normeringen kan komma att se ut hur som helst, men vi kan känna oss väldigt säkra på att så lyckligtvis inte är fallet. Genom att se tillbaka på tidigare provs normeringar kan vi se att förändringarna från prov till prov alltid varit hyfsat små, med undantag för ett lite större språng i kvantgränserna hösten 2014, vilket vi ska återkomma till.

Separat normering för kvant och verbal

Du som har skrivit provet kommer att få en normering på den kvantitativa delen och en normering på den verbala delen. Sedan slås de ihop och medelvärdet av de två normerade poängen blir din slutpoäng. Detta har medfört att det är betydligt svårare nu att få 2,0 än det var tidigare. Innan 2011 kunde man ju väga upp ett lite sämre resultat på en av delarna med att få nästan alla rätt på de andra. Nu kan man alltså inte det och alla de poäng man får som överskrider 2,0-gränsen på den ena delen gör inte att man får en högre normerad poäng på den andra delen. Innan 2011 var det ca 600 personer som fick 2,0 per prov – efter 2011 är det bara ca 60 personer! Detta har såklart också inneburit att det resultat man behöver för att komma in på de mest åtråvärda utbildningarna generellt sett har blivit lägre. Tidigare behövde man 2,0 för att plugga på KI, medan man nu kan komma in med ca 1,8.

Vad tror vi då om höstprovets normering?

Det är väldigt svårt att säga. Vi har gjort grafer över hur nivåerna fluktuerat över de senaste årens normeringar (se graferna nedan), så att ni kan få en bild av utvecklingen. Hur ska förändringarna som har skett då tolkas? Här finns inga rätt eller fel, och det står var och en fritt att göra egna spekulationer. Några omständigheter kring normeringen förtjänar att lyftas, innan vi kan försöka oss på att gissa om fortsatta förändringar.

Kvantnormeringen har gått stadigt uppåt, men bör nu ha hittat sin nivå

Som ni kan se på graferna över normeringsnivåerna på de senaste åren så har nivån gått upp på kvant. Förra provets normering var den högsta någonsin för alla nivåer. De senaste provens förhållandevis ihållande ökningarna i normeringen för kvant har varit resultatet av ett medvetet arbete från provskaparna, som de dock inte har talat så högt om. Provskaparna har inte gillat att normeringsgränserna för kvant har varit betydligt lägre än motsvarande gränser för de verbala delarna, och därför har de avsiktligt gjort de kvantitativa provpassen något lättare än tidigare för att fler ska skriva ett högre resultat. På så vis har normeringsgränserna för kvant höjts, så att de numera bättre matchar den den verbala delen.

Som synes skedde det stora språnget i normeringen för kvant hösten 2014, då normeringsgränserna plötsligt höjdes med fyra-fem poäng över större delen av skalan. Efter detta har normeringen gått lite upp och lite ned, och tog ett tydligt steg uppåt för alla resultatnivåer upp till 1,7 i samband med vårens prov, men utan att ta samma stora språng. Det är rimligt att anta att provkonstruktörerna förhoppningsvis är på väg att hitta en ny, någorlunda stabil nivå för kvant som håller sig över tid, och att förändringarna framöver förhoppningsvis kommer vara marginella.

Även om provets normering kommer att fortsätta fluktuera kan vi därför antagligen känna oss ganska säkra på att tiden nog är över när man kunde få 2,0 på 69 rätt på kvant. De senaste fyra proven har 2,0 gränsen-legat på 73, 73, 71 och 73. Det är ganska troligt att nivån kommer att ligga runt 73 även till detta provet. Om kvantnormeringen närmar sig den högre verbala normeringen ytterligare kan man även tänka sig att gränsen för 2,0 på kvant hamnar på 74 poäng för första gången. Det är dock svårt att tänka sig att nivån skulle höjas mer än så – eftersom nivån för kvant nu är närmare den verbala nivån än tidigare så är det mycket orealistiskt att tänka sig ett nytt språng av den typ som skedde hösten 2014.

Verbala nivåerna har legat mer stabilt över tid, men fluktuerar från år till år

När det gäller den verbala delen så har antalet rätt höjts en aning på de högsta nivåerna även här, men inte alls lika drastiskt som på kvant då gränserna för den verbala normeringen redan från början har varit högre. Här kan vi därför känna oss ännu mer säkra på att årets normering knappast kommer att förändras mycket jämfört med de senaste proven. Dippen i den verbala normeringen vid våren 2012 berodde på att fyra ord ströks då de läckt online redan innan provet började (således kunde man bara få högst 76 poäng på den verbala delen den gången). Verbala kurvan är alltså ännu stabilare än vad grafen indikerar.

Optimisten kan tänka att det finns en chans för lite enklare normering på nivåerna upp till 1,8, eftersom de tog ett skutt uppåt i våras. Dessförinnan hade gränserna tagit ett skutt nedåt mellan hösten 2015 och våren 2016, som vi kan se i grafen. Tankar av det här slaget är dock bara gissningar. Vi förutspådde dock efter förra provet hårdare normering för verbala delens resultat mellan 1,7 och 0,6 och fick definitivt rätt när det gällde det, så det kanske ligger något i det.

Kan jakten efter fuskarna påverka normeringstabellerna?

Den optimistiskt lagde kan hoppas på att det nya upplägget för att stävja fusk – där provfrågorna på det sista provpasset utan förvarning hade lagts i olika ordning beroende på var man skrev – kan få som följd att många fuskare åker fast och att normeringsgränserna för de högsta resultaten därför sänks. En sådan förhoppning är inte helt orealistisk i och med att det är så få personer som skriver de allra högsta resultaten (bara en promille, eller 50-60 personer, skriver 2,00) och att vi vet att fusk har förekommit systematiskt på provet (se HPAkademins presentation av vad vi vet här). Samtidigt åkte ett fyrtiotal fuskare fast redan i våras, utan att normeringstabellerna för den skull påverkades på något tydligt vis.

Om det fyrtiotalet personer bara var toppen av ett isberg, och om fuskligorna inte lyckades hantera omkastandet av uppgifterna, är det för den skull inte otänkbart att ännu fler åker fast nu och att det därför kommer en effekt. Det är svårt att bedöma hur sannolikt eller osannolikt det är, men det är absolut bäst att inte hoppas på för mycket.

Och som sagt: räkna absolut inte med att det blir någon påverkan. För att det ska bli någon effekt måste det ha varit väldigt många som fuskade och som åkte dit.

 

normering-hosten-2016-kvant

normering-hosten-2016-verbal

När kommer det riktiga resultatet?

Ditt riktiga, normerade resultat kommer 28 november, men normeringstabellerna ska släppas några dagar tidigare, den 23 november. Nu håller vi tummarna för en lätt normering!

Vill du veta ännu mer om normeringsgränserna och hur de har förändrats kan du kolla in inlägget vi skrev om detta i våras eller UHRs officiella sida: Efter provet

HPAkademins webbkurs

Om du redan nu vet med dig att du inte kommer nå ditt önskade resultat så rekommenderar vi naturligtvis att du köper vår fina webbkurs!