Blogg

UHR utreder den kritiserade ELF-uppgiften

Att det första provpassets uppgift 33 var märklig uppmärksammade vi på HPAkademin redan under provdagen, när vi rapporterade vårt livefacit. Efter att facit sedan släppts, sände HPAkademins provanalytiker Erik Sundblom in en formell överklagan till den särskilda grupp som ansvarar för ELF-frågorna.

Vi på HPAkademin har under de senaste åren lagt märke till flera dåligt konstruerade uppgifter just på ELF-delen, och försökt överklaga även vid två tidigare tillfällen. Båda gångerna svarade ELF-gruppens projektledare Liss Kerstin Sylvén snabbt och avfärdade överklagandena. Men denna gång har responsen dröjt; ännu har inget svar kommit på överklagandet!

När Erik denna eftermiddag frågade UHR om inte någon respons borde komma snart, kom detta svar:

”Hej Erik! UHR utreder detta och återkommer så snart vi har mer information att lämna.”

Tack för ditt svar! Dröjer det till nästa vecka innan någon information kommer, tror du?

Kan dessvärre inte ge ngt besked men det kan nog dröja längre än så på grund av påsk emellan.

De knapphändiga svaren ger inte mycket information i sig, men bekräftar alltså att UHR i nuläget utreder den kritiserade frågan, det vill säga att de alltså tar överklagandet på allvar denna gång. Även de tidigare ELF-uppgifterna som vi på HPAkademin försökt överklaga var enligt oss klart bristfälligt konstruerade, även om invändningarna då snabbt avfärdades. Den stora skillnaden denna gång är antagligen att själva textförfattaren öppet har kritiserat uppgiften, när han blivit mejlad av både oss på HPAkademin och andra som skrev provet. Julian Baggini heter den brittiske författare som skrivit den artikel som den märkliga uppgiften var knuten till, och inte heller hann ansåg alltså att det gick att plocka ut ett av svarsalternativen C och D som det korrekta. Detta trots att frågan alltså handlade om ”the main argument” i hans egen text!

Felet har denna gång blivit så pass uppenbart att ELF-gruppen, och UHR, inte omedelbart känner att de kan avfärda det. Förslaget i det överklagande som Erik Sundblom skickade in var att både C och D skulle bedömas som korrekta svarsalternativ, och förhoppningsvis kan detta nu bli verklighet, även om de tydligen behöver förvånansvärt mycket tid för att utreda saken. Ett tänkbart alternativ som UHR kanske också överväger, är att hela uppgift 33 stryks från provet, och att den verbala delen alltså räknas om som att den innehåller 79 poäng.

HPAkademin håller naturligtvis alla som är intresserade av högskoleprovet, och av ELF-gruppens märkliga arbete, uppdaterade!

Vår formella överklagan på uppg 33 provpass 1, inskickad till UHR idag

Hej,

jag skriver till er som ansvarar för högskoleprovets ELF-del eftersom jag vill överklaga utformningen och bedömningen av det första provpassets uppgift 33 på lördagens högskoleprov. Jag anser att både C och D borde bedömas som korrekta svar.

Svarsalternativen C och D är båda formulerade på ett sådant vis att de på ett fullgott sätt besvarar den fråga som ställs om det första styckets “main argument”. Jag har i flera år arbetat med att förbereda elever för högskoleprovet tillsammans med en grupp kollegor på företaget HPAkademin. Samtliga av oss har presterat absoluta toppresultat på provet och vi har lagt tusentals timmar på att analysera högskoleprovsuppgifter. Vi har trots djuplodande diskussioner kring denna uppgift inte kunnat komma fram till att det går att plocka ut ett av de två svarsalternativen C och D som tydligt mer rätt än det andra. Hur ska uppgiften egentligen kunna lösas?

I det facit som offentliggjordes idag framkommer att ni bedömer svarsalternativ C som korrekt, och svarsalternativ D som felaktigt. Denna bedömning och detta hårfina särskiljande av två svarsalternativ som båda utgör fullgoda svar på frågan, framstår som mycket godtycklig.

Min chef på HPAkademin, Johan Ström har varit i skriftlig kontakt med textförfattaren, Julian Baggini, som skrev den artikel (“Doing good”) som ni använder i anslutning till uppgifterna 33 till och med 37 på det aktuella provpasset. På frågan om hur han såg på uppgift 33 svarade han: “I do not think it is clear enough what the right answer to this question is.” Jag bifogar hela Bagginis uttalande i slutet av detta mejl.

Eftersom det är Baggini som själv har skrivit texten måste det anses vara anmärkningsvärt att inte heller han ser hur man ska kunna välja ett av svarsalternativen C och D. Visserligen har inte en textförfattare ensamrätt till att tolka vad hans eller hennes text säger till läsaren: en lite dåligt formulerad text kan innebära att textförfattaren misslyckas med att göra klart för läsaren vad den tänkta poängen är. Är detta vad som har hänt här – anser ni att Baggini helt enkelt är en lite klumpig skribent som inte lyckas formulera sig på ett sådant vis att han får fram i skrift vad han vill säga?

Med tanke på att Baggini skrivit ett tjugotal böcker för en bred publik – och med tanke på att hans text blivit utvald till det svenska högskoleprovet – förefaller det mycket märkligt att han skulle ha sådana flagranta brister i sin förmåga att skriva.

Den alternativa förklaringen är att det är ni i arbetsgruppen bakom ELF som har misslyckats med uppgiftskonstruktionen.

Kan det ha varit så att ni efter att ha formulerat det korrekta svarsalternativet C inte var tillräckligt noggranna när ni skrev ihop de felaktiga svarsalternativen? Kan ni ha råkat formulera ett av de förment felaktiga svarsalternativen med ett lite vagt ordval som – utan att det var meningen – medförde att även detta svarsalternativ framstod som ett korrekt svar? Var tanken att begreppet “social factors” i svarsalternativ D skulle läsas och förstås som att det handlar om olika befolkningsgrupper som har olika benägenhet att donera (vilket så klart inte stämmer överens med texten)? Sociala faktorer, eller “social factors”, är ju ett begrepp som ofta används i den typen av sammanhang, för att ringa in människors ställning eller status i samhället, vad gäller exempelvis deras levnadsstandard och deras utbildnings- och inkomstnivå. Detta ligger nära begreppet ”sociological factors”.

Problemet som uppstått är att formuleringen “social factors” i sig inte entydigt betyder just detta. När kontexten inte är ett samhälles befolkning och kategoriseringen av den, kan orden “social factors” läsas som ett bredare, allmängiltigt begrepp: helt enkelt faktorer som är av social art. Ordet “social” i sig kan användas på många sätt, men vi kan göra en grov uppdelning av vilka former av användning av ordet som finns: dels kan ordet “social” användas på en nivå som är fokuserad på samhället, dels kan samma ord användas på en lägre nivå, som ett ord som handlar om människors samverkan och interaktioner, på individ- och gruppnivå. Således kan “social factors”, oaktat kontext, både förstås som olika samhälleliga aspekter och som olika aspekter på människors samverkan eller interaktioner.

I enlighet med den senare innebörden kan svarsalternativ D med fördel utläsas som ungefär detta påstående: (aspekter av) den sociala samvaron har inverkan på människors benägenhet att ge pengar. Och det påståendet stämmer väl överens med vad som kan ses som “the main argument” i textens första stycke. Poängen är ju att kyrkbesökarna påverkas av att de är i ett socialt sammanhang, ett sammanhang där de har människor omkring sig som märker (ser eller hör, beroende på insamlingsform) hur generösa de framstår som, genom hur mycket pengar de verkar ge i kollekten. Det är uppenbart att det som är avgörande är just det sociala sammanhanget, att man befinner sig bland andra människor.

Måhända kan ni likafullt argumentera för att den tänkta, mer samhälleliga (eller sociologiska) tolkningen av begreppet “social factors” som är den mest rimliga, eller till och med ska ses som underförstådd? Orden “social factors” betyder ju inte i sig att det handlar om just befolkningsgrupper eller liknande, men ni menar att det är det den mest etablerade användningen av begreppet?

Det är en intressant fråga. Jag kan naturligtvis inte försöka mig på att med auktoritet ge en fullständig analys och överblick över hur “social factors”-begreppet används inom alla olika vetenskapsfält, och inom mer formell engelska överhuvudtaget. Men jag tror att det säkert stämmer att “social factors” är ett vanligt begrepp inom flera samhällsvetenskaper för att beteckna olika skillnader mellan människor på samhällsnivå, det vill säga en användning som uppenbart inte fungerar inte den aktuella ELF-uppgiften.

Den aktuella texten, “Doing good”, är dock hämtad från Psychologies Magazine och alltså en text som tydligt hör hemma inom psykologins sfär, och inom den torde det inte vara lika uppenbart att den samhällsinriktade användningen av “social factors”-begreppet är den vedertagna. När det gäller denna vetenskapliga disciplin som, med Nationalencyklopedins kärnfulla definition, söker “beskriva och förklara hur och varför människor känner, tänker och handlar” är det rimligt att anta att “det sociala” i det mindre perspektivet är högintressant: “sociala faktorer” som i aspekter av människors sociala samvaro. Det är också just detta som det aktuella textstycket berör.

Som ett försök att få lite insyn i begreppsanvändningen i psykologi, har jag efter en snabb internetsökning funnit dessa exempel på psykologiska vetenskapliga texter där “social factors” inte används i ett samhälleligt perspektiv, utan istället om aspekter av människors sociala samvaro:

“Psychological Perspectives on Entrepreneurship: Cognitive and Social Factors in Entrepreneurs’ Success” https://journals.sagepub.com/doi/abs/10.1111/1467-8721.00050

“Initial drug abuse: A review of predisposing social psychological factors.” https://psycnet.apa.org/record/1976-09675-001

Om inte annat står det klart att Baggini gjorde en sådan läsning av begreppet “social factors” att svarsalternativ D för honom själv framstod som ungefär lika korrekt som svarsalternativ C. Den tolkning av begreppet “social factors” som ni har tänkt er har alltså inte varit tydlig, eller ens förståelig, för textens författare.

Det är helt enkelt för mig tveksamt i vilken mån “social factors” kan anses ha en helt vedertagen definition som innebär ett samhälls- och befolkningsperspektiv – och som innebär att svarsalternativ D tydligt kan avfärdas. Hur ser ni på detta?

Och – även om detta begrepp har en vedertagen och avgränsad innebörd inom viss samhällsvetenskap – är det verkligen rimligt att provskrivarna enbart ska ta hänsyn till denna inomvetenskapliga definition? Innebär det inte en god läsförståelse att tolka de i sig mångbottnade orden “social factors” mer i enlighet med den aktuella texten?

Vänliga hälsningar,

Erik Sundblom, provskrivare samt medarbetare i HPAkademin

 

Bifogat: mejlkonversation med Julian Baggini

——————————————————————————————————————

”Från: Johan Ström <johan.strom@hpakademin.se>
Skickat: den 9 april 2019 17:56

Hi Julian!

My name is Johan Ström and I represent a test prep company called HPAkademin.

Your text ””Doing Good”” was featured recently in the Swedish SAT test.

I would like your take on how you interpret the first paragraph of the text.

Regards
Johan Ström, HPAkademin”

——————————————————————————————————————

”Från: Julian Baggini <jbaggini@email-redacted>
Skickat: den 9 april 2019 18:06

Thanks. You are the third person to ask me about this!

See below my exchange with a fellow Swede [name redacted]”

——————————————————————————————————————

Från: Johan Ström <johan.strom@hpakademin.se>
Skickat: den 9 april 2019 18:27

Hi again!

Is it ok for you if I publish your replies on our blog?

I know that a lot of people here that has taken the test wonders about the status of the question so that would help them keep up with the situation.

——————————————————————————————————————

”Från: Julian Baggini <jbaggini@email-redacted>
Skickat: den 9 april 2019 20:17

If you’re going to make something public please use this.

I understand that the passage set was:

”When I was young, I would frequent two Catholic churches. One took its weekly collection by passing around a cloth bag, while at the other the congregation placed their offerings on a tray. I saw no reason for the variation, but an older churchgoer explained that it made a big difference to what people gave. People would put coins into a bag because others could only hear and not see that they had donated, whereas they would be more inclined to put notes onto a tray as a public display of their generosity. For an innocent young boy, it was a startling introduction to our endemic cynicism about charitable giving. You are seen as comically naïve if you believe that people give up their time or money purely out of the goodness of their own hearts. ‘What’s in it for them?’ is often the automatic response to signs of conspicuous altruism.”

The question asked was:

33. What is the main argument in the opening paragraph?
A People may differ a great deal concerning the amount of money they donate.
B Different churches favour different ways of collecting money from people.
C People tend to give away more money if they know they are being watched.
D Social factors are relevant regarding people’s willingness to donate money.

If this is accurate, it is not, in my view, a well-posed question. The argument rehearsed (though not necessarily endorsed) in the paragraph supports both C and D. To ask which is the main argument is difficult. The argument itself concerns only money (so supports C) but the point being made is clearly larger (so supports D).

If I were to sum up the point of the argument it would be that apparent acts of altruism are widely believed to be, in reality, acts of self-interest. Hence the ‘What’s in it for them?’ phrase at the end.
Neither C nor D captures this completely. D is a broader point, C is narrower.
Therefore I do not think it is clear enough what the right answer to this question is.

Dr Julian Baggini
Writer | Speaker | Consultant
Academic Director, Royal Institute of Philosophy
www.microphilosophy.net
https://twitter.com/microphilosophy

Överklagande på gång för uppgift 33 på provpass 1

Uppdatering 2019-04-10 12:50
Officiella facit är publicerat. Det visar sig att UHR anser att C är korrekt svar. Textförfattaren anser att det är en dåligt konstruerad fråga, både C och D kan vara rätt, och det går egentligen inte att välja ett av dem. Baserat på detta kommer vi att skriva en överklagan och argumentera för att både C och D borde ge rätt svar. Det ska noteras att vi tidigare gjort överklaganden av ELF-frågor och inte fått något gehör överhuvudtaget. Men då hade vi ju inte heller den ursprungliga textförfattaren på vår sida =D. Gå in och likea vår facebook page om du vill bli uppdaterad när vi får svar: https://www.facebook.com/HPAkademin/

 

Överklagan på gång för uppgift 33 på provpass 1
Vi har ju lyft i vårt facit att uppgift 33 på provpass 1 på vårens prov 2019 inte är en bra uppgift.

Nu har faktiskt författaren till texten uttalat sig i frågan!

——————————————————————————————————————

”Från: Johan Ström <johan.strom@hpakademin.se>
Skickat: den 9 april 2019 17:56

Hi Julian!

My name is Johan Ström and I represent a test prep company called HPAkademin.

Your text ””Doing Good”” was featured recently in the Swedish SAT test.

I would like your take on how you interpret the first paragraph of the text.

Regards
Johan Ström, HPAkademin”

——————————————————————————————————————

”Från: Julian Baggini <jbaggini@email-redacted>
Skickat: den 9 april 2019 18:06

Thanks. You are the third person to ask me about this!

See below my exchange with a fellow Swede [name redacted]”

——————————————————————————————————————

Från: Johan Ström <johan.strom@hpakademin.se>
Skickat: den 9 april 2019 18:27

Hi again!

Is it ok for you if I publish your replies on our blog?

I know that a lot of people here that has taken the test wonders about the status of the question so that would help them keep up with the situation.

——————————————————————————————————————

”Från: Julian Baggini <jbaggini@email-redacted>
Skickat: den 9 april 2019 20:17

If you’re going to make something public please use this.

I understand that the passage set was:

”When I was young, I would frequent two Catholic churches. One took its weekly collection by passing around a cloth bag, while at the other the congregation placed their offerings on a tray. I saw no reason for the variation, but an older churchgoer explained that it made a big difference to what people gave. People would put coins into a bag because others could only hear and not see that they had donated, whereas they would be more inclined to put notes onto a tray as a public display of their generosity.
For an innocent young boy, it was a startling introduction to our endemic cynicism about charitable giving. You are seen as comically naïve if you believe that people give up
their time or money purely out of the goodness of their own hearts. ‘What’s in it for them?’ is often the automatic response to signs of conspicuous altruism.”

The question asked was:

33. What is the main argument in the opening paragraph?
A People may differ a great deal concerning the amount of money they donate.
B Different churches favour different ways of collecting money from people.
C People tend to give away more money if they know they are being watched.
D Social factors are relevant regarding people’s willingness to donate money.

If this is accurate, it is not, in my view, a well-posed question. The argument rehearsed (though not necessarily endorsed) in the paragraph supports both C and D. To ask which is the main argument is difficult. The argument itself concerns only money (so supports C) but the point being made is clearly larger (so supports D).

If I were to sum up the point of the argument it would be that apparent acts of altruism are widely believed to be, in reality, acts of self-interest. Hence the ‘What’s in it for them?’ phrase at the end.
Neither C nor D captures this completely. D is a broader point, C is narrower.

Therefore I do not think it is clear enough what the right answer to this question is.

Dr Julian Baggini
Writer | Speaker | Consultant
Academic Director, Royal Institute of Philosophy
——————————————————————————————————————

Vårt resonemang kring frågan och anledningen till varför vi bytte till att tro att uppgiftens rätta svar borde vara C handlade ju just om att vi trodde att UHR använde en viss tolkning på ”social factors”. Innan så hade vi alltså D som rätt svar med ungefär samma motivering som textförfattaren nämner. Men det visar sig nu alltså att själva textförfattaren alltså inte gör den tolkningen av begreppet ”social factors” så det ska bli spännande att se om UHR sätter C eller D som rätt svar nu! Oavsett så håller vi med Julian om att uppgiften inte är bra.

I vår revidering när vi ändrade det troliga svaret från D till C resonerade vi så här:

Ytterligare revidering Vi har faktiskt i slutändan bestämt oss för att ändra uppgift 33 till svarsalternativ C. Vårt resonemang var tidigare att exemplet inte nödvändigtvis visar att ”people tend to give away more money if they know they are being watched.” just eftersom exemplet visar på att mängden pengar man ger inte var själva grejen. Själva grejen var ju ju att man ville ge på ett synligt sätt. Sen var det ju som vi uppfattade att man i båda exemplen blir watched, så själva kontrasten är inte huruvida man blir iakttagen eller inte. Vi trodde också att ”social factors” innebar ”sociala aspekter” d.v.s. socialt som i interaktionen mellan människor, och då är det ju svårt att argumentera för att D skulle vara fel.Det vi nu i efterhand har insett är det nog är så att UHR menar med ”social factors” faktorer som socioekonomisk status, utbildningsnivå osv, och då blir ju svarsalternativ D klart fel. Sen kanske vi överdrev vikten av själva exemplet och sättet det gjorde att C kunde vara fel. Man kanske menar istället med hela stycket att man inte vill ge pengar bara för givandets skulle, och exemplet är bara ett exempel på att man vill att det ska synas när man gav. Det är väldigt lurigt då vi ju inte riktigt håller med hur de formulerat det i C, men eftersom ”social factors” grejen ger en tydligare anledning till varför D kan vara fel så tror vi att det är så UHR har tänkt. Vi har någon gång tidigare haft en tydlig konflikt med UHR angående en fråga på ELF och då var det också att ett visst ord kunde ha andra betydelser men UHR hade inte tagit det i beaktning. Så vi tror nu alltså att de bara tänkt på ”social factors” som socioekonomisk status och inte tänkt på att man kan tolka det på något annat sätt. Alltså blir C rätt men inte D. Men vi är verkligen inte säkra =P Riktigt jobbig fråga. Blir kanske en överklagning på denna ändå.