Er sosiologiprogrammene gode nok på kvantitative metoder?

Før sommeren i år kom NOKUT-rapporten «Educational quality in sociology in Norway» som er en evaluering av kvalitet på utdanningen i sosiologi i Norge. De studiestedene som er evaluert er sosiologi ved NTNU, Universitetet i Oslo (UiO), Universitetet i sør-øst Norge (USN), Universitetet i Stavanger (UiS), Universitetet i Bergen (UiB), Universitetet i Agder (UiA), Nord Universitet (Nord) og Universitetet i Tromsø (UiT).

Denne rapporten tar opp flere temaer som er verd en nærmere diskusjon, men jeg vil her kun diskutere kvantitative metoder. Rapporten konkluderte nemlig blant annet med at «Most programmes are thin on research methods, in particular quantitative methods and statistical techniques» (s. 62). Det er et innspill sosiologifaget i Norge bør ta alvorlig.

Slik rapporten er formulert er det imidlertid noe uklart hvorvidt de har vurdert noe annet enn antall studiepoeng. «Tynt» kan jo bety så mangt.

Når man har fullført en MA i sosiologi har man hatt omtrent 20 stp i kvantitative metoder, men noen studiesteder har lite av dette på BA-nivå (UiA og Nord) mens andre har lagt en større mengde til MA-nivå (NTNU og UiB). I tillegg er det enkelte muligheter for fordypning i kvantitative metoder, men det er nokså begrenset, hvilket jeg kommer tilbake til nedenfor. Hvor mange studiepoeng som bør kreves må selvsagt veies opp mot andre emner i sosiologigraden, men jeg vil nok si at 20 stp er et rimelig nivå.

Jeg er likevel enig med NOKUT-utvalget i at sosiologiprogrammene ikke har godt nok tilbud på kvantitative metoder og statistiske teknikker, men det er ikke mengden som er den største utfordringen selv om dette også kan vurderes. Jeg mener at de fleste sosiologiprogrammene kan gjøre vesentlige forbedringer innenfor nåværende rammer.

NOKUT-utvalget sier altså ingenting om innholdet i de kvantitative kursene. Jeg vil derfor se nærmere på pensumet som benyttes ved de aktuelle norske lærestedene (fra siste studieår jeg fant på emnesidene). Det kan ikke utelukkes at undervisningen f.eks. går dypere enn pensumtekstene gir inntrykk av, men det ville være påfallende hvis man krevde vesentlig mer enn hva det skriftlige pensumet gjennomgår. Merk at jeg ikke gir noen vurdering av kvaliteten på den enkelte lærebok, men gjør en vurdering om pensumet gir tilstrekkelig statistisk innsikt til hva jeg mener bør dekkes i et sosiologiprogram.

Kort oppsummert har jeg inntrykk av at statistisk teori er for lite vektlagt. Dette er svært viktige temaer fordi det er begrunnelsene og forklaringene på de ulike konkrete statistiske teknikkene. Et eksempel er at det er lett å lære hvordan man regner ut en t-test og lære regler for hvordan resultatet tolkes. Men for å forstå hva man gjør er det avgjørende å ha et godt grep om sentralgrenseteoremet samt hva samplingfordeling og sannsynlighetsmodeller er. Det sannsynlighetsteoretiske grunnlaget bør derfor gis stor vekt.

Pensum på bachelornivå

Ved sosiologiprogrammene brukes flere ulike pensumbøker og kombinasjoner med andre pensumbidrag. En fullstendig gjennomgang og vurdering er utenfor hva jeg kan klare her. Men jeg gjengir her et hovedbilde fra pensumlistene, uten å gå inn på all støttelitteraturen.

Boken til Ringdal (2012) brukes som hovedbok ved NTNU, Stavanger og Tromsø. Ved UiN brukes Johannesen, Tufte og Christoffersen (2016), og ved USN brukes Johannessen, Kristoffersen og Tufte (2011). Ved UiB er hovedbøkene en kombinasjon av Grønmo (2016), supplert med diverse kortere pensumbidrag. Ved UiA brukes Jacobsen (2015). Ved UiO brukes Moore, Notz og Fligner (2015) supplert med Lewis-Beck & Lewis-Beck (2016).

Mitt hovedanliggende er som sagt hvorvidt pensumet gir tilstrekkelig innsikt i statistisk tenking, teori og forståelse av usikkerhet. Med forbehold om at kortere pensumbidrag veier vesentlig opp for hva hovedbøkene mangler, er det grunn til tro at det pensumet ikke går dypt nok. Både Ringdal (2012), Grønmo (2016), Johannesen et al (2016) og Johannesen et al (2011) dekker grunnleggende teknikker som t-test, kji-kvadrat test osv, men grunnleggende statistisk teori er ikke like godt dekket. Alle disse bøkene bør etter min mening suppleres med annen litteratur for å få dekket det sannsynlighetsteoretiske tilstrekkelig. Moore et al (2015) er etter min mening den eneste av hovedbøkene som dekker dette tilstrekkelig.

Pensumet ved UiA (Jacobsen 2015) er fokusert på datainnsamlig, som selvsagt er et viktig tema, men grunnleggende statistikk er dermed ikke dekket i det hele tatt. Ved UiB er det mye supplerende litteratur, men det er noe overraskende at de inkluderer utdrag fra Foldnes, Grønneberg og Hermansen (2018) som nettopp ikke inkluderer sannsynlighet, fordelinger og inferens som denne boken ellers dekker godt.

Med unntak av sosiologi ved UiO er altså det samlede inntrykket at nåværende pensum i kvantitative metoder i sosiologi i liten grad gir en tilstrekkelig innføring i sannsynlighet og usikkerhet, som altså er grunnlaget for de teknikkene som brukes.

Om software

På BA-nivå bruker flere av lærestedene bøker som viser hvordan man bruker software til å utføre en del teknikker. STATA dominerer, men også SPSS er i bruk. UiB, UiS og UiA bruker i varianter av boken til Midtbø om hvordan man bruker STATA/SPSS til å gjøre regresjonsanalyser. Ved UiO undervises det i STATA uten eget pensum, og jeg går ut fra at øvrige studiesteder gjør tilsvarende. Hvilken software man bruker er underordnet i denne sammenhengen, men jeg vil understreke at å lære riktige kommandoer i software ikke kan erstatte innsikten i hva softwaren faktisk gjør. Bøker om software (f.eks. Midtbø 2016 eller Mehmetoglu & Jakobsen 2017) kan på ingen måte dekke opp for det som ikke dekkes om grunnleggende statistikk i øvrige pensum. Når det er sagt er programmering svært viktige ferdigheter og det er bra at dette har en viss plass på disse kursene.

Pensum på MA-nivå

UiS, USN, UiA og UiN tilbyr ikke en master i sosiologi og diskuteres derfor ikke videre her.

Ved NTNU, UiB og UiT brukes Skog (2004) som hovedbok, mens ved UiO er hovedbøkene en kombinasjon av Gordon (2015) og Angrist & Pischke (2014). Alle kursene har supplerende pensum om praktisk bruk av STATA. Ved UiB brukes Longest (2015), og ved NTNU brukes en kombinasjon av Mehmet Jakobsen (2017) og Midtbø (2012), mens UiO bruker Mehmet Jakobsen (2017).

Læreboken til Skog (2004) er altså den sentrale læreboken på MA-nivå i sosiologi i Norge. Her er det et par ting å merke seg. For det første dekker denne boken i vesentlig grad temaer som allerede har vært på pensum på BA-nivå både ved NTNU, UiB og UiT. Dette innebærer altså en vesentlig grad av repetisjon, men Skog legger i tillegg mer vekt på sannsynlighetsregning og statistiske forståelse.

Skog (2004) omhandler også en del relativt avanserte emner, men kort sagt mener jeg at kapitlene 1-8, samt deler av 9 og 10 hører hjemme på BA-nivå, og mye av dette er dekket i bl.a. Ringdal (2012). Det er slik sett egentlig bare de siste kapitlene som strengt tatt er passende på MA-nivå. Det som Skog (2004) tilfører disse temaene er en grundigere diskusjon av sannsynlighetsteoretiske grunnlaget. Det er for så vidt bra, men burde altså etter min mening vært gjort unna på BA-nivå.

Det er problematisk med så stort overlapp både fordi kursene ikke er tilstrekkelig kumulative og fordi det kan reises spørsmål om studentene får studiepoeng for omtrentlig samme stoff to ganger. Men langt viktigere: studentene får mindre fordypning i kvantitativ metode enn de burde hatt. Hvis det er faglig behov for så mye repetisjon på MA-nivå, er det fristende å foreslå at det er et tegn på at man ikke tror studentene lærer det de skal på BA-nivå.

Da førsteutgaven til Skog ble utgitt i 1998 var den trolig et kjærkomment bidrag utfra hva som var vanlig pensum på lavere grad den gang. Siden den gang har det vært stor faglig utvikling i samfunnsvitenskapelige metoder. Mest iøynefallende er at Skog sin fremstilling av kausalanalyse er tydelig utdatert. Etter min mening er det helt avgjørende at sosiologiprogrammene bytter til et mer oppdatert pensum på MA-nivå. Her er bøkene som benyttes ved UiO (Gordon 2015 og Angrist, Pischke 2014) er betydelig mer oppdaterte og går mer i dybden på regresjon.

Begrensede fordypningsmuligheter

Alle studiestedene tilbyr hva vi må kunne kalle kurs i helt grunnleggende kvantitative metoder, men det er tynnere når det gjelder mulighetene for fordypning og spesialisering. Ved NTNU er det mulighet for et 15 stp fordypningsemne i kvantitative metoder (SOS3515), som dekker temaer som flernivåmodeller, SEM, forløpsanalyse og panelmodeller. UiO har et 10 stp kurs (SOS4022) som egentlig er rettet mot phd-studenter med rotererende temaer, men der også masterstudenter kan få tilgang. Det kan selvsagt være at jeg ikke har oversett noe, men ved øvrige læresteder ser det ikke ut til å være mulighet for spesialisering i kvantitative metoder.

Så vidt jeg kan se er det bare sosiologi ved UiO som tilbyr et kurs på BA-nivå som delvis er fordypning i kvantitative metoder. SOS2900 ved UiO gir en enkel innføring i maskinlæring kombinert med mer substansielle sosiologiske temaer knyttet til stordata og algoritmer, men dette er strengt tatt ikke et metodekurs. Derimot er dette et mer integrert kurs som muligens er noe slik NOKUT-utvalget oppfordrer til i nokså generelle termer.

Totalt sett er det altså nokså begrensede muligheter for sosiologistudenter til å spesialisere seg i en kvantitativ retning innenfor sosiologiprogrammene, men selvstudium i forbindelse med masteroppgaven er selvsagt en mulighet.

Hva bør dekkes i metodekursene?

Når det gjelder mengde bør et sosiologiprogram ha minst 20 stp kvantitative metoder fordelt på BA og MA nivå. Ingen av sosiologiprogrammene har per i dag vesentlig mer enn dette, men NTNU har 22,5 stp. Diskusjonen bør imidlertid dreie seg om innholdet fremfor antall studiepoeng. Flere læresteder kan heve nivået vesentlig innenfor nåværende rammer.

Siden jeg selv har emneansvar for BA-kurset ved UiO, og vært i nær dialog med emneansvarlig på vårt MA-kurs (Rannveig K. Hart) er det neppe noen som er overrasket over at jeg mener at det opplegget vi har for kvantitative metoder ved UiO ligger på det rette nivået. Når jeg så skal si noe om hva jeg mener metodekursene bør dekke vil dette i stor grad overlappe med hva som faktisk dekkes ved UiO. (Hvis ikke ville vi jo lagt det opp annerledes). Jeg mener også at vårt nåværende opplegg er eksempel til etterfølgelse, selv om nok vi også skal gjøre noen justeringer fremover. Øvrige studiesteder kan med fordel vurdere opplegget ved UiO som et utgangspunkt for diskusjon når de reviderer egne kurs.

Ved UiO har det blitt gjort vesentlige pensumendringer de siste årene på både BA og MA nivå. Resultatet er metodekurs som i større grad vektlegger statistisk teori, og gir grundig innføring i det sannsynlighetsteoretiske grunnlaget for teknikkene. På MA-nivå har vi et nokså rent regresjonskurs som vektlegger modellbygging og tolkning. Begge kursene er i høy grad anvendte kurs som ikke har et spesielt krevende matematisk nivå men våre lærebøker har likevel noe mer matte enn det som brukes på øvrige læresteder. Vi har minimalt med overlapp av temaer mellom BA og MA kursene, selv om det riktignok gis noe innledende repetisjon. Disse kursene er strengt kumulative der masterkurset bygger direkte på bachelorkurset.

Jeg mener altså at oppbygningen bør være som følger:

• BA-nivå bør dekke grunnleggende statistikk og enkel lineær regresjon. Det bør vektlegges grunnleggende beskrivende statistikk og grafikk samt en grunnleggende introduksjon til å trekke tilfeldige utvalg og eksperimentell design. Sentralgrenseteoremet, sannsynlighetsmodeller og normalfordelingen bør ha en helt sentral plass og legges opp slik at det gir begrunnelse for øvrige teknikker. Dette bør kunne gjøres innenfor 10 stp. og gi et solid utgangspunkt for videre fordypning. En helt grunnleggende introduksjon til multippel regresjon bør vektlegge hva «kontrollere for» flere variable faktisk betyr, men kanskje ikke så mye mer. Mer avanserte temaer i regresjon (loglineære modeller, panelmodeller, flernivåmodeller etc) bør ikke dekkes innenfor 10 stp. Hvis slike temaer skal dekkes bør antall studiepoeng utvides. Dette fordi antall temaer nødvendigvis vil gå på bekostning av fordypning i statistisk forståelse. Det bør gis en innføring i bruk av statistikksoftware, men håndregning bør ha minst like stor plass som bruk av software.
• MA-kurset bør være et grundig kurs i multippel regresjon, inkludert slike ting som panelmodeller og ikke-lineære modeller. Grunnleggende statistikk (sannsynlighet, t-test, p-verdier og konfidensintervall etc) må det forutsettes at de kan fra BA-kurset. Repetisjon er selvsagt ok, men kan ikke være en del av eksamensstoffet. Temaer i direkte forlengelse av multippel regresjon, slik som DiD, diskontinuitet og IV bør tematiseres, men vil vanskelig kunne dekkes i særlig dybde innenfor 10 stp. Grunnleggende prinsipper i disse temaene gir tilstrekkelig leserkompetanse og utgangspunkt for videre fordypning. Bruk av software bør her ha en sentral plass da håndregning er lite aktuelt utover i tolkning av output.

Dette er altså i grove trekk slik vi har lagt det opp ved UiO. I tillegg ville det være ønskelig om det ble lagt til rette for muligheter til å ta fordypningsemner.

NOKUT-rapporten sier videre at “methods skills need to be more integrated into the substantive courses rather than something to be learned in the stand-alone methods courses”. Å integrere metodiske elementer i andre kurs er utvilsomt lurt og er nok noe det bør jobbes med. Men dette kan ikke erstatte egne kurs på det nivået som dekkes i dag.

Forslag til fordypningstemaer

Per i dag ser det ikke ut til at noen av sosiologiprogrammene tilbyr noe særlig fordypningsemner i kvantitative metoder. (Fordypning skjer forhåpenligvis på Phd-nivå). Man kunne imidlertid godt hatt fordypningsemner både på BA og MA nivå. På MA nivå bør det være mulig å ta fordypning i direkte forlengelse av regresjon. Særlig kausalanalyse med vekt på moderne teknikker for å utnytte eksogen variasjon bør prioriteres på MA nivå.

Fordypning på BA kan lett komme i konflikt på progresjon til MA-nivå, og én mulighet ville kunne være å la BA-studenter ta MA-kurset som fordypning. Det er imidlertid en rekke aktuelle temaer som med fordel kunne tilbys uten at det foregriper MA-nivået, eller som kunne tilbys som MA-fordypning. Med andre ord: emner som forutsetter grunnleggende statistikk, men ikke mer enn enkel introduksjon til multippel regresjon. Eksempler på temaer som kan tilbys på både BA og MA nivå kan være:

1. Moderne datainnsamling og datahåndtering kunne dekke både surveymetodikk og spørreskjemautforming samt felteksperimenter og naturlige eksperimenter. Elektroniske innsamlingsmetoder og webskjemaer hører naturlig innunder dette, men også registerdata og annen «stordata», og «webscraping» etc. Relaterte temaer er utvalgsplaner, statistisk styrke, vekting, imputering osv. I tillegg kunne også konfidensialitet og datasystemer dekkes. Tekniske ferdigheter knyttet til datahåndtering, programmering, kvalitetskontroll, dokumentasjon og reproduserbarhet kan også være en del av et slikt kurs.
2. Geografiske informasjonssystemer (GIS) er kjernetema for geografer, men også for sosiologer som interesserer seg for nabolagseffekter, segregering, flyttemønster osv. Både aggregerte områder, punkt- og linjedata, geokoding og annen datahåndtering kunne dekkes. Spesialiserte analysemetoder for ulike datatyper er rimelig, herunder heatmaps, spatial lag modeller, additive modeller (GAM), spatial point process modeller osv. (Noen av disse modellene er riktignok regresjonsmodeller, men man behøver ikke forutsett mer enn det som dekkes på BA-nivå).
3. Nettverksanalyse ligger snublende nær kjernetemaer i sosiologien, men gode nettverksdata har tradisjonelt vært vanskelig å samle inn. Med fremvekst av sosiale medier og andre digitale datainnsamlingsmetoder er slike data langt mer tilgjengelige. Kurset kan ta for seg innsamling og hvordan man håndterer slike data med edgelist og matriser, mål på sentralitet, klustring, etc, samt introduksjon til mer avansert modellering. (Grønmo 2016 tematiserer faktisk nettverksanalyse, men uten den nødvendige metodiske fordypningen eller teknisk innføring).
4. Maskinlæring er en av de viktigste utviklingene for dataanalyse i vår tid og inkluderer prediktive modeller og andre algoritmer som ikke er regresjon i vanlig forstand. Såkalt kunstig intelligens er en avansert variant av dette. Firmaer som Facebook, Twitter og Google er dels basert på bruk av slike algoritmer, og «big data» kan knappest diskuteres uten å forstå noe om algoritmene. Grunnleggende forståelse av slik teknologi burde bli stadig viktigere for sosiologer. En grunnleggende innføring i slike teknikker bør primært gi forståelse av «supervised learning» (prediksjon og klassifisering) og «unsupervised learning» (clustering og gruppering). Trebaserte modeller, supported vector machines, hierarchical clustering og ulike preprosesseringsteknikker er et rimelig omfang. Algoritmer for anbefalinger (jf. slike som benyttes av Amazon, Netflix og Spotify) er også høyst relevant stoff.

Matematisk nivå

Det er velkjent at sosiologistudenter ofte ikke har veldig sterk mattebakgrunn. Ved ISS har omtrent halvparten av studentene kun P-matte fra videregående skole, altså kun obligatorisk nivå. Dette gjør at det er lett å tenke at man må legge undervisningen på lavt matematisk nivå, legge vekt på intuitive forklaringer og unngå håndregning. Problemet er at statistikk slettes ikke er intuitivt, og de fleste «intuitive» forklaringer av statistikk blir etter min mening uforståelige. For BA-nivå kreves ikke avansert matematikk og alle med rimelig nivå fra P-matte bør ha forutsetninger til å klare dette. Vi snakker primært om pluss, minus, ganging, deling, kvadrering, kvadratrot, brøk og parentesregning. I tillegg kommer enkle funksjoner (lineær regresjon). Dette er i seg selv ikke vanskelig matematikk. (Jeg legger nå til grunn at vi ikke skal undervise i matematiske bevis for de ulike teknikkene).

Derimot vil mange av våre studenter være uvante med matematisk notasjon, greske bokstaver, og surre med grunnleggende regneregler. Slike ting som summetegn (sigma) og subscript kan forvirre. Dette er imidlertid lett å forklare da det tross alt ikke er kompliserte ting, og bør kunne forklares fortløpende i undervisningen.

Ved UiO har vi altså pensum med noe mer matematikk enn øvrige læresteder. Det er da viktig å nevne at erfaringene fra dette opplegget er gode på både BA og MA: Tilbakemeldingene fra studentene er i hovedsak positive og selv om det er åpenbart at kursene oppleves som krevende. Studentene oppgir i evalueringene at de føler at de føler de får god innsikt i metodene. Dette er også det inntrykket vi faglærere har: studentene mestrer faget og oppnår en slik kompetanse vi ønsker! Dette viser seg også i gode besvarelser på eksamen. Det er selvsagt også en viss variasjon blant studentene (og vi bruker hele karakterskalaen), men slik skal det jo være. Hovedinntrykket er altså at det er liten grunn til å være bekymret for det matematiske nivået selv om det er rimelig å legge til rette ut i fra at vi har mange studenter som ikke er sterke i matte.

Vanskelighetsgrad og pedagogiske vurderinger

Det er verd å merke seg at det med unntak av UiO i hovedsak benyttes norske lærebøker, skrevet både av og for sosiologer. Det matematiske nivået er på et minimum, og det sannsynlighetsteoretiske er nokså knapt forklart. Dette er vanskelig stoff og jeg kan forstå at det er fristende å ta lett på dette for å gjøre kurset lettere og mer anvendt. Jeg frykter imidlertid at dette lett fører til en nokså mekanisk forståelse av statistikk: man lærer å gjøre en del prosedyrer, men får i liten grad en god forklaring på hvorfor. En viktig pedagogisk vurdering er hvor mye som kan forenkles uten at det blir uforståelig. Vanskelige temaer blir ikke nødvendigvis vanskeligere av at det forklares grundig, og heller ikke nødvendigvis lettere av en «intuitiv» forklaring.

Kurs i kvantitative metoder i sosiologi bør selvsagt vektlegge anvendt statistikk, men det krever faktisk en god del dybde. Det bør velges pensumbøker som først og fremst er tydelige og presise, men også går tilstrekkelig i dybden. I dag mener jeg at hovedbildet er at sosiologiprogrammene i Norge ikke gir tilstrekkelig innsikt i det sannsynlighetsteoretiske grunnlaget. Unntaket er kursene ved UiO og jeg vil oppfordre de andre sosiologiprogrammene til å vurdere en tilsvarende oppbygning når de reviderer sine kurs. Så legger jeg til at vi helt sikkert også kan gjøre opplegget ved UiO enda bedre, og noen mindre endringer er allerede planlagt.

Referanser

Angrist, J. D. Pischke, J. S. (2014). Mastering’metrics: The Path from Cause to Effect. Princeton University Press.

Foldnes, N., Grønneberg, S. & Hermansen, G. H. (2018) Statistikk og dataanalyse: En moderne innføring. Cappelen Damm Akademisk

Gordon, R. (2015): Regression analysis for the social sciences. Second editon. Routledge.

Grønmo, S. (2016) Samfunnsvitenskapelige metoder. 2. utgave. Bergen, Fagbokforlaget

Jacobsen, Dag Ingvar. Hvordan gjennomføre undersøkelser? : innføring i samfunnsvitenskapelig metode. 2015. 3. utgave. Cappelen Damm Akademisk

Johannessen, A. PA Tufte og L. Christoffersen (2016). Introduksjon til samfunnsvitenskapelig metode. Abstrakt forlag.

Johannessen, A., Kristoffersen L, Tufte, PA. (2011): Forskningsmetode for økonomisk-administrative fag. Oslo: Abstrakt forlag (3. utg)

Longest, K. C. (2015). Using Stata for quantitative analysis. Thousand Oaks, Calif.: Sage.

Mehmetoglu, Mehmet og Jakobsen, Tor Georg (2016). Applied Statistics Using Stata. A

Guide for the Social Sciences. Sage Publication Ltd.

Midtbø, T. (2016) Regresjonsanalyse for samfunnsvitere: En innføring. Med praktiske eksempler i Stata. Oslo, Universitetsforlaget.

Midtbø, Tor (2012). Stata. En entusiastisk innføring. Oslo: Universitetsforlaget.

Moore, Notz og Fligner (2015) The basic practice of statistics 7th ed., W.H. Freeman & Company

Ringdal, Kristen (2012). Enhet og mangfold. Samfunnsvitenskapelig forskning og kvantitativ metode. 3. utgave. Bergen: Fagbokforlaget

Skog, Ole-Jørgen (2004). Å forklare sosiale fenomener. En regresjonsbasert tilnærming. Oslo: Gyldendal Akademisk