Sluttreplikk om undervisningen i statistiske metoder

Svarene som er kommet i høstens metodedebatt har lært meg at det ikke holder å bare komme med antydninger om at fagetiske prinsipper er brutt.

Norsk sosiologiundervisning har blitt evaluert. Evalueringen inkluderte også undervisningen i såkalte kvantitative metoder. I ettertid har en av de evaluerte laget sin egen utdypende evaluering der mangler ved de andre universitetenes og fortrinn ved eget metodeundervisningstilbud framheves. En av intensjonene med det første innlegget mitt var å antyde at slikt ikke regnes som god kutyme.

Skardhamars innlegg kan oppfattes som reklame for egen virksomhet. Betraktet fra denne synsvinkelen står det i fare for å bli rammet av markedsføringslovens forbud mot brudd på «god forretningsskikk». Negativ omtale av konkurrenter kan være et slikt brudd. Forretningsskikk eller ikke, siden referansen til næringsvirksomhet neppe faller i smak hos alle, vil jeg også tilføye at Skardhamars bidrag i hvert fall ikke følger god evalueringsskikk. Svarene som kom på innlegget lærte meg at det ikke holder å bare komme med antydninger om at fagetiske prinsipper er brutt.

Det må visst sies i klartekst at en ikke selv bør være den som feller offentlige dommer over egen innsats i forhold til andres. Hvis redaksjonen ønsket en evaluering burde den altså ha bedt noen andre enn Skardhamar om å utføre den. Men det redaksjonen egentlig ønsker, er konfrontasjon og diskusjon, og det er selvsagt helt legitimt å diskutere prinsipper for metodeundervisning. Når det gjelder slike prinsipper hadde jeg to hovedmål med forrige innlegg.

 

Det må visst sies i klartekst at en ikke selv bør være den som feller offentlige dommer over egen innsats i forhold til andres

1.

For det første ønsket jeg å si at det er fordeler ved å integrere BA-undervisningstilbudene i såkalte kvantitative og såkalte kvalitative metoder med hverandre og helst også med annen undervisning. (Jeg mente ikke å påstå at et felles metodekurs er den beste løsningen under alle omstendigheter.)

Det skarpe skillet mellom to metodetyper er ikke sunt. Studentene lærer (formodentlig) en del om ulike teknikker, men mitt inntrykk er at forståelsen de har pleid å få av hva disse teknikkene skal tjene til og hvilket forhold som kan finnes mellom dem ofte er utilstrekkelig.

Et av sosiologenes fortrinn er nettopp at en disponerer flere metoderedskaper enn økonometrikerne, men hvorfor dette er et fortrinn og hvordan de ulike redskapene kan utfylle hverandre har de ofte vage forestillinger om. Hvor godt en faktisk, tross forsettene, har klart å integrere ulike metodekomponenter i Bergen vet jeg ikke. Jeg har ikke evaluert tilbudet eller vært med på utformingen, som er et kompromiss laget i samarbeid mellom kursansvarlige ved flere institutter.

Det jeg kan konstatere er at skillet mellom to metodetyper: kvantitative og kvalitative fortsatt lever i beste velgående, noe som blant annet manifesteres ved at undervisningen i dem gis av forskjellige personer, hvilket ikke uten videre borger for god integrasjon.

Undervisningen i de såkalt kvantitative metodene på det tverrfaglige metodekurset vårt har så vidt jeg vet aldri blitt gitt av sosiologer. Jeg håper de som har hatt ansvaret for statistikkdelen i det minste har vært i stand til å gjøre det klart hva slags standardavvik standardfeilen er (jf. Skardhamars kritikk av Grønmos [2016] bok), uten at jeg tror akkurat dette er spesielt viktig.

Det som imidlertid kan være viktig, er utvikling av læremidler og kursopplegg som virkelig integrerer ulike teknikker og øver BA-studentene opp i tekstforståelse og vitenskapelig argumentasjon. Evne til å lese og forstå hva andre sier er åpenbart ikke det minst viktige.

Slike opplegg bør blant annet gir dem et edruelig perspektiv på kausal tenkning inkludert forståelse av den uomtvistelige praktiske betydningen kausale resonnementer har, hvilke muligheter som finnes og ikke finnes for utvikling og testing av kausale teorier, og hva samfunnsvitere kan bidra med av statistisk basert kunnskap i tillegg til kausalkunnskap.

Det sier seg selv at slike læremidler og kursopplegg bør fornyes jevnlig, forsynes med oppdaterte eksempler og problemstillinger, og at lærebøker bør byttes ut fra tid til annen.

For det første ønsket jeg å si at det er fordeler ved å integrere BA-undervisningstilbudene i såkalte kvantitative og såkalte kvalitative metoder med hverandre og helst også med annen undervisning

2.

For det andre ønsket jeg å antyde en smule skepsis til begeistringen for statistisk underbygget kausalanalyse som nå skyller over samfunnsfagene båret fram av det forståelige ønsket om «evidensbasert» praksis. Svarene som har kommet på Blekesaunes og mitt innlegg demonstrerer tro på at statistiske kausalanalyseteknikker er det sosiologer nå må kunne for å få jobb på forskningsinstitutter, og at vi svikter studentene våre og overlater denne arenaen helt til økonometrikerne hvis vi ikke bøyer oss for trenden.

Jeg har selv lenge ment at kausalanalyse bør tas mer alvorlig i sosiologisk forskning, og at en kan lære noe av økonometrikerne på dette området. Jeg har ikke forkastet disse tankene fullstendig, men økonomenes beskjedne suksess med å gjøre eget fag til samfunnsvitenskapenes svar på fysikken og medisinen gir grunn til skepsis. Det de først og fremst har hatt suksess med er markedsføringen; med å få innflytelse og stillinger, også på enkelte områder der sosiologer burde ha kunnet konkurrere.

Svarinnleggene gir meg inntrykk av noen nå mener at det er utviklingen i denne relativt marginale delen av sosiologenes arbeidsmarked som bør styre utformingen av grunnundervisning i metode for MA-studenter i sosiologi. (For å ha sagt det: Det er faktisk fortsatt fullt mulig å få både jobb og aksept av publikasjoner uten å drive med kausalanalyse.)

Jeg ser ingen grunn til å tvile på at sosiale systemer preges av årsaks- virkningsforhold, men det synes også rimelig å anta at samfunn er mer komplekse og mer individuelt unike enn de fleste andre systemer. Å tro at en gjennomgående kan identifisere stabile kausale parametere for enkeltvariabler på tvers av slike systemer og over tid virker naivt. Skal en kunne forutsette at numerisk stabile kausaleffekter av spesifikke variabler finnes bør det være dokumentert gang på gang under ulike betingelser.

 

For det andre ønsket jeg å antyde en smule skepsis til begeistringen for statistisk underbygget kausalanalyse som nå skyller over samfunnsfagene båret fram av det forståelige ønsket om «evidensbasert» praksis

Det er rimelig godt kjent at det i mange tilfeller er helt umulig å predikere komplekse systemers eksakte utvikling, og at det beste en kan håpe på ofte er å angi sannsynligheter for ulike typer utfall på systemnivå (det vil si ulike fordelinger av individuelle verdier). Men så vel statistiske som andre typer data og metoder kan bidra til å avdekke (repeterende) mønstre, påvise utviklingstrekk, skape bedre innsikt i mulige kausale prosesser, og sikkert også fortelle oss noe om når sannsynlige årsakvariabler er i ferd med å nå risikable nivåer.

Jeg avviser på ingen måte at metodene Angrist & Pischke (2015) demonstrerer kan ha verdi i denne eller andre sammenhenger, og jeg har aldri ment å si at det er en dårlig bok, men det en bok som gir oppskrifter på bruk av et gitt sett av kausalanalyseteknikker. Selv om den også diskuterer potensielle begrensninger ved teknikkenes egnethet til å fange opp de antatt stabile effektene, mener jeg fortsatt at det er rimelig å kalle den en kokebok. Og det er i seg selv ikke noe galt med kokebøker, men jeg tviler altså på at det er en slik bok i kausalanalyseteknikker jeg ville ha anbefalt på det ene obligatoriske kurset i statistisk analyse vi tilbyr våre masterstudenter hvis jeg skulle bli spurt om dette.

Hva en velger å gjøre ved UiO har jeg ingen ønsker om å legge meg opp i. Jeg vil heller ikke prøve å styre utviklingen i Bergen gjennom dette innlegget, men tror det det har vært fornuftig å nøye seg med en fordypning i enkle regresjonsmodeller som har fellestrekk med mange mer spesialiserte modeller.

Jeg er altså enig med Kaldager Hart hvis det hun mener å si er at fordypning i regresjonsanalyse kan være et godt grunnlag for seinere spesialisering. Skogs (2004) bok, som fortsatt brukes i Bergen, er et problematisk redskap for å oppnå et slikt grunnlag. Blant annet er ikke bokens uortodokse notasjon til synderlig hjelp, og pretensjonene som kommer til uttrykk i tittelen, Å forklare sosiale fenomener, blir ikke innfridd. Som alle lærebøker vil nok også denne bli byttet ut.

Svarinnleggene gir meg inntrykk av noen nå mener at det er utviklingen i denne relativt marginale delen av sosiologenes arbeidsmarked som bør styre utformingen av grunnundervisning i metode for MA-studenter i sosiologi

La meg også respondere på enkelte andre ting som kom opp i svarene på innlegget mitt.

Jeg har aldri hatt intensjoner om å kritisere bruk av regning for hånd i metodekursene. Jeg har selv, i begrenset grad, stilt krav om dette, og kunne kanskje ha krevd enda mer, men jeg har også sett eksempler på eksamensoppgaver som lar hurtigregningsevnen bli utslagsgivende for karakterene. Jeg går ut fra at det ikke er noe slikt UiO-sosiologene etterlyser.

I det første innlegget mitt nevnte jeg også at en i det minste kan vurdere å introdusere Bayesiansk statistisk slutningslære. Det er flere grunner til å vurdere dette, inkludert det som ovenfor sies om varierende effektparametere i sosiale systemer. Men jeg annonserte ikke at jeg har konklusjonene fra vurderingen klar, og jeg har absolutt ikke tenkt å tilby noe kurs i simulering. Gitt at vi fortsetter å undervise i de enkle regresjonsmodelltypene vi har undervist i hittil, er dette heller ikke nødvendig for å prøve seg på Bayesiansk regresjon.

Det er selvsagt farer forbundet med å bruke ferdigpakkede simuleringsprogrammer, men det er også farer ved å bruke ferdigpakkede tradisjonelle regresjonsprogrammer.

 

Referanser

Angrist, J. D. Pischke, J. S. (2015). Mastering’metrics: The Path from Cause to Effect. Princeton NJ, Princeton University Press.

Grønmo, S. (2016). Samfunnsvitenskapelige metoder. 2. utgave. Bergen, Fagbokforlaget.

Skog, Ole-Jørgen (2004). Å forklare sosiale fenomener. En regresjonsbasert tilnærming. Oslo, Gyldendal Akademisk.