I 2010 ble norsk sosiologisk forskning evaluert. I 2016 ble den samfunnsvitenskapelige instituttsektoren evaluert. I 2017-2018 skulle også norsk samfunnsvitenskap som helhet evalueres. Mange arbeidstimer er gått med til å produsere underlagsdokumentene. Håpet var at det å se hele det breie fagfeltet under ett gjennom SAMEVAL ville gi merverdi som hverken disiplinevalueringer, sektorevalueringer eller tematiske evalueringer kan dekke.
Det er mye å si om SAMEVAL, men jeg skal ta for meg to problematiske sider ved grunnlaget for evalueringen her: For det første den disiplinære innretningen, og for det andre kvalitetsmålet som er lagt til grunn. Disse utfordringene henger tett sammen med den grunnleggende kritikken av evalueringen jeg reiser avslutningsvis, nemlig at den ikke har bidratt med noen faktisk analyse av norsk samfunnsvitenskap, og dermed er av begrenset verdi for institusjonene, forskningsrådet og politiske beslutningstakere.
Forskningsrådet har de siste to årene gjennomføre en evaluering av det samfunnsvitenskapelige fagområdet. Evalueringens hovedformål har vært å vurdere kvaliteten på norsk samfunnsvitenskapelig forskning og belyse hvordan forskningen formidles og tas i bruk.
Et hovedpoeng fra evalueringen er at norsk samfunnsforskning holder god kvalitet, men består av få verdensledende miljøer. Norsk sosiologforening arrangerer 31. oktober et seminar om evalueringen, i samarbeid med NOKUT og Forskningsrådet.
Liza Reisel er forskningsleder ved Institutt for samfunnsforskning.
Jeg ønsker å reise disse innvendingene på tross av at min disiplin, på min arbeidsplass, Institutt for samfunnsforskning, kom relativt godt ut av denne evalueringen. I følge SAMEVALs rangering for sosiologi, er vi blant de fem beste institusjonene i Norge.
To fakulteter ved UiO fikk den gjeveste karakteren 5 (Excellent), mens tre institusjoner fikk den over gjennomsnittlige karakteren 4 (Very good). Disse var Institutt for samfunnsforskning, Folkehelseinstituttet og Det samfunnsvitenskapelige fakultet ved UiB. De 19 resterende institusjonene som ble evaluert av sosiologipanelet fikk karakteren 3 (Good) eller lavere.
Det er ironisk hvor lett det er for samfunnsvitere å godta premissene for en rangering når man selv gjør det godt. Vi må likevel evne å stille spørsmålstegn ved hva vi har lært av denne øvelsen.
Disipliner og tverrfaglighet
Da det ble klart at NFR ønsket å organisere evalueringen av norsk samfunnsvitenskap ved hjelp av disiplinære paneler ble det mye diskusjon rundt dette. Det ble klart uttrykt fra NFR at de anerkjente tverrfaglig forskning, at tverrfaglig forskning ikke skulle lide under denne organiseringen, og at særlig forskergruppene gjerne måtte være tverrfaglige. SAMEVAL-panelene understreker imidlertid at de har opplevd tverrfagligheten som utfordrende.
Både hovedrapporten og panelene legger vekt på at mye norsk samfunnsforskning er tverrfaglig og de diskuterer flere steder hvordan dette utfordrer den disiplinære forskningen. Samtidig er panelene tydelige på at tverrfaglig forskning ikke alltid kommer til sin rett i en disiplinær evaluering.
Det er ironisk hvor lett det er for samfunnsvitere å godta premissene for en rangering når man selv gjør det godt
Sosiologipanelet understreker for leseren at det disiplinære perspektivet innebærer at tverrfaglig forskning er vurdert ut fra kriterier som ikke passer denne forskningen:
«The main concern raised by the panel regards the units of the assessment and the benchmarking of research quality. While the panel is mandated to evaluate sociological research in Norway and its quality and contribution to the international research area, it is observed that a considerable share of the researchers listed for the panel work in interdisciplinary research environments. While many of these indeed publish extensively and in international outlets, their contribution to the sociological research area may be limited, and may have been assessed on unfavourable terms». (Panel 4 s23)
Disse forbeholdene er viktige å ha med seg i lesingen av SAMEVAL og anbefalingene fra SAMEVAL. Panelene presiserer at de ikke har evaluert tverrfaglighet på denne forskningens egne premisser. Evalueringen må derfor heller ikke leses som en evaluering av tverrfaglighet.
Ensidig kvalitetsmål
SAMEVAL har lagt til grunn et relativt ensidig kvalitetsmål. I beskrivelsen av karakterskalaen defineres karakteren 5 (Excellent) slik:
«Original research at the international forefront. The unit has a very high productivity. The unit [the institution /research group] undertakes excellent, original research, and publishes it in outstanding international channels for scientific and scholarly publications. Its researchers present ongoing research regularly at recognised, international scientific conferences.»
Det er en gradsforskjell mellom karakteren 5 (Excellent) og karakteren 4 (Very good), men ingen substansiell forskjell. Publisering i «high quality channels» (4), versus «outstanding international channels» (5). «High productivity» (4) i stedet for «Very high productivity» (5). «Decisively very relevant to the knowledge production in the field internationally” (4) heller enn “at the international forefront” (5).
SAMEVAL har lagt til grunn et relativt ensidig kvalitetsmål
Det som vektlegges som kvalitet er forskning som publiseres i internasjonale topptidsskrifter. Dette går igjen både i evalueringen av de ulike fagmiljøene og gruppene, og i rådene som gis til videreutvikling av miljøene. Men det er ikke uvanlig å vurdere også relevans eller impact som del av et kvalitetsmål. Dette gjøres for eksempel i kvalitetskriteriene for Horisont 2020 og ERC-prosjekter i EU og National Science Foundation i USA. Kriteriet som er brukt i SAMEVAL framstår dermed som relativt ensidig i en internasjonal sammenheng.
SAMEVAL hadde i utgangspunktet en ambisjon om å også vurdere relevans og gjennomslagskraft gjennom såkalte impact-caser. Dette var beskrivelser av forskning med tydelig virkning på politikk og samfunn, som forskningsmiljøene leverte inn til panelet. Relevans er kommentert, men er ikke inkludert som del av kvalitetsmålene. Panelene skriver at de har funnet casene vanskelig å bruke i evalueringen, og vi ser at de ulike panelene har hatt noe ulike vurderinger av hva som er god impact.
Når kvalitetsmålet er endimensjonalt blir rådene som gis ganske like for alle
Når kvalitetsmålet er endimensjonalt blir rådene som gis ganske like for alle. De handler i hovedsak om tiltak for å øke antallet publiseringer i internasjonale topptidsskrifter. Dette står i kontrast til refleksjonene i både hovedrapporten og fagpanelene om at målene ikke bør være like for alle. I hovedrapporten heter det for eksempel:
«For an independent institution, this means that it is very important to determine what difference the institution wants to make, within which research areas it will be active, and what value it aims to add to Norwegian society. These institutional goals need to be realistic and attainable within a reasonable period. It is imperative that each institution finds its niche within the Norwegian and international research arena». (Principal report s.23)
Ved Institutt for samfunnsforskning er internasjonal publisering i høyt rangerte tidsskrift ett av våre mål på om instituttets forskning holder høy kvalitet. Men vi er også svært opptatt av at vår forskning som publiseres gjennom rapporter og brukes som grunnlag for utforming av politikk skal holde høy kvalitet. I tillegg har vi en målsetning om at norsk samfunnsforskning av høy kvalitet skal publiseres på norsk, for eksempel i kanaler som Tidsskrift for samfunnsforskning.
Den bedrøvelige konklusjonen er at vi har lært svært lite om hvor godt forskningspolitikken og institusjonene bidrar til utviklingen av norsk samfunnsvitenskap
Manglende helhetlig analyse
SAMEVAL består hovedsakelig av enkeltstående evalueringer av de ulike disiplinene. Det er laget en fellesrapport som oppsummerer funnene i de disiplinære rapportene, men evalueringen bidrar ikke med en mer overordnet analyse. Ut fra den breie tilnærmingen det ble lagt opp til i mandatet for SAMEVAL kunne man blant annet ha forventet ytterligere refleksjon rundt spørsmål som: Er norsk samfunnsvitenskap riktig dimensjonert? Fungerer arbeidsdelingen mellom institusjonene godt? Svarer norsk samfunnsforskning på samfunnets behov?
Er de ulike prioriteringene i langtidsplanen for forskning godt nok dekket? Er det noen områder eller tema der vi har for mange miljøer og andre der vi har for få? Hvordan lykkes norsk samfunnsvitenskap med tverrfaglighet – og hva skal til for å bli bedre? Lykkes institusjonene med å utvikle tverrfaglig forskning av høy kvalitet?
Hva skal til for å få til tverrfaglig forskning som også bygger ny teori? Er det nok radikal tverrfaglighet (for eksempel mellom samfunnsvitenskap og teknologi)? Bidrar norsk samfunnsvitenskap i tilstrekkelig grad til å løse samfunnsutfordringene? Hva kan fremme mer tverrfaglig forskning på områder der dette trengs for å nå FNs bærekraftsmål?
Slike fundamentale spørsmål går ikke evalueringen inn på. Kanskje hadde rangeringen av institusjoner blitt den samme om tverrfaglighet ble evaluert ordentlig og om breiere kvalitetsmål var lagt til grunn. Det er ikke godt å vite. Den bedrøvelige konklusjonen er at vi har lært svært lite om hvor godt forskningspolitikken og institusjonene bidrar til utviklingen av norsk samfunnsvitenskap, og hva som kan gjøres for å styrke den framover.
