Regeringen ämnar även framgent använda bibliometriska mått för att mäta forskningens kvalitet (som grund för resursfördelning), vilket är högst olyckligt. Det är högst tvivelaktigt att bibliometriska mått bidrar till ökad kvalitet. Vad som är kvalitet är en komplex fråga och inte minst om man ämnar finna kvalitetsmått som är gångbara över alla discipliner (se t.ex. Lamont & Huutoniemi, 2011; Hicks, 2004; Lariviére et al, 2006).

Genom framväxten av publicerings- och citeringsekonomin (PCE) (Larsson, 2009; 2010) har citeringar, snarare än att ses som tecken på kollegialt erkännande, kommit att bli en ekonomisk produkt, något som genererar pengar (se t.ex. Karpik, 2011). PCE kan ses som en “public policy instrumentation” (Lascoumes & Le Gales 2007) där systemet ämnar styra forskare, snarare än att gynna kvalitet. Sådan styrning får ett flertal konsekvenser, något som förstärks då ”mätningar” baseras på ett smalt urval av publikationer (såsom sker genom användningen av web of science).

Systemet innebär att forskare inom utbildningsvetenskap (och samhällsvetenskap och humaniora mer brett) “tvingas” skriva texter på engelska i artikelformat för en mycket vid (internationell) publik. Detta har, förutom en rad potentiellt positiva konsekvenser (forskning kommer fler till del, forskningen blir del av vidare samtal etc.) flera negativa konsekvenser som tyvärr inte tas på tillräckligt stort allvar. Styrningen får kraft genom att mäthysterin sipprar ner i systemet där universitet själva går ner på fakultets-, institutions- avdelnings- och individnivå i sin ambition att kunna mäta ”kvalitet” i sin förhoppning om att komma väl ut i statens bibliometriska mått.

Konsekvenser av publicerings- och citeringsekonomin

Några, av många möjliga, konsekvenser värt att lyfta fram:

• Discipliners autonomi hotas: Forskare tvingas skiva i ett format, på ett språk och med grund i en logik som i första hand sprungen ur publicerings- och citeringsekonomin snarare än ur sin egen disciplin (se t.ex. Hicks, 2013). Detta kan få stora konsekvenser för vad som framgent beforskas (t.ex. forskning riktas in mot sådant som är möjligt att dela upp i flera mindre arbeten snarare än format som skapar möjlighet till att utveckla komplexiteten i det sociala). Med andra ord, forskare kan tvingas välja mellan att vara lojal mot sin forskningstradition och forskningsproblem, eller ge avkall på sådan lojalitet för att möta nuvarande incitamentsstrukturer.
• Relevansen av forskningen för de sammanhang som beforskas riskerar att försämras: Forskare tvingas skriva forskning för en publik som kanske inte är det minsta intresserad av ens forskning. Att skriva om svensk skola, och generalisera detta till ett vidare samtal i internationell tidskrift, kan å ena sidan innebära ett stort ointresse från de ”internationella” (läs anglosaxiska) tidskrifterna och deras ofta anglosaxiska dominerade redaktionsråd (och därmed minskad möjlighet i att släppas in i dessa sammanhang). Å andra sidan kan forskare tvingas skriva text på ett sätt som snarare passar en internationell publik, än att passa in i lokala diskussioner om svensk skola, dess resultat, system och historia. (se t.ex. Fejes & Nylander, 2014).
• Avståndet till omgivande samhälle ökar: Om forskningen framförallt görs tillgänglig på engelska, i tidskrifter som inte är ”vardagligt” tillgängliga för det vidare samhället (politiker, lärare, skolledare etc.) riskerar forskningen inom utbildningsvetenskap ytterligare öka avståndet till de praktiker som beforskas. Kan vi räkna med att avnämare söker upp dessa artiklar, och att de gärna läser texter om svensk skola på engelska skriven för en internationell publik? (se t.ex. Fejes & Nylander, 2014)

Behov av att beakta discipliners olika publicerings- och citeringsmönster

Systemet innebär en fyrkantighet som inte tar i beaktande olika discipliners och forskningstraditioners publicerings- och citeringsmönster. Att klumpa ihop t.ex. Education and educational sciences med samhällskunskap är problematiskt på flera sätt.

• Utbildningsvetenskap rymmer forskare från olika discipliner som kan kopplas till samhällskunskap, men också till humaniora, teknik, naturvetenskap, medicin och hälsa. Utbildningsvetenskap rymmer med andra ord en mängd olika publicerings- och citeringstraditioner.
• Inom samhällskunskap ryms bl.a. psykologi, ekonomi och pedagogik. Om dessa tre discipliner jämförs, torde stora skillnader framkomma. T.ex. hur vanligt det är att skriva vetenskapliga artiklar på engelska, hur många författare som står med på artiklarna, hur ofta handledare står med på sina doktoranders artiklar som ingår i avhandling, hur citeringspraktiken ser ut etc. sådana frågor påverkar sannolikheten att kunna bli citerad i de sammanhang som ”räknas”, men också sannolikheten att kunna generera en lång publikationslista.
• Inte minst påverkas olika forskningsfälts struktur, forskares citeringsmöjligheter. Finns det tidskrifter som ”räknas” i fältet som den enskilde forskaren befinner sig i? Var är dessa tidskrifter lokaliserade? Varifrån kommer de forskare som publicerar sig där? Vilka forskare citeras? Inte minst blir dessa frågor centrala inom flera forskningsområden inom utbildningsvetenskap där det är sparsmakat på tidskrifter som ”räknas”. Och de tidskrifter som finns kan ha en mycket stor ”anglosaxisk” bias i vad som publiceras och vad som citeras (se t.ex. Fejes & Nylander, 2014, 2015; Nylander, Österlund & Fejes, 2016 vad gäller den totala anglosaxiska dominansen vad gäller författarskap, tillika citeringar, inom det vuxenpedagogiska forskningsfältet, som till stor del kan förklaras med grund i hur den tidskrift som ”räknas” är styrd av en amerikansk diskurs om forskning i fältet som ).
• Då styrsystem från statsmakten får eget liv, och tar sig uttryck som kanske inte är i enlighet med intention (se t.ex. Lindensjö & Lundgren, 2014 angående policyimplementering), får vi olika avarter. Vi har t.ex. sett hur bibliometri används av universitetsledningar för att utvärdera fakulteter, institutioner, avdelningar, forskningsmiljöer och individer. Detta är högst problematiskt då publicerings- och citeringstraditioner ser mycket olika ut inom olika discipliner och forskningsområden. Att då använda citeringsmått då avdelnings- och individnivå är ett högst tvivelaktigt sätt att mäta kvalitet.

Avslutning

Vi menar att ett så grovt tillyxat system som det befintliga, tillika det föreslagna, inte bör användas som grund för fördelning av forskningsanslag, då det riskerar att försämra forskningens kvalitet. Det torde vara högst oansvarigt att med grund i befintlig kunskap om bibliometri och den konsekvens användningen av bibliometri får, implementera den typ av mätningar som föreslås.

Referenser

Fejes A. & Nylander, E. (2015) How pluralistic is the research field on adult education? Dominating bibliometrical trends, 2005-2012, RELA. European Journal for Research on the Education and Learning of Adults, 6(2), 103-123.

Fejes, A., & Nylander, E. (2014). The Anglophone International(e): A bibliometric analysis of three adult education journals, 2005-2012. Adult Education Quarterly, 64(3), 222-239

Hicks, D. (2013). One size doesn’t fit all: On the co-evolution of national evaluation systems and social science publishing. Confero: Essays on Education, Philosophy and Politics, 1, 67-90.

Hicks, D. (2004) The four literatures of social sciences. In H. Moed, W, Glänzel & U, Schmoch (Eds.) The handbook of qualitative science and technology research. (pp. 473-496). Dordrecht: Kluwer.

Karpik, L 2011, ‘What is the price of a scientific paper?’, The Worth of Goods: Valuation and Pricing in the Economy, in eds J. Beckert & P. Aspers, Oxford University Press, New York, pp. 63-85.

Lamont, M & Huutoniemi, K 2011, ‘Comparing customary rules of fairness: Evaluative practices in various types of peer review panels’, in Social Knowledge in the Making, eds C. Camic N. Gross & M. Lamont, University of Chicago Press, Chicago, pp. 209–232.

Lariviére, V, Archambault, É, Gingras, Y, Vignola-Gagné, É. (2006). The place of serials in Referencing Practices: Comparing Natural Sciences and Engineering With Social Science and Humanities. Journal of American Society for Information science and Technology. 57(8): 997-1004.

Lascoumes & Le Gales 2007, ‘Introduction: Understanding Public Policy through Its Instruments’, Governance, vol 20, no 1, pp. 1-21.

Larsson, S 2010, ‘Invisible colleges in the adult education research world’, European Journal for Research on the Education and Learning of Research, vol 1, no 1-2, pp. 97-112.

Larsson, S 2009, ‘An emerging economy of publications and citations’, Nordisk Pedagogik, vol 29, pp. 34-52.

Lindensjö, B., & Lundgren, U. (2014) Utbildningsreformer och politisk styrning. Stockholm: liber.

Nylander, E., Österlun, L., & Fejes, A. (2016) Traditions and positions in the research field on adult learning: Mapping out the dominating research by means of a bibliographic field analysis. Paper presented at the triennial conference of the European Society for Research on the Education of Adults (ESREA) at Maynooth University, September 8-11.