Misja KEJN – czy łatwo ocenić jakość?
Nowa kategoryzacja jednostek naukowych, której założenia przygotowuje Komitet Ewaluacji Jednostek Naukowych, wzbudza sporo emocji. Środowiska związane z różnymi rodzajami jednostek oraz dziedzinami prowadzonych prac badawczych dają im wyraz w szeregu publikacji, także na łamach „Forum Akademickiego”. Do tej pory członkowie KEJN ograniczali się do tłumaczenia będących w trakcie ustalania zasad na spotkaniach z zainteresowanymi grupami – od rad wydziałów do posiedzeń plenarnych najwyższych gremiów reprezentujących jednostki (RGIB, Prezydium PAN, KRASP). Nie mam złudzeń, że w krótkim artykule uda się odpowiedzieć na wszystkie podnoszone problemy, ale chciałbym na wzburzone fale adrenaliny zainteresowanych gremiów wylać choć kubeczek melisy, prezentując poglądy i założenia, jakie przyświecają KEJN w jego pracach.
Wagi kryteriów
Nie ma sensu przytaczać tu założeń kategoryzacji we wszystkich detalach, zainteresowani znają lub mogą sięgnąć do projektu rozporządzenia z 27 października 2011 na stronach MNiSW. Być może, gdy ten numer FA trafi do czytelników, dostępna już będzie zmodyfikowana wersja projektu, która uwzględnia wiele poprawek – zarówno samego KEJN, jak i wynikających z głosów środowisk naukowo-badawczych. Generalnie jakość działalności jednostek wartościowana będzie dzięki czterem podstawowym kryteriom: dorobku naukowo-badawczego („dzieł”), potencjału jednostki, efektów materialnych jej działalności oraz niematerialnego wkładu w rozwój naukowo-gospodarczo-społeczny dyscypliny.
Pierwsza refleksja – jakość jest zasadniczo wielkością niewymierną. Jakość działania tak złożonej struktury jak jednostka naukowa – tym bardziej. Celem prac KEJN jest wypracowanie dla MNiSW zbioru parametrów, które będą stanowiły pewną miarę tej jakości, dostateczną dla rozróżnienia jednostek wybitnych, dobrych, średnich i słabych. Aby klasyfikacja była precyzyjna, należałoby uwzględnić bardzo (bardzo!) wiele parametrów charakteryzujących efekty działania jednostek. Prostota (tendencja urzędnika) nakazywałaby sprowadzić cały opis do jednej liczby. KEJN wypracował kompromis, w którym część podkryteriów jest agregowana do jednej wartości, pozostawiając jako końcową charakterystykę jednostki wartości ocen 4 powyżej wspomnianych kryteriów (subkryteria i ich „wycenę” można znaleźć w rozporządzeniu). Dodatkowo, dla różnego rodzaju jednostek, istotność poszczególnych kryteriów jest różna – krańcowe przykłady to instytuty PAN w grupie nauk o życiu, dla których wagi kolejnych kryteriów to 75 proc., 5 proc., 10 proc. i 10 proc. oraz instytuty badawcze w grupie nauk ścisłych i inżynierskich, dla których wagi te wynoszą odpowiednio 35 proc., 10 proc., 45 proc. i 10 proc. Jak łatwo zauważyć, największe różnice występują dla kryteriów 1 i 3, odzwierciedlając zadania i rolę każdego typu jednostek – jednostki uczelni i PAN realizują głównie badania podstawowe, z zachętą do wprowadzania zastosowań, instytuty badawcze pracują przede wszystkim nad wdrożeniami, popartymi solidną dawką badań naukowych.
Zatrzymajmy się na chwilę w tym miejscu. Oczywiście, nowoczesna gospodarka nie może istnieć bez wysokiego poziomu prowadzonych prac rozwojowych i wdrożeniowych. We współczesnym świecie społeczeństwo musi widzieć efekty finansowanej przez siebie nauki, i to w niezbyt odległej skali czasowej. Wdrożenia premiowane być muszą zarówno przez rządy, właściwą politykę (stymulacje finansowe), ale także przez zainteresowane podmioty gospodarcze. Równie oczywistym powinien być fakt, że nie ma szans na wysoki poziom prac rozwojowych bez solidnej bazy badań podstawowych. Co więcej, baza ta musi być rozległa. Nie ma możliwości stwierdzić dziś, który z elementów tej podstawy potrzebny będzie pojutrze. Nie wolno więc ograniczać kierunków rozwoju badań podstawowych, bo skutkować to może zablokowaniem rozwoju istotnych gałęzi zastosowań. Dlatego oba kierunki działań muszą być obecne w solidnych jednostkach naukowych – w różnym oczywiście stopniu.
I te różnice KEJN wprowadza wagami kryteriów – dużą istotność mają obszary wiodące, mniejszą kryteria traktowane w danej grupie jako dodatkowe. Jednostki uczelni, które mają zbliżony dorobek w zakresie publikacji, mogą zdobyć przewagę wprowadzanymi pracami stosowanymi. Instytuty badawcze o porównywalnym dorobku wdrożeniowym mogą zyskać przewagę znaczącymi publikacjami naukowymi. Postuluje się też czasem, aby do dorobku wdrożeniowego wliczać przychody podmiotów gospodarczych, które korzystają z rozwiązań opracowanych w jednostkach. Przyjęcie wprost takiego rozwiązania nie jest metodologicznie słuszne – ocenie ma podlegać nie sprawność marketingowo-gospodarcza podmiotów wdrażających, ale dorobek jednostek naukowo-badawczych. Nawet wspaniałe rozwiązanie może nie przynieść dochodów, a dużą sprzedawalność może osiągnąć „naukowe byle co”. A jeśli wdrożenie przynosi dochody, powinno się to odbić w przychodach jednostki naukowej, co z kolei przekłada się na jej fundusz płac i inwestycje, które są treścią kryterium 3.
Tu jeszcze słowo o kryterium czwartym. W jego ramach zespoły ekspertów przyznają punkty za wybitne osiągnięcia. Należy zauważyć, że maksymalną liczbę punktów zdobyć można jedną bardzo znaczącą pracą – wdrożenie, które przyczynia się istotnie do polepszenia procedur leczniczych, nawet jeśli nie przyniesie zysków materialnych twórcy, ale poprawi jakość życia, skutkować będzie wysoką oceną. Wystarczy jedno takie osiągnięcie! Pamiętajmy, że aby zapracować na punkty w kryterium pierwszym, trzeba przedstawić (w zależności od liczebności kadry jednostki) nawet kilkaset dzieł.
Algorytm zakupu lodówki
Przejdźmy teraz do przyjętej metody oceny jednostek na podstawie wielu (czterech) kryteriów. Zalety takiego podejścia są wielorakie. Nie trzeba stawiać delikatnych pytań w rodzaju: „ilu publikacjom równoważny jest jeden profesor?” czy „jakiej kwocie pozyskanej ze źródeł pozabudżetowych odpowiada pięciu doktorów?”. Różne kryteria mierzone są na różnych skalach i pozostają niezależne. Przewaga w jednym może być skompensowana (oczywiście – także pogłębiona) wartościami w innych. Wszystkie te zalety zapewnia przyjęcie metody porównań parami z zastosowaniem ważonej relacji przewyższania. Prawda, jak dźwięcznie brzmi? A na dodatek jakie śliczne wzory znajdziemy w odpowiednim załączniku do rozporządzenia… Niestety, jako wykładowca podstaw matematyki wiem, że poważna część nawet wykształconego społeczeństwa ma odruch „blokady matematycznej”. Nawet proste problemy, gdy je ująć we wzory, stają się z założenia nieprzyswajalne.
W naszym przypadku, do stosowania porównań przyjęliśmy dość standardowe metody wielokryterialnej analizy. To dalej nas nie przybliża do zrozumienia, więc proszę sobie przypomnieć jak kupujemy np. lodówkę. Jaka ma być? Zależnie od upodobań, mniej lub bardziej świadomie, tworzymy zbiór cech – pojemność chłodziarki, objętość zamrażarki, pozycję jednej względem drugiej, oszczędność energetyczną, głośność, no i cenę. W sklepie (także wirtualnym) dokonujemy właśnie wielokryterialnej analizy. Konfrontujemy różne modele ze sobą i z naszymi preferencjami. Formalnie opisują tę operację dokładnie te same wzory ważonej relacji przewyższania. Analizę taką podejmujemy o wiele częściej niż raz na parę lat, wybierając lodówkę, telewizor czy rower dla pociechy. Nawet zakup jogurtu lub wędliny to wieloparametryczna procedura wyboru. I wbrew niektórym opiniom – całkiem transparentna, algorytm jest w pełni określony.
Oczywiście, pozostaje kwestia preferencji – w naszym przypadku wybór jednostek referencyjnych. Tu też w zachowaniu „bezstronności” pomaga obecność kilku osobnych kryteriów. Ustalając wartości dla jednego z nich nie wiemy, jakie korelacje zachodzą pomiędzy kryteriami i nie jesteśmy w stanie osiągnąć wyniku „jedynie słusznego”. Już abstrahując od dwóch faktów – po pierwsze, w zbiorze reprezentantów różnych jednostek nie ma jedynej prawdy, a po drugie ten zbiór reprezentantów pracuje nad stworzeniem możliwie najlepszej, akceptowalnej przez wszystkich, metody, a nie nad realizacją partykularnych interesików. Takie sugestie pozostają daleko poza obszarem merytorycznej krytyki.
Pragnę jeszcze przypomnieć, że porównania prowadzone będą w grupach obejmujących jednostki tylko jednego typu, o podobnym profilu naukowym. Dla każdej takiej grupy stworzone zostaną dedykowane jednostki referencyjne. Konkurencja będzie tylko we „własnym gronie”, w szczególności nie ma punktów stycznych jednostek uczelnianych i instytutów badawczych. Nie może więc być mowy o żadnych barykadach rozdzielających te grupy jednostek, co sugerują niektóre wystąpienia. Jednostki dowolnego profilu, prowadzące wszelkiego rodzaju prace, zostaną równoprawnie docenione, bez indukowania niepotrzebnych, wyimaginowanych kontrowersji. Przyjęta metodyka nie dopuszcza nawet pytania o porównywalność pomiędzy różnymi grupami – po prostu nie da się tego zrobić. Pamiętajmy także, że celem kategoryzacji nie jest precyzyjny ranking jednostek w grupach, a jedynie przyporządkowanie do jednej z trzech kategorii. Narzędzie ma być wystarczające do tego i tylko tego celu.
Stabilny rozwój
Na sam koniec jeszcze jedna oczywistość – ja oraz wszyscy członkowie KEJN zdajemy sobie sprawę, że z wyników kategoryzacji zadowolone będą tylko te jednostki, które zostaną zakwalifikowane do klasy A+. Będzie ich około 30-40. Cała reszta, czyli blisko 950 instytucji, będzie – łagodnie mówiąc – nieusatysfakcjonowana. Naszym zadaniem jest, aby pomimo braku satysfakcji z wyniku, możliwie duża część środowiska zgodziła się, że zasady i podstawy oceny są prawidłowe i sprawiedliwie, odzwierciedlając stan faktyczny działalności jednostek. Aby wyniki posłużyły także jako stymulacja poprawy jakości badań, nie dla zadowolenia urzędów, ale dla poprawy jakości życia nas wszystkich.
W następnym terminie kategoryzacji powinniśmy to, co się da, usprawnić, ale zachować tak dużo, jak tylko możliwe, kształtując stabilne linie rozwoju jednostek. A jeśli kategorie posłużą kiedyś do czegoś więcej, niż tylko do ustalenia współczynników w corocznym podziale (niezbyt wielkich) środków finansowych, nasze poczucie dobrze spełnionego obowiązku wobec badaczy będzie tym większe.
Autor: Stanisław Kistryn
, prof. UJ, członek Komitetu Ewaluacji Jednostek Naukowych, zastępca dyrektora ds. naukowo-badawczych w Instytucie Fizyki Uniwersytetu Jagiellońskiego
Źródło: http://forumakademickie.pl/
wstecz Podziel się ze znajomymi