Otázka hodnotenia kvality vysokej školy ako vedeckovýskumnej inštitúcie je mimoriadne zložitá a možno k nej pristupovať z rôznych aspektov. V prostredí slovenských (ale aj zahraničných) vysokých škôl sa významným hodnotiacim kritériom stali publikačné aktivity zamestnancov a s nimi súvisiace ohlasy, najmä citácie.
Bibliometrické ukazovatele, ako je počet príspevkov v karentovaných časopisoch, počet ohlasov zaregistrovaných vo Web of Science (WoS), výška impakt faktora časopisu, v ktorom bol článok publikovaný a podobne, sa stali ukazovateľmi kvality výstupov vedeckovýskumnej činnosti. Stanovenie miery objektívnosti hodnotenia je zložité a zaoberajú sa ním najmä zahraniční odborníci z vedných oblastí bibliometria a scientometria (napr. Anthony Van Raan z Centre for Science and Technology Studies, Leiden University).
Databáza Web of Science, v súčasnosti časť produktu Web of Knowledge, bola hlavným zdrojom citačných analýz niekoľko desaťročí. Od 60. rokov minulého storočia bola známa v podobe tlačených výstupov ako Science Citation Index (SCI), v 80. rokoch bola sprístupnená v elektronickej forme. Pre mnohých používateľov sa stala ukazovateĺom kvality publikovanej práce a jediným všeobecne uznávaným zdrojom informácií o citáciách.
O tom, do akej miery možno použiť impakt faktor časopisu (IF) ako hodnotiace kritérium kvality článkov v ňom publikovaných, ako aj o tom, či je hodnotenie prostredníctvom WoS aplikovateľné vo všetkých vedných oblastiach, bolo publikovaných množstvo materiálov. Väčšina autorov zhodne dospela k týmto záverom:
- Impakt faktor časopisu sa líši v závislosti od typu vednej disciplíny a dynamiky jej vývoja.
- Pretože IF vychádza z citácií, ovplyvňujú ho typy príspevkov, ktoré sú v časopise publikované. Práce, ktoré opisujú široko používané metódy, majú vysokú citovanosť. Vo všeobecnosti sú metodologické príspevky častejšie citované ako teoretické. Aj prehľadové príspevky (review) na seba viažu viac citácií ako teoretické. Všeobecne orientované časopisy mávajú častejšie citované príspevky ako úzko špecializované.
- Kým citovanosť príspevku má vplyv na impakt faktor časopisu, nie je tu spätná väzba. To znamená, že IF časopisu nemá vplyv na citovanosť príspevkov, ktoré v ňom boli publikované.
Pri úvahách o počte citácií autora/pracoviska vo WoS treba tiež zohľadňovať niektoré skutočnosti:
- Údaje z WoS nie sú aplikovateľné na všetky vedné oblasti, pretože nedostatočne pokrýva oblasť spoločenských vied a aj preto, že registruje najmä vedecké časopisy. Iba v minimálnej miere vedecké monografie a takmer vôbec vedecké zborníky - bez ohľadu na ich kvalitu. Aj z toho vyplývajú obmedzenia databázy vo vzťahu k spoločenským vedám, pretože v nich "publikačné zvyklosti" nie sú tak dominantne postavené na publikovaní vo vedeckých časopisoch, ako je to v prírodných vedách. V prírodných vedách sa historicky väčší dôraz kládol na publikovanie vo vedeckých časopisoch, v spoločenských vedách to boli viac monografie, hoci postupne je zreteľná tendencia vo všetkých vedných odboroch publikovať v "dobrých" časopisoch.
- Databáza WoS sa výrazne orientuje na americkú vedeckú produkciu a v niektorých odboroch je táto orientácia extrémna. Príkladom môže byť zastúpenie časopisov v Journal Citation Reports (to je zdroj, v ktorom sú uvedené impakt faktory časopisov) z ekonomických vied. Zastúpenie časopisov vydávaných v USA je 46,7 % (podiel Veľkej Británie je 25,7, Holandska 15,4 % a zvyšok sveta spolu reprezentuje iba 12,2 %) z celkového počtu 291 hodnotených titulov (údaj z roku 2006).
- Všeobecne známym nedostatkom WoS je preferovanie časopisov publikovaných v angličtine. Napriek tomu, že angličtina sa stala jazykom vedy a bežne ju používajú aj časopisy vychádzajúce v neanglicky hovoriacich krajinách, stále existuje množstvo kvalitných publikácií v iných jazykoch. Uvedený problém sa netýka len jazykov malých národov, ako je slovenčina, ale aj španielčiny, nemčiny či francúzštiny. Problémom, ako získať spoľahlivé údaje, môže byť aj vysoká chybovosť databázy. V literatúre sa uvádza až sedempercentná. Sú to najmä chybné zápisy mien, uvádzanie iba prvého autora a s tým súvisiaca problematická identifikácia ďalších autorov, chybne uvedené čísla, rok vydania, strany a pod. Tieto nedostatky si všimne každý, kto s databázou systematickejšie pracuje.
Samozrejme, vyššie napísané nemá za cieľ znižovať význam citácií vo WoS či IF časopisov. Ak však máme vychádzať z týchto údajov pri akomkoľvek hodnotení či porovnávaní, treba brať do úvahy ich vlastnosti. Odborníci z oblasti bibliometrie sa napríklad zhodujú aj v tom, že IF nie je vhodný na hodnotenie jednotlivcov či hodnotenie na národnej úrovni, môže byť však veľmi užitočný pri hodnotení na nadnárodnej úrovni, resp. porovnávaní v rámci určitého vedného odboru.
