1. Обзор зарубежной практики оценки эффективности деятельности государственных и негосударственных образовательных и научных учреждений
1.1. Зарубежная практика специальной оценки вузов
1.1.1. Модели оценки высшего образования
Исторически в мире сложилось две принципиально отличающиеся модели оценки деятельности вузов: саморегулируемая (американская) и государственная (европейская).
Саморегулируемая модель. Система оценки высшего образования, принятая в тех странах, где, по существу, органов государственного управления высшим образованием (в европейском смысле) нет. В этом случае преобладает процесс самооценки высших учебных заведений, либо профессиональная, либо общественная оценка, направленная на внутренний анализ и улучшение деятельности университетов. К странам, где преобладает процесс саморегуляции высшего образования, относятся, в первую очередь, США, а также те страны, которые стали следовать американским образцам высшей школы (Филиппины, Тайвань).
В США огромное многообразие высших учебных заведений сочетается со значительной слабостью государственного контроля качества их работы. В отличие от стран, где есть Министерство образования или аналогичные структуры, американское высшее образование контролируется преимущественно самими учебными заведениями. Департамент образования в США никогда не имел такого значения, как, например, Министерство просвещения в Германии. Реальная административная и финансовая власть в американских университетах принадлежит Попечительским советам (в государственных университетах финансы предоставляет штат). Именно этим Попечительским советам администрацией штата (где находится университет) поручается осуществлять контроль работы университета. И хотя в 90-е годы наметилось усиление контроля над университетами со стороны администрации многих американских штатов, особенно в отношении лицензирования частных учебных заведений и образовательных программ, основой оценки и контроля высшего образования в США по-прежнему остается саморегуляция.
Основанием американской системы саморегуляции является желание улучшить систему образования путем оценки, проводимой на уровне всего учебного заведения. Существует несколько способов такой оценки.
Во-первых, оценка через аккредитацию учебного заведения по регионам (которых в США шесть) специальными организациями, обладающими четко сформулированными стандартами и требованиями к периодичной самооценке и оценке со стороны внешних наблюдателей.
Во-вторых, оценка через специализированную, построенную на оценке профессионального уровня аккредитацию образовательных программ, которая функционирует так же, как и соответствующая оценка этих программ внутри учебного заведения, однако организуется профессиональным союзом.
В-третьих, оценка образовательных программ, полностью организованная самим университетом и нацеленная на улучшение его деятельности, на возможность перераспределения ресурсов и образовательных приоритетов.
Важную роль в США в процессе аккредитации программ и специальностей высших учебных заведений играют профессиональные общественные ассоциации (ассоциации медиков, юристов, инженеров и т. п.). Считая одной из своих главных задач поддержание высокого престижа своей профессии и компетенции ее представителей, эти ассоциации очень строго оценивают и сравнивают результаты деятельности высших учебных заведений[4].
Такая аккредитация по американским правилам – на основании внутриуниверситетской самооценки – способствует повышению качественного уровня деятельности учебных заведений. Она стимулирует проведение разнообразных мероприятий по модернизации содержания образовательных программ, активизации образовательного процесса, широкому использованию новейших технических средств обучения.
Государственная модель. Система оценки высшего образования в тех странах, где имеются соответствующие государственные структуры, регулирующие развитие высшей школы, например, Министерства образования, Министерства просвещения и т. д. В этих случаях система оценки базируется на приоритете государственных органов или структур, финансируемых правительством. При этом самооценке придается номинальное значение, а основные усилия прилагаются к проведению эффективной внешней оценки государственными органами либо общественными организациями. Такие системы оценок часто связаны с правительственным контролем, лицензированием, государственной аккредитацией, сравнением различных высших учебных заведений, распределением финансовых ресурсов и оказанием влияния на университеты.
В широком плане, исторически, к странам, имеющим органы государственного управления высшей школой, относятся европейские страны (Германия, Франция, а также страны СНГ, воспринявшие европейские традиции высшего образования).
Основное отличие европейских систем оценки высшего образования от американской заключается в полномочиях правительства, в формулировке целей оценки, в определении наиболее важных аспектов оценки, в способах принятия решений и, наконец, в самой организации образовательного процесса. В странах с централизованной системой образования функции оценки, аккредитации осуществляют соответствующие государственные ведомства.
Поскольку исторически система высшего образования в СССР и России базировалась на принципах государственного регулирования, остановимся более подробно на практике деятельности европейских государств в этой сфере.
Во Франции за образовательную политику отвечает Министерство народного образования, научных исследований и технологий. Однако деятельность высших учебных заведений оценивается Национальным экспертным комитетом, который создан по закону о высшем образовании и существует с 1984 года. Главная задача данного комитета заключается в оценке деятельности высших учебных заведений. Этот национальный орган контроля и оценки высшего образования подчиняется только Президенту и не зависит ни от каких управленческих структур. Экспертный Комитет регулярно собирает информацию о деятельности высших учебных заведений и ежегодно направляет Президенту отчет о своей работе и о положении дел в сфере высшей школы. Результаты университетских проверок и оценок широко публикуются и дают возможность не только государству, но и обществу судить об академическом уровне того или иного высшего учебного заведения. Во Франции существует так называемый государственный знак качества, которым обладают те высшие школы, которые признает государство. Высшие школы, в которых Министерство народного образования осуществляет контроль обучения, могут выдавать дипломы, «завизированные» министерством, что свидетельствует, по европейским понятиям, о качестве высшего образования. Этот «знак качества» особенно важен, поскольку только дипломы, имеющие такую государственную отметку, признаются во всех европейских странах. Государственный контроль качества высшего образования позволяет ряду французских высших школ выдавать двойные дипломы (французский и иностранный).
В Германии Министерство просвещения, существующее с XIX века, регулирует деятельность высших учебных заведений. Там весьма сильны традиции государственного контроля над высшей школой, а сами профессора и преподаватели являются государственными служащими.
В скандинавских странах системы оценки высшей школы также изначально определялись правительством. В этих странах существует большое разнообразие в способах внешней оценки. В Швеции, например, основной упор делается на помощь учебным заведениям в разработке соответствующих инфраструктур.
В Норвегии основное внимание уделяется оценке самого образовательного процесса и учебных программ. Причем процесс оценки проводится организациями, финансово поддерживаемыми правительством уже после того, как произведена самооценка учебного заведения.
В Финляндии также сочетается сторонняя оценка и самооценка учебных заведений. Применяются и выборочные проверки отдельных структур со стороны внешних наблюдателей. В Дании проверка проводится внешними организациями, финансируемыми правительством. При этом самооценка высших учебных заведений основывается также на информации, получаемой не самим учебным заведением, а внешними экспертами.
В странах Восточной Европы можно выделить следующие основные процедуры контроля качества образования со стороны государственных органов: лицензирование, оценка (аттестация), аккредитация. Лицензирование и аккредитация проводятся государственными или другими органами на основе заранее установленных критериев, а вузы или программы должны удовлетворять определенным минимальным требованиям. Оценка (аттестация) может основываться на источниках информации широкого спектра, и к ней могут быть привлечены как местные, так и приглашенные специалисты, ее главной целью могут быть как процессы, так и результаты, однако, в целом, упор на дифференцированное и детальное оценивание напоминает аккредитацию и лицензирование с их порогом минимальных требований.
В настоящее время имеет место тенденция к большему развитию и распространению процессов самооценки. И это касается не только стран, заимствующих американский опыт. Данный процесс является результатом эволюции традиционных систем оценки высшего образования. Так, в той же Франции сегодня имеет место тенденция перехода от оценки, первоначально построенной на принципах централизации, к процессу самооценки, тесно связанному с самим учебным заведением. В скандинавских странах, где, как было указано, оценка всегда являлась требованием правительства, процесс развития оценки высшего образования также идет в сторону самооценки и вовлечения в процесс оценки самого высшего учебного заведения. В Финляндии процесс оценки высшего образования все больше сдвигается в сторону полной ответственности учебных заведений за регуляцию собственной деятельности, при которой правительство играет вспомогательную роль. В Испании на основе экспериментов, проводившихся в течение нескольких лет, в 90-е годы начато применение системы оценки, базирующейся на самооценке, где особое внимание уделяется анализу образовательного процесса, организации управления на уровне университета. В Великобритании процесс оценки высшего образования постепенно сдвигается от организаций, финансируемых правительством, в сторону того, что можно назвать самооценкой. Однако это еще не процесс, специально проводимый учебным заведением в целях улучшения работы; самооценка в этом контексте является подготовкой к подтверждению получения официальной оценки для убеждения сторонних наблюдателей и привлечения дополнительного финансирования. В Великобритании за последние годы произошли определенные изменения в системе контроля над университетами. Деятельность Агентства по контролю качества вызывала замечания, и поэтому сегодня для определения качества, уровня и рейтинга английские университеты, в первую очередь, обращаются в различные общественные советы экспертов, которые осуществляют независимый аудит. Как правило, аккредитуются те вузы, которые уже сделали не менее трех выпусков. При этом в Великобритании также возросло значение самооценки университетов, проводимой внутренними университетскими структурами, специально организованными для таких целей.
1.1.2. Европейские стандарты аккредитации университетов
Термины «лицензирование», «оценка» и «аккредитация» не всегда последовательно используются в дискуссиях по вопросам политики в области образования в странах Восточной, Центральной и Западной Европы. Это, главным образом, относится к соотношению терминов и процедур аккредитации и аттестации (оценки). Порой затруднительно четко отделить лицензирование, аккредитацию и оценку друг от друга, так как имеют место (как в дискуссиях, так и на практике) пересечение и даже смешивание этих понятий и процессов.
В соответствии с европейскими стандартами процедура аккредитации вузов включает в себя следующие фазы:
1) самооценку или эквивалентную процедуру субъектом процесса оценки качества;
2) внешнюю оценку группой экспертов, включающую (по необходимости) студентов (студента) и посещение объекта оценки (по решению агентства);
3) публикацию отчета, включающего все решения, рекомендации или иные официальные результаты;
4) последующие процедуры для проверки действий, предпринятых объектом процесса оценки качества, в свете всех рекомендаций, содержащихся в отчете.
На общеевропейском уровне основными органами, регламентирующими процесс аккредитации вузов, выступают Европейская ассоциация гарантии качества высшего образования (ENQA); Ассоциация европейских университетов (EUA); Европейская ассоциация организаций высшего образования (EURASHE); Национальное объединение студентов Европы (ESIB), образно называемые «группа E4». «Группа E4» осуществляет деятельность по разработке стандартов европейской системы аккредитации вузов в соответствии с Берлинским коммюнике от 19 сентября 2003 года. При этом разрабатываемые ею стандарты и директивы относятся только к трем циклам высшего образования, описанным в Болонской декларации, и не распространяются на область научных исследований и общего управления учебными заведениями.
Основными задачами разработки европейских стандартов и директив по аккредитации вузов являются:
1) улучшение образования студентов в вузах на территории Европы;
2) помощь вузам в управлении и улучшении качества деятельности;
3) формирование предпосылки для работы аккредитационных агентств;
4) способствование прозрачности внешней оценки качества и упрощению ее для понимания всех вовлеченных в процесс сторон.
Анализ положений стандартов и директив «группы E4» позволил выделить следующие основные критерии деятельности вузов, оцениваемые в процессе аккредитации:
1) качество методического обеспечения образовательного процесса;
2) уровень знаний студентов;
3) качество преподавательского состава;
4) состояние материально-технической базы образовательного процесса;
5) наличие информационных технологий и информационных систем поддержки образовательного процесса и управления вузом;
6) информационная открытость образовательного процесса вуза.
1.1.3. Оценка интеллектуального потенциала как основа процесса оценки и самооценки вузов
Европейские директивы и стандарты отражают утверждение министров в Берлинском коммюнике, что, согласно принципам автономии учебных заведений, основную ответственность по обеспечению качества высшего образования несет каждое заведение в отдельности, что обеспечивает базу для подотчетности академической системы внутри государственной системы качества. Следовательно, в данных стандартах и директивах предусматривается соответствующий баланс между созданием и развитием внутренних культур качества и той ролью, которую могут играть процедуры внешней оценки качества.
С точки зрения методики проведения самообследования вузов интересен опыт европейских стран по формированию аналитических показателей оценки своего интеллектуального капитала. Указанная оценка может быть как самостоятельным процессом в ходе стратегического управления в университете, так и первой фазой (самообследованием) в ходе внешней оценки (аккредитации) вуза.
К одному из наиболее значимых проектов в области разработки системы показателей управления интеллектуальным капиталом университетов в странах Евросоюза относится проект RICARDIS 2006 – Reporting Intellectual Capital (RICARDIS report). Его результат – руководство по составлению отчета об интеллектуальном капитале университета с детализацией подходов и измерителей (показателей) интеллектуального капитала университета. Показатели оценки интеллектуального капитала университета предложено классифицировать в разрезе трех его элементов: человеческий, структурный и реляционный (отношений) капитал. Для каждого компонента интеллектуального капитала предлагаются аналитические показатели, состав которых может быть уточнен и конкретизирован с учетом стоящих перед конкретным университетом целей и задач. Внутри каждой из этих групп показатели сгруппированы в соответствии со стратегическими целями развития университета (табл. 1).
Таблица 1
Показатели оценки интеллектуального капитала университета[5]
Данный подход рассматривается как крайне важный, поскольку он позволяет увязать систему показателей со стратегическими целями и миссией университета.
В соответствии с руководством RICARDIS стандартизация показателей интеллектуального капитала университета, с одной стороны, является чрезвычайно важным вопросом, но, с другой – весьма тонким.
Европейский комитет предложил три уровня стандартизации показателей:
1) показатели базового уровня;
2) показатели специализированного уровня (область знаний и деятельности);
3) показатели конкретного университета.
Показатели базового уровня используются всеми организациями и университетами.
Показатели специализированного уровня (зависят от профиля и преподаваемых областей знаний и деятельности) используются организациями и университетами, специализирующимися в определенной области.
Показатели конкретного университета – дополнительные специфические показатели данного университета.
Вместе с тем огромные различия в сфере научных исследований и получаемых результатах создают опасность механического сравнения интеллектуального капитала университетов по агрегированным показателям. Не существует единого подхода Евросоюза, по которому предлагалось бы группировать показатели университетов различных сфер деятельности. Было предложено лишь выделение шести областей науки, по которым можно группировать специализацию университетов[6]:
1) естественные науки;
2) инженерные и технологические науки;
3) медицина;
4) сельское хозяйство;
5) социальные науки (включая экономику);
6) гуманитарные науки.
С учетом анализа представленных областей знаний в деятельности университетов Европы были выделены общие и специализированные университеты, с учетом чего показатели интеллектуального капитала (второго и третьего уровней) могут отличаться. К университетам общего характера относятся университеты с широким спектром областей знаний, по которым выдаются дипломы. В специализированных университетах значительная часть дипломов выдается по одной или нескольким взаимосвязанным областям знаний.
В качестве примера формирования аналитических показателей, используемых в практике управления деятельностью конкретного университета, можно привести опыт Эдинбургского университета (табл. 2). Показатели оценки деятельности используются в Эдинбургском университете (Шотландия) для обеспечения целей высшего управления в части контроля за достижением поставленных целей и задач как на стратегическом, так и операционном уровне. Данные показатели используются для анализа динамики достигнутых результатов, а также для сравнения с другими университетами.
Таблица 2
Показатели оценки интеллектуального капитала Эдинбургского университета
1.2. Международный опыт рейтинговой оценки вузов
Наибольшую популярность на сегодняшний день в образовательной и научной сфере получили системы оценки эффективности на основе рейтингов[7] вузов. Идея рейтинга восходит к известному французскому математику эпохи Великой французской революции Кондорсе (Condorcet), на основе которой он пытался построить теорию справедливых выборов – рейтинг политиков, программ, партий[8].
Рейтинги призваны служить для вузов стимулом к достижению высокого уровня качества образования и исследований и быть полезными инструментами для упреждения и выявления возникающих проблем, а также для планирования стратегических и тактических мер на институциональном и национальном уровнях.
Научно обоснованная система рейтинговой оценки вузов является элементом стратегического управления системой национального высшего образования, помогая выжить сильным вузам и способствуя закрытию слабых. Исходя из результатов рейтингования, можно направлять федеральные финансовые источники в сферу образования, осуществлять государственное финансирование вузов в виде госзаказов, регулировать стоимость и, следовательно, цену обучения студентов.
Рейтинги вузов способны выполнять и серьезную ориентационную функцию для абитуриентов, преподавателей, работодателей и др.
Согласно положениям Берлинских принципов ранжирования высших учебных заведений (Берлин, май 2006 г.), сформулированным Международной экспертной группой, рейтинги должны быть одним из подходов к оценке высшего образования на входе, к контролю внутренних текущих процессов, а также к оценке высшего образования на выходе, они могут обеспечить сравнение и лучшее понимание высшего образования, но они не должны быть главными методами оценки.
Анализ специальной литературы и интернет-источников позволяет выделить следующие виды рейтингов высших учебных заведений по составу показателей:
1) рейтинги вычисления единого итогового балла для ранжирования вуза в целом (например, рейтинги, составляемые Министерством образования и науки Российской Федерации, журналом «Перспективы» Респуб лики Польша);
2) рейтинги вузов по конкретным дисциплинам, программам обучения или предметам, отражающие качество учебных программ любого уровня (публикуются Центром по развитию высшего образования совместно с журналом «Stern» в Германии, «Financial Times» в Великобритании);
3) комбинированные подходы – единый рейтинг, в рамках которого составляется также рейтинг по отдельным дисциплинам[9] (например, комбинированный подход используется в рейтинге «Рекрут» (Япония), где в рейтинг по каждому показателю включаются только 50 лучших вузов).
Исходя из специфики составителей, а также масштабов охвата респондентов рейтинги делятся на национальные и международные (глобальные).
К наиболее известным национальным рейтингам можно отнести:
– рейтинги газет Times, Daily Telegraph, Financial Times Великобритании;
– рейтинг специальностей Германии (разработчик – Центр по развитию высшего образования совместно с Национальным фондом оценки товаров и услуг, журналом Stern);
– рейтинги вузов в Китае (ранжированием вузов занимаются следующие организации: NETBIG competences (China) Limited; Институт менеджмента провинции Гуаньдун; Научно-исследовательский центр оценки науки Китая, университет Вухань; Ассоциация выпускников китайских университетов; Шанхайский институт педагогических наук; Центр по развитию академических степеней и аспирантского образования Китая);
– рейтинги вузов в Японии;
– рейтинг университетов в Канаде Universities Rankings (проводится журналом «Maclean’s Weekly Newsmagazine»);
– рейтинг вузов в Польше Table of Universities (разработчики рейтинга – организация «Перспектива» и газета «Ржечь Посполита»).
К наиболее известным и значимым международным (глобальным) рейтингам университетов относятся:
1) академический рейтинг университетов мира – ARWU (Academic Ranking of World Universities – Шанхайский рейтинг)[10];
2) рейтинг университетов мира Таймс – THE (The Times Higher Education World University Rankings)[11];
3) всемирный рейтинг университетов – QS (QS World University Rankings)[12].
Академический рейтинг университетов мира (ARWU) – международный рейтинг, публикуемый Институтом высшего образования при Шанхайском университете (Китай) начиная с 2003 г., охватывающий 500 университетов.
В качестве критериев оценки вузов здесь приняты следующие показатели (табл. 3):
1) наличие и количество выпускников – нобелевских лауреатов и обладателей медалей и призов (10 %);
2) наличие и количество преподавателей – нобелевских лауреатов и обладателей медалей и призов (20 %);
3) самые цитируемые ученые по 20 основным категориям предметов (20 %);
4) результаты научных исследований – публикации в Nature (20 %);
5) публикации по естественнонаучным и социальным дисциплинам (Science Citation Index-expanded, Social Science Citation Index) (20 %);
6) характеристика академического уровня по сравнению с размером вуза (10 %).
Таблица 3
Индикаторы и веса ARWU
Рейтинг университетов мира Таймс (THE), впервые опубликованный в 2004 г., включает 200 лучших университетов мира. Данный рейтинг составляется влиятельным в сфере образования приложением британской газеты Times – Times Higher Education – при участии информационной группы Thomson Reuters и службы изучения общественного мнения Ipsos Media.
Рейтинги Times Higher Education лучших университетов по всему миру составляются по 13 отдельным показателям, необходимых для сбора полного спектра деятельности университета, от преподавания до исследовательской деятельности. Эти 13 показателей разделяют на 5 категорий (табл. 4):
1) международные отношения – сотрудники и студенты (7,5 %);
2) исследования – объем, результаты и репутация (в размере 30 %);
3) цитирование – уровень ссылаемости (30 %);
4) промышленные результаты – инновации (2,5 %);
5) обучение – изучение окружающей среды (в размере 30 %).
Всемирный рейтинг университетов (QS) от Quacquarelli Symonds – британский ТОП-200 – составляется в результате оценки шести показателей (табл. 5):
1) академическая репутация (40 %);
2) отношение работодателей к выпускникам вуза (10 %);
Таблица 4
Индикаторы и веса THE
3) уровень цитируемости публикаций сотрудников университета (20 %);
4) соотношение числа студентов и преподавателей (20 %);
5) доля в вузе иностранных студентов (5 %);
6) доля в вузе иностранных преподавателей (5 %).
Таблица 5
Индикаторы и веса QS
Как следует из представленных материалов, критерии выбора и ранжирования университетов в трех рейтинговых системах различаются, но основные подходы у них сходны. К числу сходных показателей относятся следующие:
1) количество научных статей в специализированных периодических изданиях;
2) количество наиболее цитируемых ученых в разных областях науки;
3) количество лауреатов Нобелевских премий среди персонала и выпускников;
4) количественные характеристики научных исследований и инноваций;
5) данные репутационных опросов среди работодателей;
6) средние показатели качества образования на количество преподавателей и студентов;
7) показатели интернационализации (сколько зарубежных студентов и преподавателей учится/работает в вузе).
В то же время следует отметить, что в ряде работ зарубежных исследователей многие из наиболее распространенных показателей оценки эффективности, используемых, в том числе, при составлении рейтингов, подвергаются обоснованной критике[13].
Главными недостатками рейтингов признаны стремление сконцентрироваться на результатах прошлой деятельности вузов и акцент на количественных показателях оценки (которые предположительно характеризуют качество).
Так, оценки репутации на основе опросов критикуются за их субъективизм и высокую степень зависимости от ретроспективной эффективности. Показатель, свидетельствующий о высоких баллах при получении итоговой квалификации в результате обучения, может не свидетельствовать об эффективности образовательного процесса, а быть результатом высоких требований к уровню подготовки при поступлении в учебное заведение. Помимо этого, различные присваиваемые квалификации могут предполагать различную сложность выпускных испытаний, что также сказывается на уровне указанного индикатора эффективности.
Также в числе недостатков рейтингов назван, как ни парадоксально, чрезмерный акцент именно на исследовательских показателях. Дело в том, что в интересах развития своей территории, региона и страны качественное обучение новым специальностям и, главное, компетенциям актуализируется само по себе, безотносительно к исследовательским показателям. Так, например, частой критике со стороны специалистов подвергаются так называемые типичные индикаторы эффективности научной деятельности, такие как количество публикаций, цитируемость публикаций, импакт-факторы журналов.
Практические рекомендации по рейтингам и отчетности в высшем образовании разрабатываются соответствующими комиссиями ЮНЕСКО. Так, на глобальном форуме ЮНЕСКО в Париже (май 2011 г.) университетские рейтинги оценивались в контексте инструментов отчетности, которые необходимо активнее использовать для поддержания качества высшего образования и его развития. Изучались те инструменты отчетности, которые акцентируются на разнообразии критериев и экспертных оценок. Речь шла об оценке качества, бенчмаркинге, оценке итогов обучения, аккредитации, лицензировании и иных формах оценки.
Общая тенденция в отношении к рейтингам состоит в стремлении создать новую, многомерную и максимально объективную систему оценки вклада университетов в экономический рост конкретных стран и мира в целом. Успех подобных реформ сделает невозможной ситуацию, когда университеты конкретной страны не входят в список лучших университетов мира, хотя сама страна обгоняет по показателям развития национальной инновационной системы те государства, вузы которых находятся на самой вершине традиционных мировых рейтингов. К примеру, сейчас в список 50 лучших университетов по рейтингам THE и ARWU не входят вузы стран Скандинавии. В обоих рейтингах лидерство принадлежит американским и британским университетам. Однако на данный момент национальные инновационные системы скандинавских стран по большинству качественных показателей фактически опережают и США, и Великобританию.
Все более активно призывают к качественным межуниверситетским сравнениям взамен традиционных рейтингов университеты ведущих стран Азии. По их мнению, критерии мировых университетских рейтингов недостаточно надежны и университеты слишком разнятся между собой, что не позволяет проводить корректные сравнения. Об этом, например, было заявлено на конференции по высшему образованию стран Азиатско-Тихоокеанского региона (ноябрь 2010 г.). Рейтинги должны быть более «чувствительными» к анализу предметных зон, поскольку некоторые университеты сильны по одним дисциплинам и посредственны – по другим.
По мнению Национального агентства научно-технологического развития Таиланда, рейтинги вузов должны стать более похожими на рейтинги кредитных агентств и банков. Последние, как известно, учитывают, прежде всего, качество работы, а не формальное положение в рейтинговой таблице. Агентство предлагает группировать университеты в определенном диапазоне качества обучения и исследований. Таким образом, они будут расположены в рамках единого кластера, что характеризует качественный подход взамен количественного.
В качестве аналога Исследовательский фонд Таиланда (финансирующий высшее образование страны) выбрал действующую в Великобритании с 1986 года систему, в соответствии с которой выделены 5 категорий качества вузов:
1) уровень мирового класса;
2) уровень международного совершенства;
3) уровень международного признания;
4) уровень национального признания;
5) уровень неклассифицированных вузов.
1.3. Зарубежная практика специальной оценки научных организаций и научных исследований
1.3.1. Европейская практика государственной оценки научных организаций
В Европейском союзе действует система государственной оценки научных организаций (euroCRIS). При оценке используются три группы показателей:
1) публикации: статья в журнале, профессиональная книга, раздел в профессиональной книге, доклад в материалах конференции. Учет ведется по базам данных: Scopus, Web of Sciens, Conference Proceedings Citation Index, Science nebo Social Science & Humanities;
2) прикладные результаты: патенты; полезные модели, промышленные конструкции; опытная установка, проверенная технология, сорт, порода; прототип, функциональные образцы; результаты реализации поставщиком; сертифицированные методологии и процедуры, специальные карты; программное обеспечение; отчет о секретных исследованиях;
3) прочие результаты: аудиовизуальная продукция и электронные документы; организация выставки; организация семинара; организация конференции; иные результаты, которые не подпадают под определение типов результатов оценки, например, заявка на патент, небольшая книга и т. д.
За каждый результат начисляются определенные баллы. Затем общее финансирование организации делится на суммарный балл, что дает некоторую оценку эффективности.
Ограниченность количества показателей, конечно, дает весьма приблизительную оценку. Здесь опять-таки нет учета важности научного направления, инновационной эффективности, оценки процессов, оценки социального значения и многих других важных элементов.
Из европейского опыта нам интересен, пожалуй, принцип наказания научной организации за неверные данные, представленные для оценки. За единичное грубое нарушение правил оценки организация полностью лишается базового финансирования на очередной финансовый год. Под грубым нарушением понимается, например, следующее: организация вместо числа полученных патентов указала число поданных заявок на патенты.
1.3.2. Зарубежный опыт оценки эффективности научных исследований
С точки зрения цели настоящего исследования наибольший интерес представляют разработанные и применяемые во многих странах Системы финансирования исследований на основе оценки эффективности – Performance-based research funding systems (PBRFs). Изучению и обобщению информации о Системах финансирования исследований на основе оценки эффективности и об их особенностях посвящена отдельная публикация ОЭСР «Performance-based Funding for Public Research in Tertiary Education Institutions»[14].
Впервые прообраз подобной системы был внедрен в 1986 году в Великобритании и носил название Research Assessment Exercise (RAE). С тех пор система совершенствовалась и распространялась. По данным ОЭСР, в начале 2010 года ее применяли 14 стран (табл. 6). Ряд стран либо пока не внедрил подобные системы, либо использует собственные, которые в настоящий момент перерабатываются с учетом содержания Систем финансирования исследований на основе оценки эффективности – PBRFs. К таким странам относятся Франция, Германия, Япония, Корея, Нидерланды, ЮАР.
Таблица 6
Национальные системы финансирования исследований на основе оценки эффективности для университетов[15]
В системах PBRFs эффективность исследовательской деятельности и ее результатов определяется на основе трех категорий индикаторов:
1) индикаторы первого порядка нацелены непосредственно на определение качественной эффективности исследований и сосредоточены на измерении входа, процессов, структуры и/или результатов;
2) индикаторы второго порядка включают индексы, отражающие простые измерения эффекта (например, импакт-фактор журналов и индекс Хирша);
3) индикаторы третьего порядка нацелены на оценку и представление рейтинга подразделений, например, группами экспертов.
Индикаторы первого порядка в системах финансирования исследований на основе оценки эффективности включают входящие индикаторы, индикаторы процессов, структуры и результатов.
Входящие индикаторы связаны с возможностями университета привлечь внешнее финансирование и характеризуют его конкурентные позиции на рынке финансирования (табл. 7). Эти индикаторы связаны с репутацией организации и качеством и значимостью планируемых исследований.
Таблица 7
Входящие индикаторы Систем финансирования исследований на основе оценки эффективности – PBRFs
Индикаторы процессов сосредоточены на оценке внутренних мероприятий и действий, таких как проведение семинаров и конференций, приглашения международных признанных ученых и академических деятелей, участие в зарубежных конференциях и других (табл. 8).
Таблица 8
Индикаторы процессов Систем финансирования исследований на основе оценки эффективности – PBRFs
Индикаторы структуры могут быть сосредоточены на внутренних аспектах, таких как доля академических работников, занятых в исследованиях или исследовательской инфраструктуре, или на внешних аспектах, таких как сотрудничество, репутация и уважение в среде коллег (табл. 9). Возможности для сравнения значений структурных индикаторов для разных дисциплин и областей исследования ограничены вследствие различий в средствах и методах сотрудничества.
Таблица 9
Индикаторы структуры Систем финансирования исследований на основе оценки эффективности – PBRFs
Важные результирующие индикаторы в части выходных индикаторов представлены в табл. 10, а в части индикаторов эффекта – в табл. 11.
Таблица 10
Индикаторы результатов Систем финансирования исследований на основе оценки эффективности – PBRFs
Результаты на выходе могут быть измерены на основе числа публикаций, небиблиографических итогов деятельности, выпуска докторов философии (PhD) и различных видов общественных мероприятий. Публикации важны для развития исследований, но характеристики публикаций отличаются в разных областях исследований и дисциплинах. Обычно при оценке публикационной активности акцент делается на рецензируемых публикациях, поскольку рецензирование предполагает обеспечение определенного уровня качества. В таких областях, как общественные и гуманитарные науки, различие между долей национальных и международных публикаций может быть существенным. Часто статьи в журнале группируются, исходя из ранжирования журналов (по рейтингам журналов). В некоторых научных областях есть устоявшаяся система рейтингования журналов, но в некоторых такие системы ограничены. Эффект также может быть измерен индикаторами, связанными с количеством цитирований, премиями и наградами, возможностями по трудоустройству выпускников PhD, коммерциализацией результатов исследований и оценкой их конечным потребителем.
Таблица 11
Индикаторы эффекта Систем финансирования исследований на основе оценки эффективности – PBRFs
Количество цитирований – индикатор эффекта, который учитывает частоту публикаций и частоту, с которой опубликованные материалы процитированы другими исследователями. Так как исследователи цитируют друг друга по множеству причин, то дискуссионным остается вопрос о том, что фактически измеряет количество цитирований. Предполагается, что исследователи цитируют друг друга, поскольку основываются на идеях и результатах других исследователей, и количество цитирований является характеристикой качества. Но насколько значительно такое качественное измерение? Повод для цитирования также может быть неоднозначным. Не всегда ссылка на работу другого исследователя используется в качестве поддержки собственной точки зрения исследователя. Ссылка может использоваться и для того, чтобы не согласиться с точкой зрения другого автора или показать общее понимание предметной области. Измерение качества исследований без использования количества цитирований осложняется тем, что информация для этого больше имеет отношение к коммуникационным структурам и профессиональным сообществам.
В академическом сообществе продолжается обсуждение возможности использования и неправильного употребления статистики цитирования. В 2008 году Объединенный комитет количественной оценки исследований (Joint IMU/ICIAM/IMS[16] Committee on Quantitative Assessment of Research) опуб ликовал отчет об ограничениях статистики цитирования и рекомендациях по ее использованию. Предпосылкой для создания отчета стало наблюдение того, что для большей прозрачности и ответственности в академическом мире создана культура чисел. Комитет в своем отчете отметил, что лица, принимающие решения, при отсутствии возможности измерить качество (конечная цель) заменяют качество числами, которые они могут измерить. Эта тенденция призывает дать комментарий тех, кто профессионально имеет дело с числами – математиков и статистиков[17].
Отчет был прокомментирован другими экспертами, которые признают распространенное неправильное употребление данных о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18].
Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.
Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.
В количественной оценке цитирования работ по социальным и гуманитарным наукам существуют специфические проблемы. В этих предметных областях статьи в журналах могут отражать лишь отдельные аспекты проводимых исследований, что сказывается на уровне их цитирования[19].
Индикаторы трансфера знаний и коммерциализации результатов исследований в последние годы приобрели особую значимость, поскольку исследования и политики в области инноваций стали более интегрированными. Эти индикаторы могут базироваться на измерении количества лицензий и стартапов, но могут также быть связаны с проведением совместных исследований, консультационной деятельностью, а также с возможностями трудоустройства выпускников со степенью PhD и удовлетворенностью работодателей уровнем подготовки выпускников.
Индикаторы второго уровня. В результате выявленных методологических проблем с оценкой цитируемости были разработаны несколько индексов, которые доступны в большинстве баз данных. Но к их использованию в качестве индикаторов необходимо относиться с большой осторожностью, что не всегда имеет место на практике.
Основными индексами являются импакт-фактор журнала и индекс Хирша. Импакт-фактор журнала – показатель, дающий характеристику среднему числу цитирований статей, опубликованных в данном журнале в пределах определенного срока. Однако существуют значительные различия в числе цитирований статей по отдельным темам. И даже в журналах с высокими импакт-факторами некоторые статьи либо имеют мало, либо не имеют цитирований. Поэтому импакт-фактор не должен механически использоваться для оценки эффективности деятельности исследователей или исследовательских групп.
Индекс Хирша показывает число статей, опубликованных исследователями, у которых есть число цитирований, равное или выше, чем количество статей. Значение индекса Хирша на уровне 20 говорит о том, что исследователь имеет 20 публикаций, каждая из которых была процитирована, по крайней мере, 20 раз. Индекс Хирша был разработан с учетом ограничений других показателей цитируемости. Например, у менее значимого исследователя может быть высокое общее количество цитирований, поскольку он опубликовал «прорывную» статью совместно с другими исследователями. Тем не менее, достичь высокого значения индекса Хирша возможно, имея непрерывный поток публикаций в течение ряда лет. Это означает, что применение индекса Хирша к исследовательской деятельности имеет смысл после 12–15 лет проведения исследований. Кроме того, индекс Хирша зависит от количества лет занятости исследовательской работой, области исследований и сотрудничества в академической сфере. Поэтому индекс Хирша в полной мере не решает проблему сравнительных оценок.
Индикаторы третьего уровня. Индикаторы третьего уровня основаны на экспертных оценках эффективности деятельности отдельных подразделений. Такая оценка проводится с привлечением признанных исследователей в отдельных областях знаний. Экспертная оценка может быть определена как коллегиальная профессиональная модель оценки. Основная идея состоит в том, что признанные представители профессионального сообщества могут оценить деятельность других участников и результаты их исследований на основе качественных профессиональных критериев.
Таким образом, набор индикаторов для оценки эффективности научных исследований продолжает расширяться и совершенствоваться. Многие из используемых индикаторов являются неоднозначными, имеющими как положительные характеристики, так и ограничения. Поэтому их применение для оценки вызывает дискуссии и обсуждения в профессиональной среде. При этом предлагаемые новые индикаторы лишены недостатков старых, но имеют свои слабые стороны.