Рейтинговое проклятие

Российским вузам, в особенности — не техническим, не везет с мировыми рейтингами. Бывший наиболее лояльным к неанглоязычным университетам всемирный рейтинг Webometrics (Вебометрика), последним своим выпуском породил вопросы о его достоверности и желании составителей сохранять прозрачность подсчетов

Непрямое зеркало

В появившемся в январе 2012 года последнем выпуске Вебометрики выросли позиции ряда российских технических вузов, позиция Высшей школы экономики, потеряв более 500 позиций, выпала из первой тысячи мировых вузов. Проблема в том, что эти движения невозможно объяснить в рамках методики, которую оглашают составители Webometrix.

Позиции двух российских технических вузов по параметру Size (размер сайта) оказались в этом новом мировом рейтинге гораздо выше, чем у признанного национального лидера — МГУ. Если МГУ имеет по этому параметру 638 позицию в мире, то эти два вуза: 16-ю и 22-ю. Можно было бы за них радоваться, тем более что оба они — столпы нашей науки, но они, чисто физически, не могут равняться с таким огромным организмом, как Московский университет. При этом один из двух оказался по размеру сайта, если верить рейтингу, выше Стэнфордского университета, и оба — много больше, чем сайт крупнейшего в Японии Токийского университета.

В методологии Вебометрики указано, что данный параметр рассчитывается по показателям Google. Проверка по этому поисковику подтверждает, что оба эти вуза в десятки раз уступают Московскому университету.

Это довольно кричащая ошибка в подсчете. На сайте Вебометрики содержится призыв обращаться за разъяснениями, указывать на возможные ошибки, авторы заведомо благодарят за такую помощь. Однако когда в Вебометрику обратились из России с просьбой проверить еще раз данные позиции, то получили довольно высокомерный ответ — «быть профессиональнее», «еще раз перечитать методику подсчетов». А ведь такая ошибка ставит под сомнение и прочие позиции, не только по данным вузам, но по всему рейтингу в целом.

Высшая школа экономики понесла потери по двум показателям, включаемым в рейтинг: Visibility (количество ссылок) и Scholar (количество публикаций). Что касается последнего, то ему можно найти объяснение, исходя из собственной методологии Вебометрики: в последнем рейтинге доля показателя Scholar была увеличена с 15 до 30%. При этом этот показатель складывается из данных двух интернет-инструментов: Scimago SIR – собирающий публикации в научных журналах и Google Scholar (русскоязычный вариант — Google Академия). Первый из них довольно однозначно ориентирован на англоязычную библиографию. Достаточно сказать, что по его версии в разделе гуманитарных наук Университет Тасмании (22-й по рейтингу в своей Австралии), намного превосходит университеты Нагои и Осаки (3-й и 4-й университеты Японии). Никаких гуманитарных российских вузов там никогда не появлялось за всю историю его существования.

Российские естественнонаучные вузы там присутствуют, поскольку в этой сфере многие авторы либо сразу публикуют свои работы на английском, либо переводят их. Поисковик Google, конечно, очень популярен и у нас, но все же он значительно уступает Яндексу, изначально созданному как русскоязычный инструмент, по объему находимых вузовских ссылок.

Неудивительно, что рост веса в рейтинге показателя научных публикаций, измеряемых не самыми адаптированными к русскому языку инструментами, привел к снижению показателя ВШЭ.

Visibility (количество ссылок) измеряется с помощью Majestic-SEO — анализатора ссылок на научные работы. В анализе этого инструмента, опубликованном на сайте Вебмаркетинг, говорится: «Анализатор хорош, но под русскоязычный сегмент он не адаптирован, так как ориентирован на другие поисковые системы (проверка по бэкам Yahoo и Google)». Но даже при этом столь низкий результат (2063 место в мире) по количеству ссылок на университетский сайт невозможно объяснить. Элементарная проверка по Google, которым пользуются составители Вебометрики, выдает многократное численное превосходство ссылок на ВШЭ над множеством других вузов, поставленных во всемирном рейтинге выше по этому показателю.

Увы, попытка обратить внимание составителей на это странное обстоятельство отклика тоже не нашла.

Бэкграунд

Рейтинги вузов появились сравнительно недавно. Традиционно университеты имели «имя», репутацию, и этого было вполне достаточно в масштабах региона или целой страны. Но с началом процесса глобализации возникла необходимость сравнения различных репутаций. Первый вузовский всемирный рейтинг, в 1983 году, опубликовал авторитетный американский журнал US News&World Report. В 2004 впервые опубликован THE – рейтинг от компании Quacquarelli Symonds (QS), подготовленный для издания The Times Higher Education. Кстати, теперь данные от QS используются родоначальником вузовских рейтингов, US News&World Report, а в рейтинге THE используются данные, поставляемые Thomson Reuters. В основе этих рейтингов лежит цитирование работ, количество студентов и преподавателей, количество научных публикаций, широта международных связей, как преподавательских, так и студенческих. Оба рейтинги имеют ярко выраженную привязанность к английскому языку, из-за чего все ведущие места там занимают вузы США, Великобритании, Канады, Австралии, либо англоязычные университеты других стран.

С тех пор появилось много других рейтингов, среди которых наиболее заметные — «Шанхайский» (ARWU), подготавливаемый с 2003 года Шанхайским университетом. Шанхайский рейтинг отличается более широким представительством мировых вузов, в нем получили достойное отражение японские университеты, вузы материкового Китая.

В 2004-м году впервые появился рейтинг Webometrics (Вебометрика), который широко использовал новый феномен глобализации — Интернет. Готовит этот рейтинг, который ранжирует более двадцати тысяч вузов во всем мире, лаборатория киберметрии крупнейшего в Испании исследовательского центра Consejo Superior de Investigaciones Cientificas (Высший совет по научным исследованиям, CSIC), объединяющий 126 центров и институтов Испании. Работу CSIC поддерживает министерство науки, инноваций и образования. При этом создатель и идеолог рейтинга, глава этой лаборатории Исидро Агийо (Isidro Aguillo) — и единственный ее штатный сотрудник. Основная техническая обработка данных производится студентами и аспирантами.

Этот рейтинг оказался наиболее «лояльным» к российскому высшему образованию — туда попало наибольшее количество вузов из России. Это произошло благодаря позиции составителей, которые объявили, что хотят рейтинговать максимальное количество вузов по всему миру, основываясь на их присутствии во Всемирной Сети.

Вебометрика учитывает размер сайтов вузов (в страницах), количество размещенных в сети публикаций, ссылки в И-нете на вузовские страницы, количество документов, выложенных в Сеть. Можно сказать, что это один из наиболее нейтральных, в смысле языковых перекосов, университетских рейтингов.

Как быть

Совершенно необходимо, чтобы методология подсчета была прозрачной — это поможет вузам, если они захотят скорректировать свое поведение в веб-пространстве, а кроме того, облегчит поиск возможных ошибок. Пока же Вебометрика раскрывает только самые общие указания по методологии составления рейтингов. Может быть, и наличие всего одной оплачиваемой ставки у составителей также влияет на точность расчетов.

Тем, кто пишет претензии составителям, нужно быть жестче и конкретнее — предъявлять цифры, прикладывать скриншоты поисковиков — чтобы сразу было ясно, что это все не просто слова, и претензии весьма обоснованы.

Для любого российского вуза, который хотел бы улучшить свои позиции в мировой рейтинговой таблице, пригодятся рекомендации создателя Вебометрики Исидро Агийо, которые он дал в интервью Opec.ru, когда приезжал в Москву в 2009-м году, и которые остаются актуальными и по сей день:

«Свыше 40 вузов России имеют более одного веб-адреса. У некоторых университетов по три разных портала. Это не только ухудшает их рейтинг, но и запутывает студентов и абитуриентов...

Вторая проблема связана с недостатком англоязычной информации. Ни один российский вуз не соответствует нашим условным нормативам, согласно которым 30% текстов должны быть переведены на английский. При этом ваши вузы не только имеют мало переводных текстов, но и размещают их в труднодоступных местах, иногда совершенно оторванных от русскоязычного портала.

...Сейчас в мире очень активно развиваются электронные научные библиотеки свободного доступа. Практически все издатели научных журналов мирового уровня разрешают вузам и НИИ создавать такие библиотеки трудов своих авторов. Ни у одного российского университета подобной библиотеки нет.

Скачать и прочесть [труды авторов вуза] могут лишь те, кто имеет доступ к специальным сторонним базам данных, а таких меньшинство».

Игорь Стадник, Opec.ru


Адрес заметки: http://infonauk.ru/post_1330516221.html
Ваш комментарий к статье:



cod


Примечание:
Обязательные для заполнения поля помечены карандашом
email при указании не будет опубликован.
Адреса с http:// преобразуются в ссылки автоматически
Теги запрещены

Рейтинг популярности - на эти публикации чаще всего ссылаются: