Методика и процедуры формирования Национального рейтинга университетов (НРУ2016) - Методика

Необходимость развития НРУ ИФ подразумевает внесение в процедуры и методическую часть рейтинга изрядной доли экспериментирования, в том числе:

1. Переформулирование целей и задач НРУ ИФ с тем, чтобы постоянно увеличивать пользу результатов рейтинга для целевых аудиторий.

2. Внесение изменений и дополнений в методику формирования рейтингов.

3. Внесение изменений в процедуру публикации и продвижения результатов рейтинга. Привязка публикации результатов набора рейтингов к «академическому календарю».

«Академический календарь»:

(Учитывается потенциальный интерес целевых аудиторий к результатам рейтингов, активность СМИ в информировании этих аудиторий)

Июнь: начало вступительной кампании на 1 уровень подготовки: Публикация и обсуждение результатов рейтингов Бренд Университета (Точнее показатели коммуникации брендов университетов (некоммерческих образовательных, исследовательских и подобных организаций)) и Образование.

Июль: набор на 2 уровень подготовки: Публикация и обсуждение результатов рейтинга Исследования.

Сентябрь: знакомство студентов-первокурсников с университетами, средой во всех проявлениях: Публикация и обсуждение результатов рейтингов Социализация и Интернационализация.

Ноябрь - Декабрь: разгар учебного процесса, пик публичной активности в сферах R&D и инновационном предпринимательстве университетов: Публикуются и обсуждаются результаты рейтингов «Инновации и Предпринимательство», «Бренд». Публикуются результаты сводного рейтинга университетов НРУ2016.

(Оценку Бренда (коммуникаций) целесообразно перевести на ежеполугодовой график, т.к. в этой сфере происходят наиболее быстрые изменения, к тому же в понятие Бренда можно вместить все сферы деятельности университета и сигнализировать студентам и домохозяйствам о правильности выбора университета, направления подготовки и исследований, программы, пунктира карьерной траектории и т.п.)

Цели:

• Встроить НРУ в информационно-аналитические продукты ИФ.

• Увеличить внимание к результатам всех аудиторий рейтингов университетов. При этом не утерять наработанные многолетней историей выпуска НРУ связи с академическим сообществом, органами управления университетами.

• Не упуская из виду интересы всех целевых аудиторий рейтингов университетов, уделить повышенное внимание важнейшей аудитории – потенциальным абитуриентам и их семьям.

• Влиять на выбор образовательных программ потенциальными абитуриентами и студентами, на построение карьерных траекторий.

• Мотивировать ведущие университеты страны активизироваться в Национальной Технологической Инициативе (НТИ).

Задачи:

• Отказаться от единой даты публикации результатов сводного рейтинга и частных рейтингов по всем выделенным сферам деятельности университетов.

• Привязать публикацию результатов частных рейтингов университетов к прогнозируемым значимым событиям в академической жизни.

• Организовать публикацию результатов сводного рейтинга университетов с завершением публикации результатов частных рейтингов.

• Поиск и проба новых подходов к оценке ценности некоммерческих брендов университетов.

• Проведение экспериментальных замеров появляющихся новых параметров, на основании которых можно оценивать деятельность университетов в принятых 6 сферах.

• Разработка методов и средств оценки взаимного влияния университетов и рынков высококвалифицированного труда, в т.ч. академического.

• Генерирование множества частных рэнкингов, позволяющих дать аудиториям дополнительные оценки деятельности университетов в различных сферах.

Оценки деятельности университетов и рейтинги университетов Образование, Исследования, Социализация (Социальная среда), Интернационализация, Предпринимательство и Инновации основаны преимущественно на данных представленных университетами анкет. Если приглашенный к участию в рейтинге университет не присылает в срок анкету, то необходимые данные заимствуются из результатов последнего Мониторинга МОН, а также опубликованных на веб-сайте университета материалов.

Университеты, находящиеся в стадии слияний, рассматриваются в качестве единого целого.

Методика формирования сводного рейтинга:

#	Показатель	Вес, %	Комментарии	Источники
1	Оценка деятельности университета в сфере «Образование»	20	В основном оценивается процесс 1 уровня высшего образования	Результаты частного рейтинга НРУ2016 по параметру «Образование»
2	Оценка деятельности университета в сфере «Исследования»	20	Оценивается процесс 2 и 3 уровней высшего образования; организация и результаты исследовательского процесса	Результаты частного рейтинга НРУ2016 по параметру «Исследования»
3	Оценка деятельности университета в сфере «Социальная среда»	15	Оцениваются процессы развития социальной среды университета, в том числе организация дополнительного образования	Результаты частного рейтинга НРУ2016 по параметру «Социальная среда»
4	Оценка деятельности университета в сфере «Интернационализация»	15	Оцениваются процессы развития международных связей университета	Результаты частного рейтинга НРУ2016 по параметру «Интернационализация»
5	Оценка деятельности университета в сфере «Инновации и Предпринимательство»	15	Оценивается развитие технологического предпринимательства, создания и развития экосистемы инноваций вокруг университетов	Результаты частного рейтинга НРУ2016 по параметру «Инновации и Предпринимательство»
6	Оценка бренда университета	15	Оцениваются коммуникации бренда университета	Результаты частного рейтинга НРУ2016 по параметру «Бренд»

Планируемое время публикации результатов: ноябрь 2016 года.

Методика формирования рейтинга «Бренд Университета»:

#	Показатель	Вес, %	Комментарии	Источники
1	Б1. «Селекция элит» (академической, госуправления, бизнеса)	10	Критика отбора «элит госуправления»; бизнеса; академической. Нормирование на примерную численность выпуска за 40 лет	СКАН «Истории успеха»
2	Б2. Коммуникации Университета с целевыми аудиториями, в том числе международными	25	Линейная комбинация: Рэнк сайта Университета Alexa Glob Rank Рэнк сайта Университета в глобальном разделе Careere & Education SimWeb (Конец 2015)	Alexa SimWeb
3	Б3. Медиаактивность Университета в 2015 г.	25	Общий Spi Университета в 2015 г.	СКАН
4	Б4. Восприятие исследований Университета международным академическим сообществом	25	H Индекс Университета	Scopus
5	Б5. Восприятие исследований Университета русскоязычным академическим сообществом	15	H Индекс Университета	Science Index / РИНЦ
	Селекция элит – развитие методов и средств оценки деятельности университетов в этой сфере	Экспериментальные замеры	Истории успеха представителей Университета (НПР, студенты, выпускники) в бизнесе, исследованиях, социальных проектах	СКАН Соц. Медиа
	Коммуникации Университета в Social Media	Экспериментальные замеры	Пробные замеры (Рейтинг по переходам на сайт университета через Social Media)	Brand Analytics Другие инструменты
	Развитие коммуникационных инструментов Университета для мобильных устройств	Экспериментальные замеры

Оценки брендов университетов не содержат данных анкет, основаны на доступных и проверяемых данных.

Планируемое время публикации результатов: июнь 2016 г., ноябрь 2016 г.

Методика формирования рейтинга университетов «Образование» (НРУ2016):

#	Показатель	Вес, %	Коммент	Источники
1	О1. Спектр реализуемых образовательных программ 1 уровня массовой подготовки кадров высокой квалификации (Б и С)	20	Попытки связать реализацию ОП 1 уровня с запросами рынков труда. Повышенный статус направлений подготовки по группам: МЕН, ИДТТН, ЗОМН, СХСХН, ОПН (Общ, Гум, ИК) Интеграл по группам направлений и реализуемым ОП – прием Интеграл по группам направлений и реализуемым ОП – обучающиеся Интеграл по группам направлений и реализуемым ОП – выпуск Нормирование на общую численность принятых, обучающихся, выпуска.	Анкета л.6 Отчеты СКАН Обработка открытых данных (пока фрагментарных) о состоянии рынков квалифицированного труда
2	О2. Качество абитуриентов	20	Линейная комбинация по группам направлений подготовки: Средних баллов по предметам, причем обязательные предметы засчитываются «по номиналу», выбираемые предметы (Физика, Химия, Биология, ИнЯз, Мат+) засчитываются с 10% премией, но не выше 100 баллов	Анкета л.2 Отчеты МонМОН (упрощенно): Среднее (I1.1 I1.3) Пересчет числа принятых: через I1.7, I1.8 и раздел V (допхарактеристики)
3	О3. НПР с учеными степенями	15	Доля НПР с учеными степенями от общей численности НПР Университета (ЭПС)	Анкета л.9 Отчеты МонМОН: I7.3 и раздел V 24 и 25 (допхарактеристики)
4	О4. Стоимость образовательных услуг вуза в 2015 г.	15	Доход от образовательной деятельности Университета на 1 студента	Анкета: 10.10 Отчеты МонМОН: V.53 (МонМОН: включая ДОП, МагОП)
5	О5. Организация практики	15	Композитная оценка, базирующаяся на числе предприятий и организаций, с которыми заключены соглашения о целевой подготовке и организации практик	Анкета 13.7 Отчеты МонМОН V.8, V.9
6	О6. Работа с школами и школьниками	15	Композитная оценка, базирующаяся на охвате школьников и школ, числе участников олимпиад, принятых на 1 уровень подготовки олимпиоников	Анкета л.5 и л.6 Отчеты
	Доступ студентов и НПР к библиотекам и цифровым информационным ресурсам.		Информационный показатель. Выделяется три множества с примерно равными возможностями. «Уравниватель» sci-hub.io?	Киберленинка
	Распределение «подшефных» школ и классов школ по регионам страны и зарубежным странам Новые профессии (прогноз) – новые образовательные программы		Информационный показатель. Масштаб организации работы с школами Возможно наделение статусами по территориальным признакам

Планируемое время публикации результатов: июнь 2016 г.

Методика формирования рейтинга университетов «Исследования» НРУ2016:

#	Показатель	Вес, %	Коммент	Источники
1	И1. Спектр реализуемых вузом образовательных программ (ОП) 2 и 3 уровней подготовки исследовательских кадров высшей квалификации (магистров, аспирантов, докторантов)	20	Попытки связать реализацию ОП 2 и 3 уровней с запросами рынка академического труда, высокотехнологичного производства. Повышенный статус направлений подготовки М по группам: МЕН, ИДТТН, ЗОМН, СХСХН, ОПН Интеграл по группам направлений и реализуемым ОП – прием Интеграл по группам направлений и реализуемым ОП – обучающиеся Интеграл по группам направлений и реализуемым ОП – выпуск Нормирование на общую численность принятых, обучающихся, выпуска; соответствующие числа реализуемых ОП М. По ОП А и Д повышенный статус присваивается выпуску с защитой диссертации (повышенный статус советам, имеющим право присвоения собственных степеней)	Анкета Отчеты МонМОН (упрощенно) Обработка открытых данных по структуре рынка академического труда СКАН
2	И2. Вклад вуза в формирование научно-образовательной элиты страны.	10	Самокритика отнесения к научно-образовательной элите только членов и членов-корреспондентов объединенной РАН и ректоров государственных вузов. Надо учитывать ученых с значительными академическими достижениями	Обработка открытых данных СКАН
3	И3. Суперкомпьютеры	10	Производительность. Разработка новых оценок, основанных на анализе решаемых супервычислительными мощностями университетов задач	Анкета Сайт www .supercomputers .ru parallel.ru www.top500.org
4	И4. Научная продуктивность авторов Университета по данным Scopus на конец 2015 г.	15	Статей, опубликованных в течение 2011 – 2015 гг., в пересчете на среднюю за 5 лет численность НПР	Scopus, SciVal
5	И5. Цитируемость статей авторов Университета по данным Scopus на конец 2015 г.	15	Цитат, полученных на статьи, опубликованные в течение 2011 – 2015 гг. в пересчете на одну статью	Scopus, SciVal
6	И6. Научная продуктивность авторов Университета по данным SI/РИНЦ на конец 2015 г.	10	Статей, опубликованных в течение 2011 – 2015 гг., в пересчете на среднюю за 5 лет численность НПР	RSCI / РИНЦ
7	И7. Цитируемость статей авторов Университета по данным SI\РИНЦ на конец 2015 г.	10	Цитат, полученных на статьи, опубликованные в течение 2011 – 2015 гг., в пересчете на одну статью	RSCI / РИНЦ
8	И8. Финансирование НИОКР в 2015 году	10	Доля затрат на НИОКР в общем бюджете Университета в 2015 году	Анкета 10.6 Отчеты МонМОН: I2.8 «Удельный вес доходов от НИОКР в общих доходах образовательной организации»
	Оценка исследовательской активности университетов в выделенных отраслях знаний		Экспериментальные замеры
	Оценка исследовательской активности университетов по данным систем Open Access		Экспериментальные замеры
	Оценка уровня развития академических коммуникаций по данным академических сетей		Экспериментальные замеры

Планируемая публикация результатов: Июль 2016

Методика формирования рейтинга университетов «Социализация» («Социальная среда») НРУ2016:

#	Показатель	Вес, %	Коммент	Источники
1	С1. Средняя зарплата НПР Университета	20	Доля средней зарплаты научно-педагогического работника Университета от среднего уровня зарплат по региону расположения вуза в 2015 г.	Анкета: 13.3 (Росстат) МонМОН: I4.3 «Отношение средней заработной платы НПР в образовательной организации (из всех источников) к средней заработной плате по экономике региона»
2	С2. Непрерывное образование (LLL)	20	Доля доходов от услуг допобразования в общем бюджете Университета в 2015 г. Число слушателей, получивших дополнительное образование в 2015 г.	Анкета: 8.1 Отчеты МонМОН: V.6
3	С3. Социальная помощь студентам	20	Доля общей численности студентов, которым оказывается социальная помощь (очная форма)	Анкета: 13.2 Отчеты
4	С4. Участие Университета в разработке и реализации программ социально-экономического развития страны, региона, города	20	Качественный параметр: участие представителей У в разработке программ, вхождение в экспертные советы и общественные советы органов управления (федеральных, региональных, городских). (Период времени: 5 лет (2011 - 2015)). Количественный параметр: выигранные конкурсы по работам в рамках госзакупок	Анкета Отчеты СКАН СПАРК
5	С5. Развитие социальной сферы Университета (социальные программы)	20	Доля затрат Университета на социальные программы в 2015 г.	Анкета: 10.5 Отчеты МонМОН - ?
	Оценка активности университетов в организации внеучебной жизни студентов		Экспериментальные замеры	СКАН
	Оценка социальной среды по отзывам в социальных медиа		Экспериментальные замеры	Brand Analytics

Планируемое время публикации результатов: Сентябрь 2016

Методика формирования рейтинга университетов «Интернационализация» НРУ2016:

#	Показатель	Вес, %	Коммент	Источники
1	М1. Иностранные граждане в контингенте обучающихся в вузе (2015/16 учебный год).	25	Иностранные граждане (дальнее и ближнее зарубежье), обучающиеся на полных программах Б, С, М, А, а также иностранные граждане, обучающиеся по программам обмена (длительность не менее 1 семестра/триместра)	Анкета: 11.1 Отчеты МонМОН: I3.1, I3.2
2	М2. Международное сотрудничество Университета в 2015 г.	20	Линейная комбинация: Число зарубежных университетов и исследовательских организаций, с которыми заключены соглашения о сотрудничестве (долговременная составляющая). Число международных конференций в 2015 г. И доля участников этих конференций от общей численности НПР + А +(М). Разрабатывается процедура присуждения статусов конференциям (международным и национальным), соглашениям о сотрудничестве (статусы университетов)	Анкета: 11.2, 12.6 Отчеты МонМОН kon-ferenc.ru konferencii.ru
3	М3. Глобальные коммуникации Университета	20	Линейная комбинация: Alexa GlobRank сайта У на конец 2015 г. Klout официального Твитер-акаунта Университета	Alexa Klout
4	М4. Научно-исследовательское сотрудничество Университета с зарубежными университетами и исследовательскими организациями	20	Накопленным итогом: Число зарубежных партнеров (университетов, исследовательских организаций, компаний) Университета в научных публикациях	Scopus
5	М5. Образовательные программы (курсы) на иностранных языках	15	Данные анкет и веб-сайтов вузов. Возможно присвоение статусов	Анкета: 11.16, 11.17 Отчеты
	Иностранные и инорегиональные граждане на входе в Университет, на выходе. Абитуриенты других стран и регионов		Пробные замеры Возможность применения в оценке М	Анкета 3.3 – 3.5
	Активность университетов в разработке MOOC на различных языках, аудитории MOOC		Экспериментальные замеры	Данные образовательных платформ
	Активность университетов в реализации совместных с ведущими университетами мира образовательных программ		Экспериментальные замеры
	Иноязычные аудитории веб-сайтов университетов и аккаунтов социальных медиа		Экспериментальные замеры
	Участие НПР университета в международных конференциях		Экспериментальные замеры	Введение процедур присвоения статусов конференциям

Планируемое время публикации результатов: Сентябрь 2016

Методика формирования рейтинга университетов «Инновации и Предпринимательство» НРУ2016:

#	Показатель	Вес, %	Коммент	Источники
1	П1. Технологическое (инновационное) предпринимательство в Университете	10	Spi Университета в сферах Технологическое (Инновационное) Предпринимательство, развитие Предпринимательства. 2015 г.	СКАН (возможно Brand Analytics)
2	П2. Портфель патентов Университета	25	Число патентов (национальных и международных), поддерживаемых Университетом на конец 2015 г.	Анкета: 14.2, 14.3 Отчеты Роспатент Scopus СПАРК Мон МОН: 3.2.5, 3.2.6 в отчетах
3	П3. Сотрудничество Университета с высокотехнологичными компаниями	15	Участие У в разработке технологических платформ, в ПИР высокотехнологичных компаний. Число соглашений	Анкета 14.14 – 14.18 Отчеты МонМОН - ?
4	П5. МИП Университета, Инновационная инфраструктура Университета	15	Линейная комбинация: Доля НПР У, занятых в деятельности объектов инноинфраструктуры (в т.ч. МИП), от общей численности НПР. Доля обучающихся в У, занятых в деятельности объектов инновационной инфраструктуры, от общей численности обучающихся. Число учрежденных Университетом МИП. (Генерирование рабочих мест и результативность деятельности МИП – пока отражаются слабо)	Анкета: 14.10, 14.6 – 14.10 Мон МОН: V.16 СПАРК Стартап-активность - ?
5	П6. НИОКР Университета	15	Объем НИОКР без привлечения бюджетных средств в общем бюджете вуза в 2015. Нормировка на численность НПР	Анкета: 10.6 Отчеты МонМОН: I2.10
6	П7. Базовые кафедры Университета	20	Линейная комбинация: Доля НПР (в т.ч. внешних совместителей), занятых на БК, от общей численности НПР. Доля студентов (все программы 1, 2, 3 уровней кроме ДОП), занятых на БК, от общей численности обучающихся по этим программам. Число организованных базовых кафедр	Анкета: 14.13 Отчеты МонМОН
	Закупки инновационной продукции компаниями с госучастием		Организация пробных замеров	Сайты компаний СПАРК-Маркетинг
	Истории успеха представителей университетов в технологическом предпринимательстве		Экспериментальные замеры	СКАН
	Участие Университета в НТИ, возможно других программах технологического развития Участие Университета в НТИ: в т.ч. в рамках развития прогнозируемых рынков		Пробные замеры	СКАН Отчеты РВК и АСИ
	Технологическое предпринимательство в Университете – репутационная оценка		Результаты опросов академического сообщества; обучающихся по программам М и А; представителей высокотехнологичных компаний	СПАРК РИНЦ Прямые контакты Соц. Медиа
	Технологическое предпринимательство: образовательные программы		Реализуемые вузом образовательные программы (основного и дополнительного образования) в сфере предпринимательства. Трудности с выделением именно таких программ. Организация процедуры оценки программ развития Предпринимательства. Оценка вклада программ MBA (?)	Анализ накопленных данных Сравнение с зарубежными процедурами оценки (Princeton Review, Eduniversal? Kauffman)

Планируемое время публикации результатов: Ноябрь 2016