Новая методика оценки публикационной результативности, введенная Министерством науки и высшего образования, стала поводом для очередного спора о том, применимы ли наукометрические подходы к гуманитарным и общественным наукам? — как внутри институтов и отделений РАН, которым Президиум Академии поручил разработать предложения по улучшению методики, так и в социальных сетях. Indicator.Ru узнал мнения экспертов по основным вопросам.
«Под этим подписывается вся организация»
«Социогуманитарное знание фиксируется в первую очередь в форме книги: монография, коллективный труд, энциклопедия, перевод классики, издание классики, словарь, архивная публикация», — говорится в одном из пунктов решения ученого совета Института философии РАН. Первое публичное официальное выступление за пересмотр новой методики стало основой для открытого письма к президенту страны. В последовавших заявлениях гуманитарных институтов — Института мировой литературы имени А. М. Горького, Кунсткамеры, Санкт-Петербургского института истории РАН — этот тезис тоже был одним из ключевых. Между тем при расчете комплексного балла публикационной результативности (КБПР) монография, согласно одобренной в конце 2019 года версии, могла весить только один балл.
«Нельзя ставить на одну доску фундаментальные труды и обычные статьи, — говорит ученый секретарь Института философии РАН Полина Гаджикурбанова. — Не проще ли ученому, чем годами заниматься составлением словаря, написать одну статью в пол-листа и пристроить ее в журнал? А уж если он пристроит ее в журнал первого квартиля, то получит почти в 20 раз больше баллов, чем создатель словаря. Не думаю, что это справедливая ситуация». По ее словам, ориентация наукометрии на журнальные статьи за последние годы уже привела к серьезному сокращению публикуемых сотрудниками института книг. Меньше стало, в частности, переводов классики — большой труд по аннотированному переводу и комментированию сложного философского текста почти невозможно оценить наукометрически.
Монографии для гуманитариев — более важный индикатор, чем статьи, соглашается с заявлениями институтов РАН Артемий Магун, профессор политической теории демократии на факультете социологии и философии Европейского университета в Санкт-Петербурге и главный редактор журнала по политической философии Stasis. Но здравый смысл подсказывает, что больше и чаще всех пишут графоманы. Как отделить от их продукции монографии достойного научного уровня? Именно на отсутствие таких критериев ссылались разработчики КБПР, объясняя, почему в методике монографии оцениваются так низко. Как несколько раз упоминали на последнем заседании Президиума РАН, около 30% книг из публикационных отчетов институтов — фактически самиздат, опубликованный безо всякого рецензирования и редактуры и даже без отправки обязательного экземпляра в российскую Книжную палату. Одним из критериев, предполагает Магун, могла бы стать публикация монографии в ведущем издательстве, которое дорожит своей репутацией и проводит серьезную внешнюю оценку рукописей. «Белые списки» таких издательств есть, например, у Web of Science, но, подчеркивает Магун, они неполные. Логично было бы составить похожий российский список. Но сейчас его создание — сложный вопрос, считает Магун: «В отличие от США, лучшие российские академические издательства не принадлежат крупнейшим государственным университетам: это НЛО, издательства Европейского университета, Института Гайдара и другие». Большинству же российских издательств сейчас не хватает качественного рецензирования и научного редактирования. В том же ключе ученый совет Санкт-Петербургского института истории РАН написал о реформировании издательства «Наука»: чтобы монографии и другие книги оценивали высоко, надо повышать уровень их экспертизы и возвращать традиции академического книгоиздания. Сейчас же, как можно заключить по этим мнениям, в большинстве случаев название и предыдущие труды издательства ничего не говорят о качестве публикуемых им книг. Составление «белого списка» в таких условиях будет очень сложной задачей.
Ключевым критерием при отборе качественных монографий, по мнению Гаджикурбановой, могло бы быть наличие у книги грифа академического института. «У нас в институте монография получает сначала внешнюю и внутреннюю рецензии, затем проходит обсуждения в секторе, в секции и наконец в ученом совете. На протяжении всех этих этапов с рукописью работают сначала люди, которые ведут исследования по данной тематике, потом специалисты более широкого профиля, потом наиболее авторитетные ученые всего института. И если монография выходит с грифом, это уже знак качества — под этим подписывается вся организация», — рассказывает она. Но во всех ли случаях этот критерий так надежен? Кроме того, в решении ученого совета Института философии есть и предложение оценивать книжную продукцию по числу авторских листов. Легко представить себе, к какому взрыву «научной» продуктивности может привести массовое применение такого количественного параметра. Другие гуманитарные институты РАН продолжают работать над своими предложениями.
Scientific Russia Today
В некоторых появившихся в ответ на КБПР заявлениях подчеркивается еще одно вероятное негативное последствие введения этого показателя: потеря русским языком статуса одного из международных языков науки. В дальнейших обсуждениях этот вопрос распался на несколько частей: как именно можно сохранить роль русского языка в научной литературе, в каких областях принципиально важны публикации на русском и в каких случаях исследования российских гуманитариев не имеют шансов на публикацию в англоязычных журналах.
Долгосрочную цель продвижения и сохранения русскоязычных журналов и самого русского языка не только в России, но и в ближнем зарубежье, считает Полина Гаджикурбанова, можно было бы решить учетом в КБПР Российского индекса научного цитирования. Разработчики методики объяснили, почему публикации в РИНЦ не получают ни десятой, ни сотой балла: в этой базе нет механизма отбора качественных изданий. Действительно, РИНЦ долгое время был известен индексацией нерецензируемых и откровенно хищнических журналов. «Но индекс в последнее время настойчиво борется за чистоту своих рядов, и ему ничего не стоит сделать коллекцию именно рецензируемых изданий, это технический вопрос», — отмечает Гаджикурбанова. Уже сейчас, напоминает она, РИНЦ позволяет загружать рецензии на статьи в каждом конкретном выпуске журнала: «Механизм для отбора рецензируемых изданий в РИНЦ есть, но, к сожалению, эту базу полностью оставили за бортом новой методики».
Магун во многом поддерживает коллег в желании сохранить статус русского языка, но отстаивает необходимость институциональных реформ: «Русскоязычную науку нужно развивать, в этом нет никаких сомнений. Но ее надо приближать к стандартам по рецензированию и редактуре… журналы должны заниматься анонимным peer review. Эта процедура делает статью в каком-то смысле коллективным продуктом научного сообщества и делает ее понятной, читабельной для внешнего читателя».
Мнение, что в некоторых областях науки ученый принципиально должен публиковаться именно на русском языке, для части представителей технических и естественных наук, возможно, звучит нелепо, но для многих гуманитариев это неоспоримый факт. Ученый совет Института мировой литературы назвал, например, такую причину: в гуманитарных науках язык не просто служит способом передачи информации, а является формой извлечения и выражения нового знания. О том, что историческая наука вкупе с другими гуманитарными науками формирует национальное самосознание, а значит, результаты работы российских историков должны публиковаться в России на русском языке, заявил в открытом письме к министру науки и высшего образования ученый совет Санкт-Петербургского института истории РАН. Для Института философии РАН публикации главным образом на русском языке — тоже принципиальная позиция, подчеркивает Гаджикурбанова. Трудности перевода философского текста тут только сопутствующий, хоть и важный нюанс: «К языку в общественно-гуманитарных дисциплинах предъявляются намного более высокие требования, чем в естественных и точных науках. К примеру, наши логики, статьи у которых представляют собой формулы с небольшими текстовыми переходами, с легкостью пишут на английском и публикуются. Но есть тексты, которые принципиально должны быть написаны на русском языке, и их перевод на другой язык — нетривиальная и очень творческая задача. Конечно, я не буду это сравнивать с переводом поэзии, но тем не менее это сложно». Даже прекрасное знание иностранного языка, по словам Гаджикурбановой, не гарантирует, что стиль текста будет соответствовать ожиданиям зарубежного издания. Потому Институт философии РАН ориентирует сотрудников публиковаться по-русски, а переводы уже вышедших статей на другие язык публикуются сравнительно редко, когда есть и финансовая возможность, и достаточно квалифицированный переводчик со знанием философии и чувством стиля. «Наука одна, но языки у нее разные. И в этом нет никакого противоречия», — подчеркивает Гаджикурбанова.
С задачей перевода философских работ с русского на английский и наоборот (правда, только в области политической философии) до недавнего времени успешно справлялся журнал Stasis. Все статьи в нем публиковались сразу на двух языках. Но такой формат, рассказывает главный редактор издания Артемий Магун, требовал слишком больших вложений, и от него пришлось отказаться: «В это, вообще-то, должно вкладываться государство, а не частный Европейский университет, потому что именно такого рода деятельность может преодолеть изоляцию российской гуманитарной науки и в то же время не убить русский язык как язык науки. По меньшей мере, стоит использовать тот формат, на который мы перешли сейчас из-за недостатка средств: публиковать статьи на двух языках, в том числе англоязычные статьи российских авторов, с предоставлением качественной редактуры английского языка». Публикации на английском, считает он, исключительно важны, чтобы ученые всего мира могли «в прямом эфире» узнавать, что пишут российские авторы.
Необходимость хоть иногда публиковаться на языке, на котором в научном мире читают чаще всего, в целом никто не оспаривает. Почему таких публикаций у гуманитариев много быть не может, участники дискуссий объясняют или сложностями перевода, как Гаджикурбанова, или… цензурой в англоязычных изданиях. Первым эту позицию озвучил академик Валерий Тишков, ранее возглавлявший Институт этнографии РАН, в открытом письме в Президиум Академии. Он отметил, что в гуманитарных исследованиях российских ученых отражаются «научные концепции прошлого и настоящего», которых западные коллеги не разделяют. А значит, публикация некоторых работ в зарубежных журналах просто невозможна. О том же написал несколько постов в Facebook сотрудник Института российской истории РАН Александр Дюков. Эти заявления вызвали, пожалуй, самые ожесточенные споры, по итогам которых оппоненты, как водится, остались на прежних позициях: одни уверены, что подавать в западные журналы статьи со спорными для зарубежных специалистов тезисами бесполезно; вторые утверждают, что публикация таких работ вполне возможна, но вот «над обоснованием пришлось бы попотеть» так, как никогда не приходится при публикации в дружественных российских журналах.
Магун относит к причинам, по которым статьи российских авторов могут не пройти рецензирование в высокорейтинговых журналах, наличие других научных школ и незнание российскими авторами всех деталей текущих дискуссий. Но даже если они иногда проходят, это, по его мнению, не решает проблему: «Если Ляпкин-Тяпкин опубликовал одну статью в зарубежном крупном журнале, а Сидоров во втором, эти точечные явления мало способствуют пониманию на Западе российской науки и российской ситуации, формированию наших научных школ. Важно создавать англоязычные институты в России. Можно привести пример телеканала Russia Today. Идеологически с ним можно не соглашаться, но как идея, как правильная стратегия продвижения российского взгляда на события — это идеально, потому что сочетается хорошее понимание западных дискуссий и наших». Способствовать признанию российских научных школ и интеграции российской гуманитарной науки в мировую, с точки зрения Магуна, могут собственные англоязычные журналы (такие, как Stasis, Horizon, AbImperio, Laboratorium и др.) и другие институциональные меры, например поддержка участия российских ученых в международных конференциях и проведение больших англоязычных конференций внутри России.
«Борта» «белых списков»
«Если мы взяли курс на наукометрию, то нужно использовать этот инструмент адекватным образом», — говорит Гаджикурбанова и перечисляет ошибки в методике расчета КБПР: для журналов гуманитарной коллекции Web of Science импакт-фактор не рассчитывается, а значит, и по квартилям они не распределяются, и для гуманитариев публикации с максимальным баллом в первых квартилях в принципе недоступны (если только это не междисциплинарное исследование, например по биоэтике); отчитаться по методике за 2020 год в начале 2021 не выйдет, так как статьи за прошлый год индексируются, по самым оптимистичным оценкам, в середине года.
Еще одна особенность коммуникации в гуманитарных науках, которую администраторам стоит знать: многие авторитетные гуманитарные журналы не индексируются ни в Web of Science, ни в Scopus. Даже в России, по словам Гаджикурбановой, есть серьезные издания, которые этого не делают по идейными причинам. Но если на отечественной почве из-за ориентации на международные базы в последние годы такая позиция стала исключением, среди западных изданий, особенно на французском, немецком и других европейских языках, она распространена куда шире. О том же говорит Артемий Магун: многие общепризнанные журналы не входят в Scopus, потому что не хотят выполнять сложные формализованные требования, которые этот индекс предъявляет, а в Web of Science индексируются в Emerging Sources. Многие журналы в США вообще не интересуются индексами. Потому разумным Магуну представляется составление «белых списков» рекомендованных изданий на основе индексов, но с включением тех авторитетных журналов, которые сознательно от них отказываются. И с приданием, вероятно, большего веса тем немецким и французским журналам по философии и другим дисциплинам, статьи в которых, по словам Полины Гаджикурбановой, плохо индексируются в базах по тривиальным причинам вроде надстрочных знаков в заголовках. Заточенные под английский язык инструменты индексов такие особенности не учитывают.
Пока же «за бортом» расчета КБПР остались и еще не доросшие до международных баз российские журналы из РИНЦ, и гордые европейские и американские гуманитарные издания, и ежегодники. Этот формат принят в истории и других дисциплинах в России, как напоминает открытое письмо ученого совета Санкт-Петербургского института истории РАН, уже более ста лет: «большим авторитетом пользуются ... "Византийский временник", "Археографический ежегодник", "Вспомогательные исторические дисциплины" и другие». Наукометрическим базам такой формат издания неизвестен — это не журнал и не книга, которую можно индексировать по главам, и по формальным критериям КБПР публикация в ежегоднике не принесет ученому ни единого балла. Для таких изданий, очевидно, тоже нужен отдельный список.
Но остаются открытыми вопросы, кто в России будет составлять «белые списки» журналов и других изданий и насколько они будут произвольны. Артемий Магун считает, что их можно создавать на основе международных журнальных баз отдельно в каждой организации, но с привлечением признанных в мире экспертов. Особенно важно, чтобы организации открыто публиковали свои списки рекомендованных изданий. «Был, правда, такой аргумент по этому поводу, что в таком случае в каком-нибудь провинциальном университете составят список, состоящий из ВАКовских русскоязычных журналов со статьями по пять страниц. Да, так и будет, но этот список повлияет на вознаграждение ученых в этом конкретном университете, и всем будет известно, что он поощряет именно такие публикации. Как ученый, я особой беды здесь не вижу: это вопрос для Министерства, хотят они содержать вузы средней руки или нет. А что касается ведущих университетов, там, я уверен, эти списки будут составлены ответственно», — отмечает он.
Мы наш, мы новый КИПР построим
Вряд ли такой подход, при котором выбор показателей публикационной результативности остается делом организации, может быть принят в России сегодня. Тот же КБПР сначала разослали институтам абсолютно всех направлений, и только после нескольких открытых писем и обсуждения в Президиуме РАН у отделений Академии появилась возможность внести в методику его расчета предложения с учетом специфики своих наук. Свой список рекомендованных изданий для каждой организации пока выглядит на таком фоне утопически — общая логика единообразия делает маловероятным, что Министерство доверит решения такого рода самим ученым (хотя исключать такую возможность нельзя).
Есть ли такие надорганизационные сообщества экспертов в России сейчас? Некоторые работы социологов позволяют сделать вывод, что сами ученые не слишком заинтересованы в их работе. Недавнее исследование, авторы которого попытались выяснить отношение российских ученых к механизмам цифровой самоорганизации в ходе опроса и фокус-групп, показало: ученые одновременно и возмущены бюрократизацией научной сферы и публикационным давлением со стороны государства, и настроены негативно по отношению к практикам публичных дискуссий о критериях качества научных работ, а также самоуправления. На фокус-группах часто звучала мысль, что открытые дискуссии как по научным вопросам, так и для обсуждения и выработки общих критериев оценки достижений и идей ни к чему хорошему не приведут: будут или бесконечные склоки, или влиятельные профессора-руководители найдут способ так или иначе влиять на итог дискуссии в свою пользу. Получается, часть ученых разделяют следующую позицию: чиновники, конечно, не разбираются в науке и не умеют ею управлять, но пусть лучше управлением занимаются люди со стороны, «внешние силы», чем сами ученые. Недоверие существует не только между государством и учеными, но и между научными коллективами, которые в такой логике предстают чем-то вроде «клик» и «трайбов», не готовых к прозрачности, подотчетности и публичности в принципе. Для них выгоднее, несмотря на всю критику забюрократизированных наукометрических подходов, сохранять статус-кво.
Сооснователь Общества научных работников, заведующий лабораторией управления сложными системами Института проблем машиноведения РАН Александр Фрадков с этим не согласен и считает, что такие сообщества экспертов на самом деле есть. Ученые вовсе не отказываются разрабатывать для себя правила и оценивать работы коллег, многие постоянно этим занимаются: Фрадков ссылается на многолетний личный опыт рецензирования грантовых заявок и статей в России и за рубежом, а также на Положения по расчету показателей результативности научной деятельности (ПРНД), существующие как в Институте проблем машиноведения, так и во многих других научных организациях. И площадки, на которых представители разных дисциплин с таким же богатым опытом обсуждают общую картину, уже созданы.
Представленную в январе методику расчета КБПР улучшить мелкими правками невозможно, считает Фрадков: «Мы надеемся, что новый наш министр, провозгласивший открытость Министерства, не будет утверждать эту сырую методику, а призовет по паре ученых, представителей от всех слоев российской науки и посадит их в научный ковчег на недельку-другую, чтобы они придумали другую методику, которую бы все признали. И не надо торопиться — вопрос очень важный». Есть у него и конкретные предложения, например воспользоваться опытом Шанхайского рейтинга университетов (ARWU) при составлении «белых списков» высокорейтинговых изданий. «Среди пяти учитываемых Шанхайским рейтингом предметных индикаторов — общее число публикаций в изданиях, индексируемых в Web of Science, и число публикаций в «топовых» изданиях. Что такое «топовое» издание, решается отдельно для каждой из 52 научных областей, список в них определялся голосованием в группе экспертов — ученых с мировым именем», — отмечает Фрадков. В результате, например, в области компьютерных наук более высокие оценки по публикационным показателям в Шанхайском рейтинге обеспечивают доклады главных 17 мировых конференций, чем статьи в журналах. В этой области они действительно ценятся выше, так что благодаря работе экспертов показатель рейтинга отражает реальную ситуацию. Если заимствовать этот опыт для создания списков достойных изданий в России, то необходимо, подчеркивает Фрадков, чтобы эксперты представляли не только РАН, но и вузы, и другие ведомства и имели бы высокую международную репутацию. «Эти эксперты могли бы и методику скорректировать, — говорит он. — Отказались бы от квартилей, которые неадекватны в некоторых областях, и придумали более удобное сокращение вместо КБПР: почему бы не назвать балл индикатором и говорить КИПР — это же гораздо легче!».
Какое решение будет принято о КБПР, мы узнаем уже в ближайшие дни. Но, как и ученых, государство не устраивает нынешняя система оценивания науки в целом. Сложившийся «кризис доверия» может выразиться в навязывании ученым еще не одного документа, подобного методике расчета КБПР. По мнению авторов исследования, ситуация не безнадежна: сформировать новые, более адекватные методики оценки науки можно, сначала сделав видимым и открытым то, что метрики пытаются посчитать, — из чего состоит реальная научная активность ученых, как они отделяют хорошие исследования от плохих. «Существующие метрики являются принципиально «счетными», однако перед тем, как что-то считать, нам представляется разумным подумать о «видимости» и «открытости» того, что пытаются сосчитать, — например, о протоколе опубличивания данных о научной активности отдельных ученых и их групп. Речь идет о протоколе, который бы открывал для академического сообщества, бизнеса и государства суть деятельности ученых и позволил бы сторонам увидеть друг друга», — заключают исследователи.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
