Два исследователя сделали кота Ларри самым цитируемым котом в мире: его индекс Хирша (согласно Google Scholar) составил 11, статей — 12, цитирований — 132. Этот титул кот носил целую неделю. О том, как легко манипулировать данными о цитировании научных статей, что сподвигло ученых на этот эксперимент и как работают «бумажные фабрики», — читайте в нашем материале.
Индекс преткновения
Универсальный показатель, по которому оценивается продуктивность исследователей, — индекс Хирша. Эта характеристика основана на количестве публикаций конкретного ученого и цитирований его работ коллегами. Несмотря на то что у этой системы оценивания вклада исследователя есть свои минусы (например, индекс Хирша сильно зависит от продолжительности карьеры ученого и будет низким в ее начале, даже если значимость его работ — колоссальная), она продолжает оставаться одним из главных показателей эффективности ученого.
В разных областях наук достойный индекс Хирша будет разным. Это связано с тем, что в разных направлениях разная традиция цитирования коллег. Например, у хороших ученых-физиков достойный индекс Хирша будет равен годам его карьеры в науке, а у выдающихся он будет вдвое больше. Так, создатель показателя аргентино-американский физик Хорхе Хирш из Калифорнийского университета писал, что преподаватель-физик в крупном университете будет иметь индекс Хирша на уровне примерно 12–18, а членство в Национальной академии наук США говорило об индексе Хирша от 45.
Сейчас индекс Хирша — признанная по всему миру мера продуктивности ученого. Кто-то готов платить, чтобы добавить себе лишние «очки» и выделиться: иногда от этого зависит не только уважение коллег, зарплата и должность, но и собственное достоинство.
Рынок цитирований
Риз Ричардсон — специалист в области вычислительной биологии из Северо-Западного университета в США, опубликовал в своем блоге историю о том, как легко в интернете «накрутить» цитирования и «нарастить» индекс Хирша кому угодно — даже коту.
Все началось с того, что Риз Ричардсон увидел рекламу настоящей «бумажной фабрики» в Google Scholar. Она предлагает повысить количество цитирований и, следовательно, индекс Хирша.
Реклама от 28 июня 2024 года. Источник: Reese Richardson
Реклама прикладывает скриншоты, которые показывают динамику индекса Хирша у клиентов. Ризу Ричардсону удалось идентифицировать 18 авторов, у 11 из них были активные профили в Google Scholar. 9 клиентов «бумажной фабрики» были связаны с индийскими университетами, по одному — с оманскими и американскими организациями.
Ричардсон задался вопросом: как компании удалось так эффективно манипулировать количеством цитирований? Судя по всему, некоторые клиенты покупали до 500 цитирований.
Пример клиента, которого исследователю удалось идентифицировать. Благодаря почти 400 купленным цитированиям индекс Хирша этого исследователя увеличился вдвое — с 7 до 14. Источник: Reese Richardson
У некоторых клиентов все цитирования были в одном и том же «подозрительном» журнале. Но для большинства клиентов схема была почти сюрреалистичной: на них ссылались десятки статей, чьими авторами были Пифагор, Галилей и Колмогоров. Статьи не были опубликованы ни в одном журнале или сервере препринта, они были загружены в виде PDF-файлов на ResearchGate — социальную сеть для исследователей. Хотя их быстро удалили, Google Scholar все равно сохранил их, и клиенты «бумажной фабрики» смогли увеличить свои показатели цитирования. В аннотациях этих статей текст полностью соответствует заголовку, но остальная часть — «математическая тарабарщина». Быстро стало понятно, что эти работы сгенерировал Mathgen — сервис, который генерирует случайные научные работы по математике. Впрочем, это не первый раз, когда алгоритмы создают бессмысленные статьи, которые потом активно рецензируются.
Такая схема не требует большого количества усилий, она бесплатна, благодаря ей можно бесконечно увеличивать свой индекс Хирша. Тогда Ник Уайз, специалист в области инженерии и гидродинамики в Кембриджском университете и по совместительству коллега Риза Ричардсона, предположил, что кто угодно может «создать самого цитируемого человека/кошку в мире».
Кот-ученый
Кота бабушки Риза Ричардсона зовут Ларри. Фамилия Ричардсон ему очень пошла. «Из всех котов с человеческими именами в нашей жизни “Ларри Ричардсон” больше всего походил на важного ученого и, таким образом, был естественным кандидатом на звание самого цитируемого кота в мире», — пишет Риз Ричардсон в своем блоге. Ранее самым цитируемым котом был Честер: его владелец Джек Хетерингтон из Мичиганского университета случайно написал статью от первого лица множественного числа («мы, наш»). Чтобы множественное число имело смысл, ученый сделал Честера соавтором, и не один раз.
На 2 августа 2024 года у сиамского кота Честера 107 цитирований, а индекс Хирша равен 2. Источник: Google Scholar
Риз Ричардсон и Ник Уайз сгенерировали 12 статей с помощью Mathgen, автором которых был Ларри Ричардсон. Соавторов у работ не было. Потом были созданы еще 12 статей, авторами которых был не кот, а выдуманные люди. Каждая из этих статей цитировала одну кошачью статью. Все статьи отправились в ResearchGate.
Через примерно две недели все статьи попали в Google Scholar. Кот Ларри получил 132 цитирования (в одной статье не было ни одной проиндексированной ссылки, почему — неизвестно), его индекс Хирша достиг 11. Так он стал самым цитируемым котом в истории. Ларри удалось на протяжении недели удерживать этот титул. Сейчас, после публикации истории, в его профиле в Google Scholar удалены и кошачьи статьи, и работы, которые их цитируют. Профиль котика на ResearchGate на август 2024 года также удален.
Ларри не очень волновал высокий индекс Хирша, но он был рад полученным вкусняшкам. Источник: Reese Richardson
Авторы кошачьего эксперимента отмечают, что Google Scholar не удалил ни одной фейковой статьи, которая ссылается на клиентов «бумажной фабрики».
После того как СМИ осветили эту историю, ResearchGate пообещала исправиться. «[Мы] постоянно пересматриваем наши политики и процессы, чтобы обеспечить наилучший опыт для миллионов наших пользователей-исследователей», — заверил генеральный директор компании Иджад Мадиш. До эксперимента с котом-ученым ResearchGate не знали о том, что «бумажные фабрики» заметают следы и удаляют контент после того, как он попадает в Google Scholar и индексируется. Google Scholar пока никак не комментировали ситуацию.
Эксперимент двух исследователей показал, что Google Scholar очень легко поддается манипуляциям с цитированием и авторством. Риз Ричардсон в своем блоге пишет: «Для более справедливого научного предприятия нам следует полностью отказаться от количественных эвристик, таких как количество цитирований, импакт-фактор и индекс Хирша <...> Такие сервисы, как Google Scholar, Web of Science, Scopus и ResearchGate, могли бы значительно приблизить нас к этому идеалу, больше не предоставляя эти метрики пользователям. Однако, если эти сервисы намерены сохранить метрики, основанные на цитировании, они должны по крайней мере немного усложнить манипуляцию этими цифрами».
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
