Что плохого в рейтинге юзеров?

Разработчики ненавидят юзерский рейтинг Steam. Это я сейчас выкрикиваю в полемическом задоре, но в целом так и есть. И не потому, что игроки выводят на чистую воду жадных разрабов. Разрабы, которые заинтересованы в деньгах, занимаются мобильным направлением или слот-проектами, потому что ну какие деньги в сингловых играх для PC. И вовсе не потому, что мои собственные проекты — кроме последнего — оценены так себе: мы на почту получаем достаточно фанатских благодарностей, чтобы не воспринимать рейтинг как объективную оценку нашего труда.

Тут важно другое. Во-первых, сам принцип количественной оценки качества. Вот Пушкин — поэт на 89%, а вот овощ кабачок — так себе овощ, на 50%. Бри Ларсон — женщина на 68% («Сносно»), а Галь Гадот — 90% и “Выбор редакции” от паблика “Няшная жидовка”, так что ли? [все примеры взяты для иллюстрации и не отражают реальных оценок автора].

Бухгалтерский подход плохо работает со сложными артефактами, такими как фильм, картина или игра. Кроме того, это калечит сознание: попробуйте заставить себя сходить в ресторан, у которого 3,5 на Yelp или чем вы там пользуетесь, это полное табу. Там, наверное, дохлыми мышами кормят! Хотя может просто нет кальяна, или кругом одни кальяны, или стены ужасного синего цвета.

Во-вторых, рейтинг Steam не соответствует общепринятому. У ресторанов, фильмов и школьников обычно пятибальная система. У отелей — десятибальная. У Steam — двухбальная. Это означает, что если игра получила 69% рейтинга на Steam, то проект помечается как отстой и алгоритм не будет ее рекомендовать юзерам. Но это игра, которой две трети игроков поставили максимально высокую оценку! И 30 процентов недовольных это просто нормально — игра не червонец, чтобы всем нравится. Именно игры с 96% рейтинга выглядят сказочно как туркменские выборы — проект нравится буквально всем, this is a game for everyone, как такое вообще может быть.

В-третьих,когнитивные искажения. Если 9 людей перед вами скажут, что игра гениальна, то вы будете десятым, кто скажет, что игра гениальна — даже если вам сперва показалось, что игра так себе. Верно и обратно — все говорят, что игра говнище, вы тоже скажете, что игра говнище. Экспериментально это было доказано в 1950-х Соломоном Ашем в рамках исследования конформизма в группах. В 2015 году эксперименты были повторены с неизменным результатом. То есть любой юзерский рейтинг — в том числе и рейтинг Steam — даёт ошибочную оценку, для истинной оценки юзер должен писать отзыв вслепую, не зная, что поставили игре другие.

В-четвертых, 69 процентов у GTA 5 — ну камон, игра настолько плохая? Или там китайской локализации нет? Или там персонажей-негров заменили на оранжевую брюкву? Нет версии под Убунту? Разрабы в твиттере выступали против геев? Да что угодно. Рейтинг игры — это выраженное мнение коммьюнити по целому ряду вопросов. Рейтинг — он для общения. Но это только для GTA 5 люди будут разбираться, что там такое, а для обычной средней игры 69% — это приговор, потому что алгоритму все равно.

Почему нельзя верить юзерскому рейтингу? Потому что он строится на основе когнитивных искажений — ведь игрок как правило в курсе, какую оценку поставили другие. В свое время мне так поставили “отл” по матану, потому что “не буду портить зачётку”.