Анализ комментариев на DTF
За июль (и небольшой кусочек августа) было опубликовано более 240 тысяч комментариев. Я решил изучить, насколько токсично сообщество DTF, кто чаще получает плюсы, а кто минусы, и кто был самым активным комментатором.
Условия исследования
Комментарии собраны со всех постов из стандартных подписок за промежуток с 1 июля по 4 августа 2020 года, всего их получилось более 248000 штук, которые оставили 13,5 тысяч пользователей.
Рейтинг комментариев
Из всех комментариев 129332 (51%) имеют положительный рейтинг, 15451 (всего 6%) отрицательный и 108957 нейтральный. 828 комментариев «удалены по просьбе пользователя», а 110 имеют содержание «Сообщение удалено». Сначала посмотрим просто на количество комментариев по пользователям:
Больше всего комментариев за выбранный период с отрывом в почти 200 комментов оставил Dozaemon. Рекорд по сообщениям в час у Andrey Apanasik — 54.
Наблюдая за количеством комментариев у людей из топа выше, возникает вопрос, сколько комментариев оставляет каждый юзер на DTF. Распределение количества комментариев:
30% пользователей из всех, оставивших комментарии за июль, оставили всего 1 комментарий — это почти 4000 человек. 50% людей оставили не больше трех, а 90% — не больше 40. Если посмотреть на это по-другому, то 500 топ-комментаторов (4%) генерируют более 50% от общего количества комментариев.
Также полезно будет увидеть, сколько комментариев пользователи оставили по дням недели и по времени суток.
Пользователи DTF наиболее активны в рабочее время в будние дни. Видимо, сидеть на ДТФ — это совсем не отдых.
Самые комментируемые статьи:
- 1595 комментариев — Steam-версия Horizon Zero Dawn подорожала в три раза — теперь предзаказ стоит 2800 рублей
- 1096 комментариев — S.T.A.L.K.E.R. 2 и новая AAA-RPG от Obsidian: что показали на большой презентации Xbox
- 1011 комментариев — Утечка: 30 минут геймплея Assassin’s Creed Valhalla
И еще около 40 статей вызвали обсуждение на более чем 500 комментариев. Распределение количества комментариев на статью:
Медиана — 27 комментариев на статью, а 90% статей получают не более 165 комментариев. Из топ 5% (190) статей по количеству комментариев 72 было опубликовано пользователями, то есть в самых популярных статьях преимущество редакции не так уж и высоко.
Топ-3 заминусованных комментариев:
3 меcто
« добавок в игру добавят контент из культовой Half-Life от Valve.» а культовость где раздают не подскажешь?
Три комментария с рейтингом ниже -200 в новости «Новые скриншоты ПК версии Death Stranding». При этом юзер остался в плюсе по рейтингу.
2 место
>Я считаю, что это эгоистично — отнимать удовольствие у других
А сам отнимает его у читеров, двуличненько.
P.S. Я сам не читер и к читерам отношусь в целом негативно, но без ненависти, как этот парнишка.
P.P.S. Видимо задел чем-то читеров, раз они побежали меня минусить, ахахаха.
Поддержка читеров сильно порицается на DTF. Потому что на первом месте у нас та же новость.
1 место
То есть стукач это теперь герой? В интересное время живем
-8000 за все комментарии под одним постом. Это рекорд. Наверняка, это был чей-то твинк специально для толстого троллинга. Я вообще не понимаю, зачем люди таким занимаются.
ааа
Топ-3 заплюсованных комментариев:
3 место
Гейб – лучший человек в гейм-индустрии. Потому что это так.
На ДТФ очень сильно любят Гейба.
2 место
Я решил не покупать и сэкономить 900 рублей. Теперь получается, не покупая, я экономлю 3000 рублей! Профит.
К новости про подорожание Horizon в Steam.
1 место
>If you are a child of God, you are my brother and sister. I have family of every race, creed and ideology
Терри Красавчик, это слова настоящего человека с головой на плечах
Жаль, что большинство твиттеранутых настолько отбитые, что на полном серьезе начинают хейтить его
Какой же бред, не перестаю удивляться
2 июля новости о протестах в США были популярны, а Терри Крюс эти протесты не поддержал.
Лидеры по количеству и среднему рейтингу
Пользователи с наибольшим количеством комментариев с отрицательным рейтингом:
Вадим попал в плохую компанию.
Пользователи с наибольшим количеством комментариев с положительным рейтингом:
Списки немного пересекаются, потому что некоторые пользователи просто очень много комментируют, постят картинки — в общем, щитпостят, и это не всегда заходит.
Топ юзеров по среднему рейтингу комментария (для пользователей с не менее чем 30 комментами):
1581 комментатор (из 1656 оставивших более 30 комментариев) имеет положительный средний рейтинг.
Комментаторы с самым низким средним рейтингом комментария:
И снова представитель редакции попадает в отрицательный рейтинг. Наверно, это говорит, что редакция — такие же люди, как простые пользователи.
Негатив и позитив
Анализ на «токсичность» проводится с использованием библиотеки dostoevsky. Она оценивает «негативность» и «позитивность» сообщения от 0 до 1 (саму токсичность определять автоматически еще невозможно). Для наглядности приведу примеры:
- «Народ все стерпит, потому мы в таком дерьме.
Пора привыкнуть и не беспокоится.» — negative 0,85, positive 0 - «Все, наконец-то прочитал. Годный текст и оформление красивое, хорошо освежил мне память. Спасибо! » negative 0, positive 0,9
- «*Devolverland Expo. Жалко только, что оптимизацию не завезли. Сама идея от начала до конца очень хорошая.» negative 0,56, positive 0,32
Метод не идеальный: например, фраза «ахах)) дружочек, иди гуляй по гуглу и не смеши меня» оценивается на 0,92 positive. Но ложноположительных результатов не много. Стоит заметить, что большая часть слов в комментариях все же нейтральна: поэтому рейтинг позитивности и негативности ближе к нулю.
Исходя из метода исследования, комментарии без текста тут не учитываются. Переходим непосредственно к анализу.
Среднее по всем комментариям на DTF
0,175 и 0,056
Говорит ли это о том, что негативных комментариев больше, чем позитивных? Конечно, да. Во-первых, негатив провоцирует негатив в ответ; во-вторых, пользователь ДТФ скорее будет спорить с «неправильным» мнением, чем поблагодарит автора или комментатора.
Более того, 34% из пользователей, имеющих более 30 комментов, постят в среднем негативные комментарии. И всего 4% — позитивные.
Самые позитивные комментаторы:
Самые негативные комментаторы:
Негатив и позитив по подсайтам:
Как можно заметить, худшие подсайты в плане «токсичности» — это, во-первых, «Жизнь», где постят новости на остросоциальные темы, во-вторых, «Индустрия», где обсуждают выход нового поколения консолей, и, в-третьих, «Игры», где всегда неспокойно. Самые позитивные подсайты — «Аниме» и «Кино и сериалы».
Бонус: те же данные по редакции. Они могут быть неточными из-за малого количества комментариев.
Важное замечание по разделу: позитивность и негативность почти никак не коррелирует с рейтингом комментария. На ДТФ оценивают мнения, а не тон комментария.
Выводы
Частично дублируют уже написанное в статье:
- Плюсы ставят чаще минусов
- Комментарии в среднем более негативны, чем позитивны
- Больше всего негатива в «Жизни»
- Рейтинг комментария не зависит от его «токсичности», а только от передаваемой идеи
- Редакция, в среднем, пишет меньше негатива (но и меньше позитива) чем обычные пользователи
Код по сбору комментариев и база за июль на гитхабе.
Если вам, как и мне, нравится смотреть на графики: заходите в блог. Я писал про метакритик (и экспериментировал с нейросетями), ключевые слова на DTF (скоро будет продолжение для личных блогов) и лучшее время для публикации.
Пожалуйста, продолжай
А может сделаем этот пост самым "задоначенным" за всю историю?
Спасибо.