Analytics of votes by contest / Аналитика голосов по конкурсам

ENG VER

ANALYTICS OF VOTES BY CONTESTS

For today, about 140 contests have been held and more than 2,000 applications have been submitted in the freeTON project, which were evaluated by 230 judges and initial members. The current system is not perfect, collusion, biased assessments and many other problems are possible in it. We can talk a lot about fixing the situation with the launch of Gov 2.0, but we need to work now with what is here and now.

Our rich experience in working with data in various companies allowed us to identify one interesting pattern. When we manage to structure data into a clear and accessible picture for everyone, it disciplines each participant. Neither the participants nor the judge will appreciate the extra attention if their work raises a lot of objectivity questions.

The dashboard clearly shows the results of the judges’ votes for some works. Judges and participants have already been de-anonymized for convenience. The idea is to use the average of all scores and the judge’s deviation from that average. If the work doesn’t deviate, it is marked in green, and if the deviation is 1-2 points, then it is marked in yellow, and if the deviation is more than 3 points, the work is highlighted in red.

Thus, if the judge significantly overestimates or underestimates the scores, it will always be visible. It remains for us to look at the behavior of this judge in other competitions. :slight_smile:

I think you will appreciate this tool and will use it.

Link: Microsoft Power BI

Description of the functionality and principle of operation:

  • At the top of the screen, a competition selection is provided. All competitions are grouped by subdivisions for convenience.
  • After you select a competition, this or that competition will be displayed in the header of the website.

  • competitions with only a keyword will remain when you search for a keyword for a particular competition in the filter.

  • The first line contains the Judges (Name of the judge on the forum, wallet)
  • The first column contains all Submissions of the selected competition. The cell contains the work number, the name on the forum and the wallet
  • A window with a judge’s comment on a particular work appears when you hover the cursor over the score in a cell

  • Each cell can have its own color indication:
No color The jury’s assessment is absent or the jury put it Abstain, Redject
Green color The jury’s assessment for a particular work doesn’t differ by more than 0.99 points from the average assessment of all the jury for this work
Yellow color The deviation of the jury’s assessment for a particular work doesn’t differ from the average by more than 1-2.99 points
Red color The deviation of the jury’s assessment for a particular work doesn’t differ from the average by more than 3 points

When choosing a specific work or judge, you can go to https://ton-explorer.com/ using the Autor or Jury buttons and see the person’s transactions

Made by team @Platon and @lvv


РУССКАЯ ВЕРСИЯ:

АНАЛИТИКА ГОЛОСОВ ПО КОНКУРСАМ

На текущий момент в проекте freeTON проведены около 140 конкурсов, подано более 2000 заявок, которые были оценены 230 судей и инишинал мемберов. Текущая система не идеальна, в ней возможны сговоры, необъективные оценки и множество других проблем. Можно много говорить, про исправление ситуации с запуском Gov 2.0 Но нужно сейчас работать с тем, что есть здесь и сейчас.

Наш богатый опыт работы с данными в различных компаниях позволил нам подчеркнуть одну интересную закономерность. Когда удается структурировать данные в наглядную всем доступную картину, это дисциплинирует каждого участника. Ни участники, ни судья не будут рады дополнительному вниманию, если их работа вызывает множество вопросов насчет объективности.

Дашборд наглядно показывает результаты голосований судей за те или иные работы. Судьи и участники уже деанонимизированы для удобства. Идея оценки заключается в использовании среднего балла всех оценок и отклонение судьи от этого среднего значения. В случае если работа не отклоняется - она отмечена зеленым, в случае если отклонение 1-2 балла - то желтым, в случае отклонения более чем на 3 балла - работа подсвечивается красным.

Таким образом, если судья существенно завышает или занижает оценки, это всегда будет видно. Остается посмотреть на поведение этого судьи в других конкурсах. :slight_smile:

Думаю вы оцените этот инструмент и будете им пользоваться.

Ссылка: Microsoft Power BI

Описание функционала и принципа работы:

  • В верхней части экрана предусмотрен выбор конкурса. Для удобства все конкурсы сгруппированы по субуправлениям.
  • После выбора конкурса в шапке отображается тот или иной конкурс

  • При поиске по ключевому слову того или иного конкурса в поиске в фильтре останутся конкурсы только с ключевым словом.

  • В первой строке находится Судьи (Имя судьи на форуме, кошелек)
  • В первой колонке находятся все Submission выбранного конкурса. В ячейке находится номер работы, имя на форуме и кошелек
  • При наведении на оценку в ячейке появляется окно с комментарием судьи к той или иной работе

  • Каждая ячейка может иметь свою цветовую индикацию:
Нет цвета Отсутствует оценка жюри, либо жюри поставил Abstain, Redject
Зеленый цвет Оценка жюри за ту или иную работу не отличается более чем на 0,99 балл от средней оценки всех жюри за данную работу
Желтый цвет Отклонение оценки жюри за ту или иную работу не отличается от средней более чем на 1-2,99 баллов
Красный цвет Отклонение оценки жюри за ту или иную работу не отличается от средней более чем на 3 балла

При выборе определенный работы или судьи, при помощи кнопки Autor или Jury можно перейти на https://ton-explorer.com/ и посмотреть транзакции человека

Сделано командой @Platon и @lvv

21 Likes

Залипашка на ближайший вечер) Good job! :+1:

3 Likes

Данный дашборд мы поддерживаем в актуальном состоянии. Если будут идеи по его доработке, пишите, мы лучшие идеи будет внедрять.

Спасибо Вам за вашу работу. Вы помогаете сделать сообщество лучше. :muscle:

1 Like

нужный дашборд получился. :+1:

1 Like

Реджект не равно 0?
Странно, что в ситуации, когда большинство ставят 9-10 баллов, а единственный судья реджект (о), это не считается отклонением )

с реджектом определились уже, чему я несказанно счастлив. реджект это нет=0 и участвует в расчете среднего балла.

Да, я помню, что приняли reject за 0. Было бы здорово, если бы это в дашборде отражалось.

1 Like

Супер, отличная работа.

2 Likes

И моя :grin:!!! Ребятам огромное спасибо за проделанную работу !!! :clap::clap::clap::clap::clap:

2 Likes

Здесь важно понимать, что, если начать исключать судей лишь по разнице со средней оценкой - мы получим обычную задачу кластеризации, в результате которой останутся судьи лишь с одной точкой зрения. Если мнение судьи отличается от большинства даже практически всегда - это еще не значит, что судья некомпетентен. Возможно, он просто представляет другую группу, пусть даже менее масштабную.
В то же время судья, умышленно занижающий\завышающий оценки - может делать это лишь в единичных случаях и будет менее заметен
В кратце - инструмент хороший, но хотелось бы, чтобы его использовали с умом, а не подгоняли судей в какие-то рамки

5 Likes

Thanks! Great work !

1 Like

Верно подметили. Есть жюри, кто пользуется, например, собственными критериями оценки и результат его голосования может в целом отличаться. Например, большинстао ставит 8-9, а у такого жюри получается 5-6. И тут надо смотреть остальные оценки такого жюри.
В интерфейс можно добавить еще один светофор, где показываться будет анализ работы судьи так же через отклонение от средней. Тогда может получиться довольно наглядная раскаска в массе, если ее смотреть по сабмишнам.
А еще круче проанализировать ряды по горизонтали и вертикали и найти экстреммумы через них. Тогда точнее можно определить злой умысел жюри.

2 Likes

Рекомендую вам ещё добавить информацию об устойчивых группах судей. Когда происходит голосование в сговоре с другими судьями, тенденции от конкурса к конкурсу будут сохраняться. Но эту информацию нужно смотреть с выводом сразу нескольких конкурсов.

2 Likes

Полезная таблица. Жаль пока нет возможность проверить когда голосовал жюри. Это может иметь значение. Хотя можно голосовать в конце голосования и невольно решить исход призового места просто голосуя как считаешь правильным.

2 Likes

@Platon @lvv хороший инструмент. Теперь осталось сделать анализ красных судей такой же как вы делали для конкурсантов в жюри недавно.

1 Like

Цель не устроить разбор работы конкретных судей, а сделать систему лучше. Прозрачность работы во многом способствует этому. Данный инструмент каждому пользователю позволяет проанализировать голосования любого из членов жури. А для жюри, которые голосуют со злым умыслом, это сигнал, что их работа с помощью данных становится как на ладони.

3 Likes

Привет всем!
В соответствии с Вашими комментариями, обновили дашборд.

Теперь логика подсчетов конкурсов по Defi Subgovernance, Analytic & Support Subgovernance считает Reject = 0. В соответствии с данной логикой работает цветовая индикация.

1 Like

Круто было бы сделать сводную таблицу по всем жюри со следующими данными:
Ник/кошелек - активность (кол-во голосов во всех конкурсах делённое на кол-во заявок из всех конкурсов где есть пабкей этого жюри) - % оценок в зеленой зоне - % оценок в желтой зоне - % оценок в красной зоне.

1 Like

Да, это хорошая идея. Включу в дорожную карту, либо реализуем отдельным листом к этому отчету, либо отдельным дашбордом