ENG VER
ANALYTICS OF VOTES BY CONTESTS
For today, about 140 contests have been held and more than 2,000 applications have been submitted in the freeTON project, which were evaluated by 230 judges and initial members. The current system is not perfect, collusion, biased assessments and many other problems are possible in it. We can talk a lot about fixing the situation with the launch of Gov 2.0, but we need to work now with what is here and now.
Our rich experience in working with data in various companies allowed us to identify one interesting pattern. When we manage to structure data into a clear and accessible picture for everyone, it disciplines each participant. Neither the participants nor the judge will appreciate the extra attention if their work raises a lot of objectivity questions.
The dashboard clearly shows the results of the judges’ votes for some works. Judges and participants have already been de-anonymized for convenience. The idea is to use the average of all scores and the judge’s deviation from that average. If the work doesn’t deviate, it is marked in green, and if the deviation is 1-2 points, then it is marked in yellow, and if the deviation is more than 3 points, the work is highlighted in red.
Thus, if the judge significantly overestimates or underestimates the scores, it will always be visible. It remains for us to look at the behavior of this judge in other competitions.
I think you will appreciate this tool and will use it.
Link: Microsoft Power BI
Description of the functionality and principle of operation:
- At the top of the screen, a competition selection is provided. All competitions are grouped by subdivisions for convenience.
- After you select a competition, this or that competition will be displayed in the header of the website.
- competitions with only a keyword will remain when you search for a keyword for a particular competition in the filter.
- The first line contains the Judges (Name of the judge on the forum, wallet)
- The first column contains all Submissions of the selected competition. The cell contains the work number, the name on the forum and the wallet
- A window with a judge’s comment on a particular work appears when you hover the cursor over the score in a cell
- Each cell can have its own color indication:
No color | The jury’s assessment is absent or the jury put it Abstain, Redject |
---|---|
Green color | The jury’s assessment for a particular work doesn’t differ by more than 0.99 points from the average assessment of all the jury for this work |
Yellow color | The deviation of the jury’s assessment for a particular work doesn’t differ from the average by more than 1-2.99 points |
Red color | The deviation of the jury’s assessment for a particular work doesn’t differ from the average by more than 3 points |
When choosing a specific work or judge, you can go to https://ton-explorer.com/ using the Autor or Jury buttons and see the person’s transactions
РУССКАЯ ВЕРСИЯ:
АНАЛИТИКА ГОЛОСОВ ПО КОНКУРСАМ
На текущий момент в проекте freeTON проведены около 140 конкурсов, подано более 2000 заявок, которые были оценены 230 судей и инишинал мемберов. Текущая система не идеальна, в ней возможны сговоры, необъективные оценки и множество других проблем. Можно много говорить, про исправление ситуации с запуском Gov 2.0 Но нужно сейчас работать с тем, что есть здесь и сейчас.
Наш богатый опыт работы с данными в различных компаниях позволил нам подчеркнуть одну интересную закономерность. Когда удается структурировать данные в наглядную всем доступную картину, это дисциплинирует каждого участника. Ни участники, ни судья не будут рады дополнительному вниманию, если их работа вызывает множество вопросов насчет объективности.
Дашборд наглядно показывает результаты голосований судей за те или иные работы. Судьи и участники уже деанонимизированы для удобства. Идея оценки заключается в использовании среднего балла всех оценок и отклонение судьи от этого среднего значения. В случае если работа не отклоняется - она отмечена зеленым, в случае если отклонение 1-2 балла - то желтым, в случае отклонения более чем на 3 балла - работа подсвечивается красным.
Таким образом, если судья существенно завышает или занижает оценки, это всегда будет видно. Остается посмотреть на поведение этого судьи в других конкурсах.
Думаю вы оцените этот инструмент и будете им пользоваться.
Ссылка: Microsoft Power BI
Описание функционала и принципа работы:
- В верхней части экрана предусмотрен выбор конкурса. Для удобства все конкурсы сгруппированы по субуправлениям.
- После выбора конкурса в шапке отображается тот или иной конкурс
- При поиске по ключевому слову того или иного конкурса в поиске в фильтре останутся конкурсы только с ключевым словом.
- В первой строке находится Судьи (Имя судьи на форуме, кошелек)
- В первой колонке находятся все Submission выбранного конкурса. В ячейке находится номер работы, имя на форуме и кошелек
- При наведении на оценку в ячейке появляется окно с комментарием судьи к той или иной работе
- Каждая ячейка может иметь свою цветовую индикацию:
Нет цвета | Отсутствует оценка жюри, либо жюри поставил Abstain, Redject |
---|---|
Зеленый цвет | Оценка жюри за ту или иную работу не отличается более чем на 0,99 балл от средней оценки всех жюри за данную работу |
Желтый цвет | Отклонение оценки жюри за ту или иную работу не отличается от средней более чем на 1-2,99 баллов |
Красный цвет | Отклонение оценки жюри за ту или иную работу не отличается от средней более чем на 3 балла |
При выборе определенный работы или судьи, при помощи кнопки Autor или Jury можно перейти на https://ton-explorer.com/ и посмотреть транзакции человека