Free TON Jury Guidelines V 1.0

English


Painting “The Oath of Horatio”

«Per Apollinem medicum et Aesculapium, Hygiamque et Panaceam juro, deos deasque omnes testes citans, mepte viribus et judicio meo hos jusjurandum et hanc stipulationem plene praestaturum. Illum nempe parentum meorum loco habiturum spondeo, qui me artem istam docuit, eique alimenta impertirurum, et quibuscunque opus habuerit, suppeditaturum.

Victus etiam rationem pro virili et ingenio meo aegris salutarem praescripturum a pemiciosa vero et improba eosdem prohibiturum. Nullius praeterea precibus adductus, mortiferum medicamentum cuique propinabo, neque huius rei consilium dabo. Caste et sancte colam et artem meam. Quaecumque vero in vita hominum sive medicinam factitans, sive non, vel videro, vel audivero, quae in vulgus efferre non decet, ea reticebo non secus atque arcana fidei meae commissa.

Quod si igitur hocce jusjurandum fideliter servem, neque violem, contingat et prospero successu tarn in vita, quam in arte mea fruar et gloriam immortalem gentium consequar. Sine autem id transgrediar et pejerem contraria hisce mihi eveniam.»

— Hippocratic Iusiurandum*.

*Hippocratic Oath is a physician’s oath expressing the fundamental moral and ethical principles of physician conduct. It is not a law.

Agenda

:exclamation:This document is not a law, but an instruction (guide) that the jury is advised to follow.

  1. Introduction
  2. Norms for jurors
  3. Scoring Criteria
  4. How to vote
  5. Jury exclusion mechanics
  6. Recommendations for recruiting new jurors
  7. Recommendations for jury analysis
  8. Appendix and comments

1. Introduction

Free TON contests are juried by groups of professionals who vote on papers, contests, hackathons, etc.

The jury is a public duty and responsible position introduced in the Free TON community, before Governance 2.0 (when everyone can vote).

This document gathers the basic guidelines for juries, the mechanics of adding new jurors, and disqualifying jurors.

2. Norms that juries are recommended to follow in Free TON:

  • Being open-minded.
  • Jurors strive to meet their professional standards in their work.
  • Strive to avoid conflicts of interest in all circumstances.
  • Leave correct and polite comments on the work.
  • In the case of any attempt to pressure a judge, it is recommended that it be made public immediately.
  • Treat everyone with equal attention and respect.
  • Strives for a neutral position that does not discriminate against people on any grounds.
  • Do not vote in contests in which the jury is involved. Use an “Abstain” option.
  • Report all violations noticed during the contest to colleagues/community members on the forum.

3. Judge’s evaluation criteria for submissions

  • Provide constructive feedback for each paper in English only.
  • The jury needs to familiarize itself with the conditions of the competition, the evaluation criteria, the requirements for it as a whole (both for the participant and for the jury).
  • The jury needs to read each work (which are uploaded on the website gov.freeton.org
  • Evaluate contests on points according to the prescribed conditions, namely: from 1 to 10, or if other conditions are prescribed (see jury elections recommendations)
  • If the link to the work does not open, you need to look at the work of the participant on the forum.
  • “Reject" is put if the work is not in the PDF application or on the forum, or the application does not meet the conditions of the contest/plagiarism, as well as involves downloading a file from third-party resources.
  • In case a participant’s work has doubts about the evaluation of a particular work, it is recommended to use “Abstain”.
  • Before voting, jurors are encouraged to review all submissions for plagiarism and duplicate entries. The jury may also choose a “jury chairman” who will examine papers for plagiarism and duplicate submissions.
  • In a commentary on the work, disclose as much as possible why the appropriate grade was given.
  • In the comment field of the participant’s work, do not indicate the answers: “ok”, “simple”, “good” and other single words.
  • Contact the participant via Surf/Telegram/Forum if the participant left his/her contacts, in case the participant’s work has questions from the jury and the participant did not leave contacts, the jury assigns a grade at its discretion.
  • Your evaluation is encouraged to be independent of the other jurors’ evaluations. You should form your own opinion about the quality of each work.
  • If new jurors have questions, they can address the question to more experienced members of the community who have experience in judging.

4. How to vote in a public jury position

Each juror, before starting to judge, should familiarize himself with these instructions and the criteria for evaluating the work.

5. Jury exclusion mechanics

The following factors, which may be taken into account in the jury’s exclusion:

  • Corruption
    • An agreement with one of the bidders to over-evaluate his work
    • Voting for the judge’s immediate family/friends.
    • Jury bribery
  • Multiple Jury Accounts that are involved in contest
  • Ignoring voting for an extended period (1 month or more)
  • Collusion with other jurors

These cases must be decided privately by the community, with respect to each jury.

All proposals for exclusion from the jury must be provided PUBLICLY on the forum.

5.1 Recommended mechanics for influencing unscrupulous jurors:

  1. Do not take into account the jury’s votes (for this you must prepare a Proposal on the forum)
  2. Exclusion from the jury (smart contract must be renewed)
  3. Jury member’s smart contracts / deposit lock period (or awards) until the end of the judging period (jurors are responsible for their work)

5.2 An example of exclusion from the jury:

Example: Ivan is a judge and voted for the contestant Maria and Fedor. Maria is his wife and Fedor is his brother. In this case, Ivan should have put “Abstain”, because there is a clear conflict of interest.

In this case, it is recommended to write Proposal and not to take into account Ivan’s (jury) votes in the evaluated works of contest participants.

To do this, other members need to prepare a Proposal in the forum and vote for this via on-chain voting, in which they must clearly explain the reasons for the exclusion of the jury.

6. Recommendations for Jury Analysis

  1. For the analysis of the jury’s evaluation, it is recommended to interact with Analytics & Support Sub-Governance, whose members and experts can evaluate the jury’s work for its possible interest, collusion, etc.
  2. Hold contests to evaluate the effectiveness of judges, with clearly stated criteria and inviting outside experts. An example of involving external experts.
  3. Motivate people to conduct an analysis of the work of the jury, citing the facts of violations of the judging of the contest.

7. Recommendations for Jury Recruitment (Before the Governance 2.0)

  1. An excellent example is recommended for jury recruitment.

  2. Jurors need to be familiar with how to vote through the gov.freeton.org interface. (See point 4 of this guide)

  3. It is recommended that the jury be recruited from experienced members of the community, and that a resume (confirming qualifications for judging) be listed.

8. Additional comments

  • The community must regulate and regularly evaluate the activity of juries, since their position implies “public scrutiny”.
  • All workflow activities should be as transparent as possible (public chats only, no closed groups)
  • Creation of report sheets on jury scores that can be verified even by any member of Free TON Community.
  • In the case of collusion proceedings, a general vote recommends that payments should be stopped, pending clarification of the circumstances.
  • Participants are encouraged to leave feedback for the jury in the appropriate forum thread.
  • Motivating people to perform useful activities through the DeSupport contest.
10 Likes

Russian

Картина “Клятва Горациев”

«Per Apollinem medicum et Aesculapium, Hygiamque et Panaceam juro, deos deasque omnes testes citans, mepte viribus et judicio meo hos jusjurandum et hanc stipulationem plene praestaturum. Illum nempe parentum meorum loco habiturum spondeo, qui me artem istam docuit, eique alimenta impertirurum, et quibuscunque opus habuerit, suppeditaturum.

Victus etiam rationem pro virili et ingenio meo aegris salutarem praescripturum a pemiciosa vero et improba eosdem prohibiturum. Nullius praeterea precibus adductus, mortiferum medicamentum cuique propinabo, neque huius rei consilium dabo. Caste et sancte colam et artem meam. Quaecumque vero in vita hominum sive medicinam factitans, sive non, vel videro, vel audivero, quae in vulgus efferre non decet, ea reticebo non secus atque arcana fidei meae commissa.

Quod si igitur hocce jusjurandum fideliter servem, neque violem, contingat et prospero successu tarn in vita, quam in arte mea fruar et gloriam immortalem gentium consequar. Sine autem id transgrediar et pejerem contraria hisce mihi eveniam.»

— Hippocratic Iusiurandum*.

*Клятва Гиппократа - это врачебная клятва, выражающая основополагающие морально-этические принципы поведения врача. Не является законом.

Содержание

:exclamation: Данный документ является не законом, но инструкцией (гайдом), которой рекомендуется придерживаться жюри.

  1. Введение
  2. Нормы
  3. Критерии оценки жюри
  4. Как голосовать
  5. Механики исключения жюри
  6. Рекомендации по набору новых жюри
  7. Рекомендации по анализу работы жюри
  8. Дополнения и комментарии

1. Введение

Жюри конкурсов Free TON — это группы специалистов, голосующих за работы, конкурсы, хакатоны и т. д.

Жюри - это публичная и ответственная должность, введенная в сообществе Free TON, до наступления Governance 2.0 (когда голосовать смогут все).

В этом документе собраны основные рекомендации по работе жюри, механики добавления новых и дисквалификации жюри.

2. Нормы, которым рекомендуются следовать жюри во Free TON:

  • Быть непредвзятым.
  • В своей работе члены жюри стремятся соответствовать своим профессиональным стандартам.
  • Стремиться избегать конфликта интересов в любых обстоятельствах.
  • Оставлять корректные комментарии к работам, отвечающие нормам вежливости.
  • В случае любой попытки давления на судью рекомендуется немедленно предать его огласке.
  • Относиться ко всем с равным вниманием и уважением.
  • Стремится к нейтральным формулировкам, не допускающим дискриминации людей по любому признаку.
  • Не голосовать в конкурсах, в которых жюри принимает участие. Использовать оценку “Abstain”
  • Сообщать обо всех нарушениях, замеченных в ходе проведения конкурса коллегам/членам сообщества на форуме.

3. Критерии оценки работ судьей

  • Предоставлять конструктивную обратную связь для каждой работы только на английском языке.
  • Жюри необходимо ознакомиться с условиями конкурса, критериями оценки, требованиям к нему в целом (как к участнику, так и к жюри).
  • Жюри необходимо ознакомиться с каждой работой (которые загружены на сайте gov.freeton.org
  • Оценивать конкурсы по баллам согласно прописанным условиям, а именно: от 1 до 10, либо если прописаны иные условия (см.выбор жюри)
  • Если ссылка на работу не открывается, необходимо смотреть работу участника на форуме.
  • “Reject” ставиться в случае, если работа отсутствует в PDF заявке или на форуме, либо заявка не соответствует условиям условиям конкурса/плагиат а также подразумевает скачивание файла на сторонних ресурсах.
  • В случае, если работа участника имеет сомнения в оценке той или иной работы, рекомендуются использовать “Abstain”.
  • Перед тем как голосовать, жюри рекомендуются ознакомиться со всеми работами на предмет плагиата и дублированных заявок. Также жюри могут выбрать “председателя жюри”, которые проведет исследование работ на плагиат и дублированных заявок.
  • В комментарии к работе максимально раскрыть, почему была поставлена соответствующая оценка.
  • В поле комментарии к работе участника не указывать ответы: “ок”, “simple”, “good” и другие одиночные слова.
  • Связаться с участником через Surf/Telegram/Форум, если участник оставил свои контакты, в случае, если работа участника имеет вопросы у жюри, а контактов участник не оставил, жюри выставляет оценку на свое усмотрение.
  • Вашей оценке рекомендуются быть независимой от оценок других членов жюри. Вы должны сформировать собственное мнение о качестве каждой работы.
  • В случае возникновения вопросов у новых жюри, необходимо адресовать вопрос более опытным членам сообщества, имеющих опыт в судействе.
  1. Как голосовать на публичной должности жюри

Каждый жюри, перед вступлением в должность должен ознакомиться с данной инструкцией и критериями оценки работ.

5. Механики исключения жюри

Поводом для исключения жюри могут стать следующие факторы, которые могут быть приняты в ходе on-chain голосования:

  • Коррупция
    • Договоренность с одним из участников конкурса об завышенной оценке его работы
    • Подкуп жюри с целью получения выгоды
    • Голосование за близкие родственников судьи/его друзей.
  • Мультиаккаунты жюри (Аккаунты жюри участвующие в конкурсах)
  • Сговор с другими членами жюри
  • Игнорирование голосования в течении продолжительного периода (1 месяц и более)

Данные случаи, должны решаться в частном порядке сообществом, в отношении каждого жюри.

Все основания для исключения из жюри должны быть предоставлены ПУБЛИЧНО на форуме.

5.1 Рекомендованные механики воздействия на недобросовестных жюри:

  1. Не учитывать голоса жюри (для этого необходимо написать Proposal)
  2. Исключение из жюри (необходимо обновить смарт-контракт)
  3. Залоговые смарт-контракты / депозит средств (будущей награды) до окончания периода судейства (жюри несут ответственность)

5.2 Пример исключения из жюри:

Для этого необходимо написать Proposal на форуме, в котором необходимо четко изъяснить причины исключения жюри.

Пример: Иван является судьей и проголосовал за участницу Марию и Федора. Мария оказалась его женой, а Федор братом. В данном случае Иван должен был поставить “Abstain”, т.к на лицо явный конфликт интересов.

В данном случае рекомендуются написать Proposal и не учитывать голоса Ивана (жюри) в оцененных работах конкурсантов.

6. Рекомендации по анализу работы жюри

  1. Для анализа оценки работы жюри, рекомендуются взаимодействовать с Analytics & Support сабгаверенс, участники и эксперты которого, могу произвести оценку работу жюри на его возможную заинтересованность, сговор и т.д.
  2. Проводить конкурсы на оценку эффективности судей, с четко указанными критериями и приглашением внешних экспертов. Пример привлечения внешних экспертов.
  3. Анализ работы жюри может проводить любой член сообщества, с приведением фактов нарушений судейства конкурса.

7. Рекомендации по набору жюри (До Governance 2.0)

  1. Для набора жюри рекомендуется использовать аналогичный пример.
  2. Жюри должны быть ознакомлены с тем, как голосовать через интерфейс gov.freeton.org.
  3. Рекомендуется набирать жюри из опытных членов сообщества, а также указывать резюме (подтверждая квалификацию для участия в судействе).

8. Дополнительные комментарии

  • Сообщество должно регулировать и регулярно оценивать деятельность жюри, т.к их должность подразумевает “общественный контроль”.
  • Вся деятельность рабочих групп должна быть максимально прозрачной (только публичные чаты, нет закрытых групп)
  • Создание отчетных таблиц по оценки работ судей
  • В случае разбирательств в отношении сговора, общим голосованием рекомендуется остановить выплаты, до выяснения обстоятельств.
  • Участникам рекомендуется оставлять обратную связь для жюри в соответствующей теме на форуме.
  • Проведение конкурсов DeSuppot на поддержку инициатив по анализу работы жюри
15 Likes

Comments and suggestions are welcome! Remember it is a guide, not a law!

2 Likes

Suppose this sentence accidentally ends up here …

1 Like

Главным критерием эффективности жюри, на мой взгляд, является беспристрасное и объективное судейство. Пункт 5.2 подчёркивает это. Отличные рекомендации.

2 Likes

I would suggest changing Time period of not voting (one month+) simply to number of contests that juror didn’t vote for(2+ or 3+). As sometimes 1 contest+voting may last longer than 1 month and I think that not participating in voting for only 1 contest should be forgivable(if justified)

If the contest agenda is really intensive currently and the juror is on his well-deserved vacation, let say 2 - 3 weeks (we are all human and we need rest), why we should kick him? May be we need some mechanics that allow judges to activate holidays / illness / short-term sabbatical etc… Limited to a number of days in a year.

It’s just recommendation. Of course each jury member can notify about some cases that happen and can back to jury list, why not?)

2 Likes

I personally would prefer an on-chain “absence day” counter, so nobody can argue with that afterwards and be forced to prove that such absence notification was done with screens of potentially fake-able channel discussions…

1 Like

Вот в етом вся не состоятельность Жюри в конкурсах. Конкурс ето голосование как можно большего количества участников и победители определяются наибольшим числом положительных голосов.
А вот для определенной ЗАДАЧИ для выполнения которой требуется та или иная компетентность ограниченое кол участников и высшее качество, вознаграждение получают все участники в количестве зависимости от оценки жюри и места. Компетентное Жюри для задаю подходит очень хорошо, и очень логично исключая кучу ненужных правил и условий так как исключает их за счет своей архитектуры.

По моему система жюри является стеной в процессе свободного роста проекта и превращение идей и мыслей участников в цепочки задач и создания из них сеть взаимодействий сообществ по совместной реализации задач в продукт.
Ребят нада пересмотреть подход к конкурсам задачам и проектам, наделить сообщества собствеными кошельками (бюджетами) и передать право их использования по прозрачним понятным принципам с правом сомостоятельно устанавливать долю распределения по субьектам алгоритма.