Jury's Codex Proposal

[sostrovskyi]

ENG

Hi, everybody!

I would like to discuss the need for a system of fines for juries. The so-called Jury’s Codex.

Jurors cannot be competent in everything, and they often vote even if they are not.

Many of the points in the duties of the jury are not respected (see Contest proposal: Jury Selection 1.1 ), in my example such as:

• The juror should provide constructive feedback in the appropriate field describing the reason for their score.

• As any civic duty dictates, every juror must remain objective to the best of their abilities in relation to voting, i.e., stick to the facts and the facts only, leaving any personal feelings aside.

And I am sure that if jurors do not comply with these points (and any duty prescribed) and if they do not have the competence to vote, we are obliged to fine them or exclude them from the jury. I will provide my example in the comments and ask for support because I am sure that if we do not make codex, everyone who participates in competitions sooner or later will face similar situations.

Having summed up, I would like to submit the following proposals for discussion:

• Forming a code of judges, which includes a complete list of voting rules and penalties for non-compliance with them. (fine, forfeiture of an award, removal from the list of judges).
• Any member of the community must be able to send evidence of a violation of the rules by someone from the jury and put to a vote the adoption of penalties against the judge who violated the code if the judges themselves did not take action. The community will always point out the mistakes.
• Introduce a system for rating the judges. Every case of violation should be a mark in the reputation of the judges.

P.S. At the same time, we would like to see all the criticism of the jury based only on facts and be constructive.

RU

Всем привет!

Хотел бы вынести на обсуждение необходимость системы штрафов/исключения из жюри. Так называемого кодекса.

Жюри не могут быть компетентны во всем, при этом часто голосуют.

Многие пункты из обязанностей жюри не соблюдаются (см. Contest proposal: Jury Selection 1.1 ), на моем примере такие как:

• The juror should provide constructive feedback in the appropriate field describing the reason for their score.

• As any civic duty dictates, every juror must remain objective to the best of his/her abilities in regard to voting, i.e., stick to the facts and the facts only, leaving any personal feelings aside.

И я уверен что при несоблюдении этих пунктов(да и любых прописанных в обязанностях) и отсутствии компетенции, при этом голосуя - мы обязаны штрафовать вплоть до исключения из жюри. Я предоставлю свой пример в комментариях и попрошу поддержать, так как уверен что если мы этого не сделаем, каждый кто участвует в конкурсах рано или поздно столкнется с похожим.

Просуммировав я хочу выставить на обсуждение следующие предложения:

1. Формирования кодекса судей, который включает в себя полный список правил голосования и наказание за их несоблюдение. (штраф, лишение награды, исключение из списка жюри)
2. Любой член сообщества должен иметь возможность отправить доказательства нарушения правил кем либо из жюри и вынести на голосование принятие штрафных санкций против судьи который нарушил кодекс если сами судьи не приняли меры. Сообщество всегда укажет на ошибки.
3. Ввести систему рейтинга судей. Каждый кейс нарушения должен быть клеймом в репутации судей

P.S. При этом очень хотелось что бы вся критика в сторону жюри основывалась лишь на фактах и была конструктивна.

[sostrovskyi]

ENG

First of all, I would like to avoid conflicts here, that’s why I try not to switch to a person. The main message is the future Jury’s Codex :).

In one of the community channels there was a not quite pleasant conversation where a person who is also a judge abused people who had done work for the contest. I think that soft skills are as important for the jury as technical knowledge.

The discussion lasted some more time, we from our side tried to prove that some works are worthy. The jury is the opposite. He didn’t agree with us and decided to take revenge in the form of grades for the work by placing our work (Free TON Community - 3 points), and the other Free TON Community - 7 points), which clearly demonstrates the violation of one of the duties (personal attitude). A big request from those who will read the post to view these 2 submissions and PDF to them, because I am not allowed to evaluate them here myself.

And here is also a violation of another item (incorrect feedback):

The statement “all services on one instance” is incorrect, because the attached PDF has a separate section and of course the implementation of multi node deployment, which proves that a person has not even read the PDF.

From PDF:

RU

Очень хотелось бы избежать здесь конфликтов, потому стараюсь не переходить на личности. Главный посыл - будущий кодекс

В одном из каналов сообщества произошел не совсем приятный разговор, где человек который еще и является судьей оскорбил людей сделавших работы к конкурсу. Я считаю что софт скиллы не менее важны для жюри как и технические знания.

Дискуссия продлилось еще какое-то время, мы со своей стороны пытались доказать что некоторые работы достойные. Человек же обратное. Не сойдясь мнениями он решил нам отомстить в виде оценок за работы, поставив нашей работе (Free TON Community - 3 балла), а другой Free TON Community - 7 баллов), что ярко демонстрирует нарушение одной из обязанностей (о личном отношении). Большая просьба тех кто будет читать пост просмотреть эти 2 сабмишна и PDF к ним, ведь я не вправе оценивать их здесь сам. P.S. Мы считаем нашу работу немного более полной.

А вот еще и нарушение другого пункта (некорректный фидбек):

Утверждение “all services on one instance” неверное, так как в прикрепленном PDF есть отдельный раздел ну и конечно реализация multi-node деплоймента, что доказывает что человек даже не прочел PDF.

From PDF:

[RRomanov]

RU

Всем добрый день. Спасибо за инициативу в создании столь важной темы.

Я являюсь одним из членов жюри. От своего лица и от лица своей команды RSquad, которая регулярно участвует в контестах, полностью поддерживаю данную инициативу. Мы уверены, что каждый член жюри должен быть компетентным и нести ответственность за свои действия в качестве члена жюри.

На текущей момент существует ряд проблем в понимании методики голосования, многие не понимают где и как им стоит голосовать, кто-то не понимает, как происходит подсчет голосов, потому должен быть создан общий свод правил для всех членов жюри.

Ниже я приведу один из примеров, случившихся с нашей командой. Стоимость примера 150k токенов.

Мы с командой подались на контест Atomic Swaps (Free TON Community) и, согласно инструкциям, я предупредил всех коллег, что из-за того, что мы участвуем в конкурсе, я воздерживаюсь от голосования, так же, как это сделали некоторые коллеги, команды которых тоже подали свои заявки.

Как мы все знаем, победители контеста определяются только по среднему баллу. Соответственно, если жюри воздерживается от голосования, это не влияет на общую оценку. Член жюри с адресом -1: 8b0ea5 … ff8249946 воздержался при голосовании за работы 1 и 2, а за работу 3 член жюри поставил 2 балла и написал комментарий: «I am not competent enough in this case, but your work looks better than others».

Как эта оценка повлияла на общий результат? Заявки 1 и 2 имеют одинаковые средние баллы 8,25, искренне поздравляем их, отличные предложения. Заявка 3 имеет средний балл 7,33 с учетом оценки описанной выше. Если бы член жюри воздержался, как и в случае с другими работами, среднее количество очков 3-й работы было бы (8 + 9 + 9 + 8 + 8) / 5 = 8,4 балла.

Соответственно возникают следующие вопросы:

• Оценка была ошибкой, или член жюри хотел поставить то, что поставил?

• Знал ли член жюри, что результат считается по среднему количеству баллов?

• И самое главное, почему коллега, считая себя некомпетентным в этом вопросе, принял решение оценивать третью заявку?

Пока ответов на эти вопросы нет. Мы выступаем с поддержкой разработки кодекса работы жюри, дабы избежать подобных ситуаций (при этом я уверен, что это не единственные случаи), и просим все комьюнити поддержать данную инициативу. Нам критически важно иметь механизм арбитража и определения ответственности жюри.

Мы все стремимся к развитию прогрессивного и честного сообщества без подобных ситуаций. Это может случиться с кем угодно, и хуже всего, то, что это может случиться с новыми разработчиками, которые приходят поделиться своими идеями с нашим сообществом.

Уважаемое комьюнити, призываю не игнорировать этот вопрос!

P.S. В данный момент призы по конкурсу Atomic Swap еще не распределены, еще есть возможность не совершить ошибку. Прошу вас обратить внимание на все описанные ситуации и разобраться в сути проблем.

---

EN

Good afternoon everyone. Thank you for taking the initiative in creating such an important topic.

I am one of the jury members. On my behalf, and on behalf of my RSquad team, which regularly participates in contests, I fully support this initiative. We are convinced that each jury member must be competent and responsible for their actions as a jury member.

At the moment, there are several problems in understanding the voting methodology, many do not understand where and how they should vote, someone does not understand how the counting of votes takes place therefore a general set of rules should be created for all jury members.

Below I will give one of the examples that happened to our team with a cost of 150k tokens.

My team and I submitted the Atomic Swaps contest (Free TON Community) and, according to the instructions, I warned out all my colleagues that I would abstain from voting, as well as some colleagues who also submitted their solutions.

As we all know, the winners of the contest are determined only by the average score. Accordingly, if the jury abstains from voting, this does not affect the overall score. Jury member with the address -1: 8b0ea5 … ff8249946 abstained from voting for submissions 1 and 2, but for submission 3, the jury member gave 2 points and wrote a comment: “I am not competent enough in this case, but your work looks better than others".

How did this mark affect the overall result? Submissions 1 and 2 have the same average score of 8.25, congratulations sincerely, great solutions. Serve 3 has an average score of 7.33 based on the score described above. If the jury member abstained, as in the case of other works, the average score of the 3rd work would be (8 + 9 + 9 + 8 + 8) / 5 = 8.4 points.

Accordingly, the following questions arise

• Was the assessment a mistake, or the jury member wanted to put what he put?

• Did the jury member know that the result is calculated by the average number of points?

• And most importantly, why did the colleague, considering himself incompetent in this matter, decide to evaluate the third application?

There are no answers to these questions yet. We support the development of a code for the work of the jury to avoid such situations (at the same time, I am sure that these are not the only cases) and we ask all the communities to support this initiative. We must have an arbitration and jury liability mechanism.

We all strive to develop a progressive and honest community without situations like this. It can happen to anyone, and worst of all, it can happen to new developers who come to share their ideas with our community.

Dear community, I urge you not to ignore this issue!

P.S. At the moment, the prizes for the Atomic Swap competition have not yet been distributed, there is still an opportunity not to make a mistake. I ask you to pay attention to the described situations and to understand the essence of the problems.

[danoneo]

This is a really disgusting situation.
I fully support the decision to demand an explanation from this jury member and recount the points.
RSquad, we are for you!) You really deserve the first place.

[SergeyD]

RU

Всем привет!

Хочу выразить согласие с некоторыми идеями, описанными в данной ветке. Сообщество растёт быстрыми темпами, и ситуации, описанные участниками конкурсов, будут повторяться раз за разом.

Наша команда не стала исключением. Мы так же участвовали в конкурсе Atomic Swaps (Contest: Atomic Swaps on Free TON [31 August 2020 - 20 September 2020]). Единственная и самая низкая оценка 7, полученная от жюри для нашей работы под номером 1 выглядела так:

Можно предположить, что член жюри снимал по 1 баллу за указанные им недостатки. Но суть в том, что ссылки на транзакции (второй снятый балл) есть и указаны под каждой видео-демонстрацией, о чем было сказано в submission.

Взимание комиссии (первый снятый балл) так же реализовано, о чем я подробно написал в ветке конкурса в этом посте. Читал ли член жюри эту ветку, где и другие участники конкурса давали ответ на данный вопрос – я не знаю.

Можно так же поспорить, является ли использование хорошо работающих частей open source проектов в других open source решениях после review кода и необходимых правок - не правильным, или же наоборот предпочтительным (в нашей практике заказчики предпочитали open source решение, при условии, что оно production-ready).

Но даже если предположить, что после устранения хотя бы 2-х из трёх недоразумений оценка поменялась бы на 9, то средний бал для 1 работы был бы (9+9+8+8+8+8+10+8)/8 = 8,5. А при её исключении (9+8+8+8+8+10+8)/7 = 8,43.

Что в любом случае выше, чем предполагаемый балл 8,4 для работы номер 3 после исключения одной из оценок.

Не могу исключать, что у команды Broxus (работа под номером 2) тоже есть вопросы к оценкам.

Что можно здесь сказать?
В силу наличия субъективной составляющей судейство не идеально. В будущем, в таких конкурсах мы даже увидим борьбу стейков и здравого смысла. Поэтому продумывать и закладывать правильные решения, исключающие возможность манипулирования оценкой, в основе G2.0 однозначно нужно, хотя на первый взгляд конкретные меры не очевидны.

На данный момент, я лично для себя сделал некоторые выводы, которые буду использовать в дальнейших конкурсах для того, чтобы мои работы были более дружественны к жюри. И чтобы возникало как можно меньше недопонимания. Это то, что я могу сделать сам – постараться исключить возможности для конфликтов насколько это возможно.

Данным постом я ни в коем случае не хотел бы обвинять/осуждать кого-то в чём-то, и уж тем более переходить на личности. Несмотря на своё несогласие с оценкой, я уважаю мнение жюри, и считаю, что споры с ним - крайне непродуктивный путь. Подумайте о том, к чему приведёт апелляция каждым участником конкурса на каждую не понравившеюся ему оценку? Сколько их будет и как долго все они будут изучаться? Кто именно и на каких основаниях будет рассматривать такие апелляции? Уровень компетенции арбитража должен быть даже бОльшим, чем основного состава жюри, и достичь этого прямо сейчас невозможно. Потому что даже в основном составе жюри слишком мало тех, кто считает себя достаточно компетентным для оценки некоторых работ. Например, в конкурсе атомарных свопов работы 1 и 2 получили всего по 8 оценок, а работа 3 – только 6.

Поэтому я склоняюсь только к тем мерам, которые просты и однозначно могут привести к повышению уровня доверия всего сообщества к оценке работы. Например:

1. Увеличение количества членов жюри без опускания планки его профессионализма. Нужно проводить повторные конкурсы для набора жюри либо даже периодически переизбирать текущий состав, а также повысить вознаграждение для голосовавших. Новые люди приходят в сообщество постоянно, какие-то - покидают. А состав жюри (1.1) пока не менялся.
   При малом количестве голосов доверительный интервал для оценки будет большой, что может вызвать желание конкурсантов пересчитать результаты. Ведь получается, что всего одна оценка сильно влияет на конечный результат, как это показано в моём и других примерах.
   При большом количестве голосов итоговая оценка будет близка к объективной даже в случае совершения каким-либо членом жюри ошибки.
2. Формирование различных специализированных групп жюри. Один человек не может хорошо разбираться в смарт-контрактах и UI дизайне, чтобы одинаково хорошо оценивать и то и другое. К счастью, формирование таких групп уже происходит в настоящий момент.
3. Возможность (либо даже обязанность) для жюри давать более развёрнутую оценку. Сейчас фидбек довольно короткий, вероятно из-за каких-то ограничений в governance?

Уверен, многие положительные моменты будут реализованы в G2.0, и именно там уже сейчас надо предлагать и обсуждать возможные технические решения.

EN

Hello!

I want to express my agreement with some of the ideas described in this thread. The community is growing fast and the situations described by the contestants will be repeated over and over again.

Our team is no exception. We also participated in the Atomic Swaps Contest (Contest: Atomic Swaps on Free TON [31 August 2020 - 20 September 2020]). The only and lowest score of 7 pts received from the jury for our work at number 1 looked like this:

It can be assumed that the jury member removed 1 point for the shortcomings indicated by him. But the bottom line is that there are links to transactions (the second removed point) and are indicated under each video demonstration, which was mentioned in the submission.

Fee charge is also implemented, which I wrote about in detail in the contest thread in this post. Did the jury member read this thread, where are the other participants gave an answer to this question - I do not know.

You can also argue whether the use of well-working parts of open source projects in other open source solutions after reviewing the code and the necessary edits is not correct, or, on the contrary, preferable (in our practice, customers preferred an open source solution, that it is production-ready).

But even if we assume that after eliminating at least 2 of the three misunderstandings, the score would change to 9, then the average score for 1 job would be (9 + 9 + 8 + 8 + 8 + 8 + 10 + 8) / 8 = 8.5. And if it is excluded (9 + 8 + 8 + 8 + 8 + 10 + 8) / 7 = 8.43.

Which is higher anyway than the estimated 8.4 for job number 3 after dropping one of the grades.

Maybe, the Broxus team also has questions about the estimates?

What can be said here?
Due to the presence of a subjective component, the judging is not ideal. In the future, in such contests, we will even see the struggle between money steaks and common sense. Therefore, it is unambiguously necessary to think over and put in the correct decisions that exclude the possibility of manipulating the assessment, at the heart of G2.0, although at first glance, specific measures are not obvious.

At the moment, I personally made some conclusions for myself, which I will use in future contests in order to make my works more jury-friendly. And so that there is as little misunderstanding as possible. This is something I can do myself - try to eliminate the possibility of conflict as much as possible.

With this post, I in no way would like to accuse someone of something, and even more so to get personal. Despite my disagreement with the assessment, I respect the opinion of the jury, and I think that arguing with him is an extremely unproductive way. Think about what it will lead to an appeal by each participant of the contest for each rating he does not like? How many of them will there be and how long will they all be studied? Who exactly and on what grounds will consider such appeals? The level of competence of the arbitration should be even greater than that of the main jury, and this cannot be achieved right now. Because even in the main jury there are too few of those who consider themselves competent enough to evaluate some works. For example, in the atomic swap contest, works 1 and 2 received only 8 ratings each, and work 3 - only 6.

Therefore, I lean only towards measures that are simple and can unequivocally lead to an increase in the level of confidence of the whole community in the evaluation of the work. For instance:

1. Increasing the number of jury members without lowering the bar of their professionalism. It is necessary to hold repeated contests to recruit the jury or even periodically re-elect the current composition. New people come to the community all the time, some leave. And the composition of the jury (1.1) has not changed yet.
   With a small number of votes, the confidence interval for the assessment will be large, which may cause the contestants to wish to recount the results. After all, it turns out that just one assessment strongly affects the final result, as shown in my and other examples.
   With a large number of votes, the final score will be close to objective, even if any jury member makes a mistake.
2. Formation of various specialized jury groups. One person cannot be well versed in smart contracts and UI design in order to evaluate both equally well. Fortunately, the formation of such groups is already underway.
3. Opportunity (or even obligation) for the jury to give a more detailed assessment. Now the feedback is rather short, probably due to some kind of governance restrictions?

I am sure that many positive aspects will be implemented in G2.0, and it is there that we need to propose and discuss possible technical solutions right now.

[dnugget]

Hi, guys! Interesting and vital topic to discuss. This is not a first time some strange votes happen, and not the last one. And it is normal thing that all votes are subjective by its essence.
But we do have situation when the vote seems to be made by technical mistake of juror - so this is not a jurors will (!). I mean voting 2 with comment “I am not competent enough in this case, but your work looks better than others” .
What I propose is to get an answer from that juror about how did this happen (someone who knows the Juror can paste here his answer) - is it a technical mistake and he would like to correct the vote? Or is it his will to give that 2 points (Juror have that right too).

In 1-st case we (as a self-regulated community) should correct the final calculations of contest results.
In 2-nd case leave it as is. That’s all and keep it simple!

Regarding the Jury’s Codex I see obvious risks and contradiction between the independance of judges and the way to control them via some Codex, contr-opinion escalation, fines etc. etc.

In this regard I think the golden mean is to have the mechanics (maybe on forum) to escalate (mostly technical I hope) mistakes of jurors to community and initiate voting of community - to get rid of that mistaken vote (and recalculate results) or leave it as is.
There are no other way to correct things, but only to create some consensus about each issue. Thats the point.

As of Jurors making more such mistakes (which are voted as mistakes by community! so we have a consensus on whether it is a mistake or not) than other jurors - I hope some day such stats will be made and published, and it will be a great point to vote against that juror on next Jury elections.

P.S. I believe we can elaborate the mistaken vote for submission #3 and have a good experience of such a case. All Free TON community will highly benefit from dealing with this case!

[zxcat]

Сергей, работы смотрел я. Можете посмотреть требования, hard criteria, soft criteria конкурса, все работы ещё есть куда улучшать. Оценки были от 5 до 8, но не переживайте, в среднем все работы получили меньше 10, и если бы я вам поставил 9, а другим работам 10 и 7, ничего бы не изменилось.
Вообще, изначально ваша работа понравилась больше остальных, но если идти по пунктам условий конкурса, то работа Broxus вынудила меня отдать им на один балл больше, даже несмотря на cli only.

---

На счёт ваших претензий:

@SergeyD

ссылки на транзакции (второй снятый балл) есть и указаны под каждой видео-демонстрацией, о чем было сказано в submission.

Да, сейчас нашёл эти ссылки. Простите, что не увидел сразу. Но заметьте, в pdf их нету, на форуме их нету, надо идти на сторонний сайт, причём даже жирным шрифтом не выделено, что транзакции там. Чем дальше запрячете, тем больше шансов, что не найдут.
Опять же, в условиях конкурса у нас:

Link to a video demonstration (screencast) of the solution with a real exchange (TON↔BTC, TON↔ETH, TON↔ERC20 token [e.g., USDT/USDC]), links to transactions displayed in video in blockchain explorers (e.g., TON.live, Etherscan, Blockchair, etc.)

Вы показываете только один вариант (в работе Broxus показаны все три).

---

@SergeyD

Взимание комиссии (первый снятый балл) так же реализовано, о чем я подробно написал в ветке конкурса в этом посте. Читал ли член жюри эту ветку, где и другие участники конкурса давали ответ на данный вопрос – я не знаю.

Я всё это читал и специально в вашем контракте искал fee. Не нашёл. Сейчас вот ещё раз просмотрел, раз утверждаете, что оно там есть, и похоже в качестве fee вы предлагаете использовать EXTRA_VALUE.
Очевидно, что из названия совсем не очевидно, что это fee : ) Комментов тоже нет. Ну кто вам виноват, что код так написан, что надо додумывать? Это раз.
Во вторых, в hard criteria указано:

Possibility to set a fee and target wallet for the fee collection of the organizer of the trade (broker)

Адрес кошелька задать нельзя. Так что ваша претензия не принимается.

---

В заключении: чтобы не приходилось потом писать жалобы на невнимательность жюри, просто выносите выполненные требования прямо пунктами в pdf (или на форум), чтоб это было видно, а не приходилось искать. Человеческий фактор никто не отменял, чем дальше оно спрятано, тем проще упустить.

На счёт всех этих «если бы да кабы мы бы заняли первое место» — раз мнение одного члена жюри может всё решить, это всего лишь значит, что работы примерно равны. И в дело вступает random.
Как по мне, то, что две работы разделили первое место — это как раз очень удачное совпадение. И для сохранения такого результата я бы свои оценки не менял, даже несмотря на нашедшиеся ссылки на транзакции.
Хотите гарантированное первое место — делайте работу с соблюдением всех условий и на порядок сильнее конкурентов. И никакой член жюри вам не помешает.

Соглашусь, что активность жюри недостаточная, оценок мало.

[cryonyx]

Всем привет,

Меня зовут Владислав, и вы знаете меня и как активного участника основного Governance, и как члена основного жюри. В данном конкретном случае добавилась ещё и роль как представителя участника конкурса.

Вопрос, который был затронут в этой ветке, не нов. Я сам неоднократно поднимал его на обсуждении с членами жюри и в диалоге с другими участниками Governance. Однако он не так прост, и решить его наскоком вряд ли получится.

Ниже я попробую показать вам разные точки зрения, но, если кратко, то суть можно выразить так.

TL;DR

• Наше сообщество ещё крайне молодо, и сейчас проходит все свои ошибки юности. Это нормально.
• Достичь качественной структуры можно только через постоянный и планомерный диалог, решая проблему за проблемой.
• Санкции должны оставаться САМОЙ крайней мерой, в противном случае мы просто подорвём доверие и мотивацию и разрушим проект.
• Оценки не должны пересматриваться, кроме очевидных технических сбоев – это порочная практика.

Участник Governance

Я начну с точки зрения участника Governance.

Основная цель нашего правления – сделать так, чтобы сеть развивалась. Чтобы появлялись интересные проекты, в сообщество приходили мотивированные и талантливые люди, чтобы сюда пришёл большой капитал и дал сети необходимый ресурс.

Поэтому, как правление, мы заинтересованы в большом количестве конкурсов, приносящих пользу сети, и назначаем щедрые награды даже за небольшие успехи. Однако, после того как конкурс был сформирован и одобрен, мы более не властны влиять на его результаты. Мы можем только взять решение жюри, каким бы оно ни было, и выплатить награды победителям, как обещали.

Dura lex, sed lex.

Член жюри

Как активный член жюри, я неоднократно обращал внимание на необходимость хотя бы минимального регламентирования действий судейского корпуса.

Не принуждение – ни в коем случае – но добровольное следование кодексу чести и максимально объективная оценка работ участников конкурсов. Я рассказывал о моей методике и принципах на еженедельном звонке, и не буду повторяться.

Текущая организация жюри не оптимальна, это правда. Но она позволила решить лишь первую из задач: обеспечить должную представленность сообщества наравне с валидаторами. Это MVP жюри (не пытаюсь никого обидеть).

Следующий шаг – это планомерное и более качественное структурирование судей по их специализации. Поэтому и появляются отдельные subgovernance, специализирующиеся на конкретной тематике и повышающие качество результата (как конкурсов, так и продуктов, и качество судейства).

Мне не кажется хорошей идея наказания текущих судей. Возможно, они не должны были судить в тех темах, где они не являются специалистами. Тогда, наверное, их следует переместить в профильные жюри, где они смогут проявиться как должно.

Отдельного обсуждения заслуживает тема нагрузки и вознаграждения судей – текущая система конкурсов не сбалансирована. Судье, чтобы заработать свои условные 100 TON, на одном конкурсе понадобится отсмотреть 10 заявок, а на другом – 100.

Судьи тоже люди, со своим личным временем, работой, целями и приоритетами в жизни. У нас нет задачи судейства ради судейства, и поэтому нужно работать над повышением качества голосования через правильное обучение и мотивацию судей, а также более справедливое распределение вознаграждения.

Как? У меня пока нет готового рецепта, но он точно появится, если мы не будем бояться об этом говорить.

Наконец, насчёт пересмотра оценок и продления сроков. Я согласен с Роном – это порочная практика, и она должна быть прекращена. Решение жюри – истина в последней инстанции, какой бы нелицеприятной она ни была. Это как лечить отрубленную руку пластырем.

Мы должны строить процессы судейства таким образом, чтобы не допускать предвзятых и ошибочных оценок, а не бороться с симптомами. Это будет взрослое и ответственное решение нас как сообщества.

Участник конкурса

У нас как у Broxus, участника конкурса Atomic Swaps, тоже есть много вопросов к оценкам, и мы, конечно, могли бы сейчас начать их предъявлять.

Тем не менее, мы решили пойти немного другим путём: провести внимательный анализ и понять, почему те или иные судьи приняли решение о той или иной оценке. И сделали для себя несколько важных выводов, которые обязательно учтём в следующих технических конкурсах, в которых мы будем участвовать: насчёт важности правильной подачи информации; лучшей визуализации результата; общения с жюри, в конце концов – не с целью убедить, но облегчить их работу и показать, где что лежит.

Мы делаем технологически сложные решения (и это не для красного словца), а у членов жюри есть крайне ограниченное время, чтобы в них разобраться и принять объективное решение.

Поэтому, несмотря на несогласие с некоторыми оценками, мы примем их такими, какие они есть, и не будем инициировать пересмотр.

А членов жюри просим оценивать технические конкурсы не в последний момент, а всё же уделять им больше времени.

[SergeyD]

@zxcat, Спасибо что откликнулись и прояснили свою позицию.

Прощу прощения, если мой пост показался вам претензией к вашей оценке. Это не так. Я написал, что никого не в чём не обвиняю, и ничего оспаривать не собираюсь.

Основным посылом моего поста и разбора вашей оценки как примера было:

@SergeyD

Подумайте о том, к чему приведёт апелляция каждым участником конкурса на каждую не понравившеюся ему оценку?

И вы своим постом это лишний раз продемонстрировали. Теперь представьте, что я вам начну отвечать по каждому пункту… Разумеется, делать этого я не буду, потому что по-прежнему придерживаюсь озвученной позиции:

@SergeyD

я уважаю мнение жюри, и считаю, что споры с ним - крайне непродуктивный путь.

Тем не менее из вашего ответа я услышал кое-что важное, то, что хотел отметить ранее, но считал лишь подозрениями, – оценки жюри не являются независимыми событиями, хотя объективность процесса голосования предполагает это.

А отсюда следует, что нельзя постфактум исключить или изменить какую-то оценку, обосновывая это тем, что воля члена жюри была на самом деле другая, и полагать, что простой пересчёт среднего балла будет достаточным и правильным. Мы не знаем, как в реальности изменились бы последующие оценки жюри, если бы оценки «до» были другими. Очевидно, что случайная и очень непростая составляющая в процессе голосования есть. Предложенные мною меры как раз и нацелены на её устранение.

[zxcat]

@SergeyD

Тем не менее из вашего ответа я услышал кое-что важное, то, что хотел отметить ранее, но считал лишь подозрениями, – оценки жюри не являются независимыми событиями , хотя объективность процесса голосования предполагает это.

Вы про зависимость оценок одного члена жюри относительно других работ конкурса?

Не соглашусь. Например, я вижу хорошую работу и намерен поставить 10. Но после неё встречаются значительно более сильные работы. Раз они лучше, они должны занять более высокое место. Поэтому первой работе оценку снижаю. Иначе все получат 10, и объективность судьи под вопросом : )

Или вы про что-то другое?

@SergeyD

Сейчас фидбек довольно короткий, вероятно из-за каких-то ограничений в governance?

Да, здесь действительно есть ограничения: длинный feedback просто обрезается.