I like this idea very much. Depending on the contest of course, some fields might have to change somewhat, but if this works for the SMM SG, I think it can work for other contests in other groups as well. Me likey.
Good approach, but I am affraid that we will get the same scores from all the Jurors in that case (5,5,5,5,5,4,5,6,5,5,5,5).
We should leave more choice for the Jurors, scores should be like that (5,4,3,5,7,2,6,4,5,8,6,5)
I prepared my own vision
Then it should be rounded according to a Juror vision
Changing fields is required for different contests. Even more - it is necessary to create criteria for each competition
Goodnight! As agreed, I post a link to my grades table, where there are clear and detailed comments on my grades.
2 Likes
This is my feedbacks and points. Publishing them according to agreements.
2 Likes
I invite the community to discuss this Contests for "friends", how to take first place. Free TON Blog Contest
Thanks jurors for voting.
Especially @1001 and @isheldon for full explanation their marks.
This transparency judging is a very good practice and the example for other judges.
1 Like
Я уже не смотрю кто как голосует, Но никогда от Романа такого подвоха, вроде бы и саб его…
Все сабы принадлежат комьюнити.
I also want to draw the community’s attention to this fact: “Jurors will vote for your submission. Jurors whose team(s) intend to participate in this contest by providing submissions of their own lose their right to vote in this contest.”
Dear all, please, joint the discussion here - Free TON Blog Contest results evaluation Proposal
2 Likes
Good evening! First, I want to thank all the participants in the competition for their work.
I and other judges of this competition initially, even before the launch of the competition, discussed and approved the metrics by which we will evaluate the works of the contestants, I undertook to record all the decisions and based on them I created the document that you could see above, which was used for the judging. This is not only our vision, metrics were discussed in our open SMM chat.
I will repeat once again: this is not an ideal document, but it became the first open refereeing protocol in such a rather complex competition. The blog was evaluated in three main areas: Design, Content and Technology. Each section, in turn, is divided into three parts. A total of 9 components + 1 personal assessment turned out, just 1 point for each of 10 possible.
The goal of the protocol we created is to improve the quality of refereeing, because we have added many objective factors for judging, for example, download speed or the presence of authorization via telegram.
Now about the refereeing itself, how I conducted it.
During the first 8 days, I devoted little time to this, mostly getting to know the contestants superficially. He assessed the general level of work without putting any marks in the protocol. I chose the whole day of Friday (the last day of refereeing) for painstaking work on our protocol. Honestly, I barely had enough time for everything, from 9 am to 3 am, with breaks, I spent a total of about 12 hours of net time on this. And when my protocol was ready, there were literally 15 minutes before the end of the voting, so I barely had time to carefully transfer my assessments to the blockchain.
Working with a protocol is difficult. You need to be very careful, you need not to miss the fact that as a result can remove points for the work, but it turns out that was in the competitive work. You need to study the competition application and post on the forum and go directly to the blog. It is necessary to fill in 180 evaluations (18 works * 10 parameters in each) + I promised to comment on each evaluation if I put the score below “1” in it.
I believe that this is how refereeing should look like, it is a very difficult task and in addition to that it should be transparent. After all, the contestants spent tens and hundreds of their personal time creating these works. Many worked in teams. It is unacceptable to approach refereeing “on the dump”.
I believe that I did my job well, I am not ashamed to show the result of my work openly, which I do again:
The agreed protocol of work with comments as a judge can and should evaluate certain parameters of work. Includes a Judge Evaluation Form.
My completed evaluation form, with detailed comments for each of the works + for each evaluated item of this work, if the rating was below “1”
Rus:
Добрый вечер! Прежде, я хочу поблагодарить всех участников конкурса за их работы.
Я и другие судьи этого конкурса изначально, ещё до запуска конкурса, обсуждали и утверждали метрики, по которым мы будем оценивать работы конкурсантов, я взялся фиксировать все решения и на их основе создал тот документ, что вы могли видеть выше, по которому проходило судейство. Это не только наше видение, метрики обсуждались в нашем открытом чате SMM.
Я ещё раз повторю: это не идеальный документ, однако он стал первым открытым протоколом судейства в таком достаточно сложном конкурсе. Оценка блога производилась по трём основным разделам: Дизайн, Контент и Технологии. Каждый раздел, в свою очередь разбит на три составляющие. Всего получилось 9 составляющих + 1 личная оценка, как раз по 1 баллу на каждый из 10 возможных.
Цель созданного нами протокола в том, чтобы повысить качество судейства, т.к. мы добавили много объективных факторов судейства, например скорость загрузки или наличие авторизации через телеграм.
Теперь о самом судействе, как его проводил я.
В течение первых 8 дней я мало уделял этому времени, в основном поверхностно знакомясь с работами конкурсантов. Оценивал общий уровень работ, не проставляя никаких оценок в протокол. Я выбрал целый день пятницы (последний день судейства) для кропотливой работы по нашему протоколу. Честно скажу, мне еле-еле хватило времени на всё, с 9-ти утра и до 3-х ночи, с перерывами, я потратил суммарно примерно 12 часов чистого времени на это. И когда мой протокол был готов, оставалось буквально 15 минут до окончания голосования, так, что я еле-еле успел внимательно перенести свои оценки в блокчейн.
Работать по протоколу - сложно. Нужно быть очень внимательным, нужно не пропустить того, что в результате может снять баллы работе, а окажется, что было в конкурсной работе. Нужно изучить конкурсную заявку и запись на форуме и перейти непосредственно к блогу. Нужно заполнить 180 оценок (18 работ * 10 параметров в каждой) + я обещал комментировать каждую оценку, если балл в ней я выставлял ниже “1”.
Я считаю, что именно так должно выглядеть судейство, это очень сложная задача и в дополнение к этому она должна быть прозрачна. Ведь конкурсанты затратили десятки и сотни своего личного времени на создание этих работ. Многие работали командами. Подходить к судейству “на отвали” - недопустимо.
Я верю, что я выполнил свою работу хорошо, мне не стыдно показать результат своей работы открыто, что ещё раз и делаю:
Согласованный протокол работы с комментариями как судья может и должен оценивать те или иные параметры работ. Включает в себя бланк оценки для судьи.
Мой заполненный бланк оценки, с детальными комментариями по каждой из работ + по каждому оцениваемому пунку этой работы, если оценка была мной выставлена ниже “1”
9 Likes
Спасибо за проделанную работу. Ясность и прозрачность.
1 Like
Sergey, this is great job done. I will try to spread the word for such protocols to be adopted in other subgovs and be a part of all the voting processes.
Such an aproach grants a more transparent view on voting, less questions to the jury.
Again, great job!
Sergey, as always , your work is of the highest quality! Thank you for a great example of judging.
Чем закончилось? Спараведливость не восторжествовала?
И каков вердикт? Как распределились в итоге места по конкурсу?
Согласно этому предложению https://smm.gov.freeton.org/proposal?proposalAddress=0:3fa8ad49a590c70567d98d3ef97550107eda9c87a2db1e7d23ec963a8b4105fa
1 Like
Был ли дисквалифицирован участник https://blog.freeton.org/? За махинации на конкурсе?Или он получил приз в 5 000 тон?