Suggest criteria for evaluating creative contests, don't let mistakes repeat

Good day to all who read!
The Christmas card contest is long over, and the controversy continues. Many are waiting for the investigation to continue. Many now do not trust the work of the jury. I propose to participate in the process of organizing the effective work of the jury.

There are many questions in the comments, such as: “Why such strange ratings?”, " Why 1 where other jury members put 10?", " Why are the comments so strange?" etc. I also participated in this contest and asked these questions. I asked these questions to the people involved and found out the following:
There are many problems with the organization of the voting process itself. Simply put, very little is organized for the convenience of not only the contestants, but also the jury.
I would like to note that @mzonder has done a lot of work to make it at least something comfortable. At the same time, he was not a member of the jury.

Prior to the postcard contest, there was a contest in the analytics section aimed at the effectiveness of the jury’s work. There are good suggestions out there, but it takes time for all of this to work. Therefore, none of these metrics were used in the postcard contest.
And yet, how were the works judged? Just like/dislike? Some - perhaps so. Separately, I would like to mention one of the jury members with his table.

Quality / Creativity / Idea: 1 - Bad. 2 - Normal. 3 - Good. (0 - very bad)
Overall impression: 0 - not impressed / 1 - impressed

That’s better than nothing. It’s simple, if the work is not liked by a member of the jury, but it is done qualitatively, then it will not receive 1 point. It is a pity that not all members of the jury had such a table.
What else could help the jury in the rating system? There may be more criteria than in this table. Such an item as compliance with the requirements for the competition work (no link to Twitter, poor quality, lack of competition topics in the work, etc.). Everything is according to the rules-1. Something is wrong-0. The criteria can be completely different:

  • Compliance of the content of the competition work with the subject of the competition
  • Expressiveness of the work, creative approach to the disclosure of the topic
  • Technique of execution
  • Depth of disclosure of the topic, etc.

The main thing is that they are common to all members of the jury. Such a table may be issued to the jury members prior to the competition.
If this competition was a “trial” to identify shortcomings in the system, then let it all be for good reason. No one wants this to happen again.
It would be great if users, former and future contestants write here in the comments what our jury still lacks in order to make the ratings less subjective.
I send my regards to the jury member who “thought the scale was five-point.” Given the fact that today there was such an article, where the screenshot shows that the maximum is 10 points.
Thank you to those who read it! I wish you justice :slight_smile:

8 Likes

RU. Спасибо за конструктивный отзыв. Я участвую в составе жюри, и хочу поделиться своим видением рабочего процесса, может кому-нибудь это будет полезно.

Вы привели в пример мою рабочую таблицу. Под каждый конкурс (А их пока прошло только 2 в W&D SubGov). Я составляю релевантные критерии оценивания работы конкурсанта исходя из описания конкурса.

Вначале просматриваются все работы, и результат заносится в рабочую таблицу, она по сути черновик. После работы сверяются еще раз с таблицей и результат заносится в блокчейн. Даже если голоса в блокчейн появляются в крайний день голосования, это не значит что они поставлены в спешке. Они могут быть в рабочей таблице и в крайний день просто происходит перенос в блокчейн.

Под каждый конкурс могут быть разные критерии и подходы в оценивании. Каждый судья на данный момент исходит из своего опыта и понимания. По поводу комментариев к работе, на мое мнение - их надо сделать опциональными. Если есть желание оставить отзыв к работе конкурсанта, его можно оставить.

Я сам участвовал в конкурсах, и мне было бы куда более интересно видеть рабочую таблицу судьи, который оценивал работы конкурса, поэтому я и оставляю ссылку на свою таблицу в комментарии к работе. Я считаю от этого больше пользы, чем очередной комментарий в стиле: “теплая атмосфера, красивые персонажи”. Но это личное дело каждого. Я делюсь лишь своим мнением, на ваш отзыв.

На данный момент реальность в том, что мы сами учимся и накапливаем опыт. Делая выводы из практических результатов. Для этого куда более полезен конструктивный отзыв на форуме, а не болото из слёз и ненависти в чатах.


EN. Thank you for your constructive feedback. I participate in the jury, and I want to share my vision of the workflow, maybe it will be useful to someone.

You cited my spreadsheet as an example. For each competition (And so far only 2 of them have passed in W&D SubGov). I create relevant criteria for evaluating the contestant’s work based on the description of the contest.

First, all the work is viewed, and the result is entered in the working table, it is essentially a draft. After work, they are checked again with the table and the result is entered in the blockchain. Even if the votes in the blockchain appear on the deadline day of voting, this does not mean that they are delivered in a hurry. They can be in a worktable and on the deadline day just happens to be transferred to the blockchain.

For each competition, there may be different criteria and approaches in the evaluation. Each judge at the moment comes from his own experience and understanding. As for the comments on the work, in my opinion-they should be made optional. If you want to leave a review of the contestant’s work, you can leave it.

I myself participated in competitions, and it would be much more interesting for me to see the working table of the judge who evaluated the works of the competition, so I leave a link to my table in the comments to the work. I think this is more useful than another comment in the style: “warm atmosphere, beautiful characters”. But this is a personal matter. I only share my opinion on your feedback.

At the moment, the reality is that we ourselves learn and accumulate experience. Drawing conclusions from practical results. To do this, a constructive review on the forum is much more useful, and not a swamp of tears and hatred in chats.

5 Likes

Творческие конкурсы априори невозможно оценивать объективно. Всегда будет субъективное мнение судьи, его вкус так сказать.
К нему придет заявка от условного Ван Гога и он поставит ему 1, потому что не нравится.
При этом судья будет аргументировать свой авторитет регалиями, опытом, портфолио. Но где условный Ван Гог и где куча опыта судьи?

Для всех конкурсов критерий может быть один - KPI.
Сколько новых участников привлечено творческими конкурсами? Вероятно несколько. Сколько стоило привлечение этих нескольких в токенах?
Эффективность: количество новых участников/затраты на продукт (конкурс).
Незачем проводить конкурс ради конкурса в расчете, что эта продукция когда-то где-то вероятно пригодиться.
Без отдельных конкурсов по дистрибуции в рекламных целях картинок, видео и т. п. творческие конкурсы не имеют смысла.

Цель творческих конкурсов - подготовить контент для конкурсов по его распространению в рекламных целях для привлечения новых участников сообщества.
Поэтому и критерии надо подбирать в этом направлении. А не оценивать искусство художников за технику исполнения, глубину раскрытия темы, выразительность… размытые критерии.
Если конечно тут клуб самодеятельности, тогда песни, пляски и картинки нужны, чтобы раздавать токены нескольким творческим личностям. А проекту какая с этого выгода? Это цель проекта?

Критерии:
Запоминаемость
Положительная эмоция
Четкая ассоциация с Free TON
Пробуждение интереса

Вот два примера о чем речь:

Деньги, выброшенные в пустоту, на видео “как у всех” (условный судья: “смотри, смотри это все на компьютере сделано, монетки крутятся, это красиво и работа стоит дорого - 10 баллов!”)

Деньги потрачены эффективно (условный судья: “никаких эффектов, мем какой-то, еще и короткий, и не солидно выглядит - 1 балл”)

2 Likes

Thank you for constructive comment.

I did see that 2 jury members secretly (yep, didn’t share the wisdom!) used such tables. I, personally, liked the idea.

First of all, such criteria should be on-chain. It means, that it has to be a part of the contest proposal. That can be done, no prob.

Secondly, the comments will duplicate data from the table - as they should be on-chain as well.

Now lets think what kind of columns should we have?
Technical: 0-1 - PDF has the links and everything that should be there.
Quality: 0-3
Creativity: 0-3
Idea: 0-2
Impression: 0-1 - subjective feeling of the work
10 points in total.

May be some other things should be added? Lets work on this idea all together and try it within the next contest.

Important notice: each contest might have slightly different set of voting components. But this whole concept might work.

Thanks again for pointing it out!

1 Like

Evaluation criteria are specified in each competition. Can’t you use them?

Usually they describe everything that needs to be assessed by the jury:

  • contacts
  • compliance with the idea
  • high quality level
  • uniqueness of work
  • etc