Форум Anivisual закрыт. Вы не можете создавать новые темы или писать ответы. Форум будет работать в режиме архива.
Пользователи · Поиск по форуму · · · Регистрация

  • Страница 1 из 1
  • 1
Форум о визуальных новеллах » Записи участника » ezraven [14]
Результаты поиска

ezraven

#2 | Тема: Anivisual Jam #3: обсуждение
Хорошо, я поясню свою позицию тем, что мне больше всего не понравилось в прошлый раз. Я был и участником и частично принял участие в оценивании новелл.

Во-первых, не все участники прочитали все новеллы, а значит, как минимум, не смогли оценить непрочитанные новеллы. Есть и те, кто не будет читать все, в любом исходе, но я пытался успеть прочитать все, но физически просто не смог осилить и вдуматься во все. Оценка должна быть выставлена после адекватного прочтения работы, а честно, прочитав подряд 5-6 новелл чувствуешь, как в голове от прочитанного образуется каша и что-то приближенное к объективному оцениванию становится почти невозможным.
Этот пункт относится к тому, что из-за увиличения сроков (хвала богам 10 дней и я не умру, как в прошлый раз), скорее всего, увеличется колличество новелл, которые дойдут до конца. И далее я ставлю под сомнение пункт об приоритете голосов над рейтингом (Считаю, что вес должен быть у обоснованных оценок, а не проставленных без комментариев). Просто по той причине, что если каждый участник не будет оценивать каждую работу (что тоже технически очень трудно реализовать), то получается, проекты, от уже известных разработчиков, те, что будут чаще выпадать на главную (привет вкр) и те которые будут наверху списка в архиве (сам по нему читал и соответственно, самые нижние не успел) просто напросто будут иметь приоритет по оцениванию и количеству оставленных оценок. Очень классно будет видеть 10 оценок против 30. 

Во-вторых, то, что я упомянул в прошлом пункте - оценка без комментария. Я считаю, что любая оценка должна быть обоснована, хоть чем-то. Одна из важных причин, почему люди участвуют в джеме - получение фидбэка, а не голой статистики, которую можно придумать в своей голове и без посторонней помощи. Было очень классно видеть оценку 2 и не понимать за что, хотя другие люди ставили по этому пункту 4+. Я не могу воспринимать такую оценку всерьез, потому что она выглядит как простая попытка сбить рейтинг. Так же, как и внезапная 5 там, где стоит 1. Всякое бывает, понимаю, кто-то может разглядеть донность\шикарность чего-то, что не видят остальные, но если человек оставит комментарий с пояснением в таком случае, будет лучше. НО я понимаю, что проставить всем новеллам оценки и отписать комментарии - это физически так же трудно как и прочитать вообще все. Так что считаю, что оценка с комментарием и поправкой на средний балл - вполне может считаться решением. 
Что важно, думаю, что обязательным пояснением нужно обязать пункты "Общее впечатление" и "Соответствие теме конкурса" по той причине, что это максимально размытые пункты, которые невозможно подогнать под список критериев для оценивания, но которые значительно влияют на конечную оценку. Человек должен объяснить для создателей новеллы, почему их новелла не понравилась или почему оставила неприятные впечатления, почему несоответствует теме, почему человек не увидел посыл, а так же почему ему все понравилось и что впечатлило. Это наиболее важно, потому как на этих пунктах очень легко изменить другим людям оценку, даже не напрягаясь. 

В-третьих. Пункты. Дело в том, что пункты не в полной мере отражают наполнение. 
Как в пункте "текст" можно оценивать одновременно и грамотность, и креативность, и персонажей, и сюжет? Что если текст плохой, но сюжет крутой? А если история тухлая, но персонажи тащат ее? Очень много противоречий и тут скорее можно поставить оценку общего впечатления, а не реальную оценку новеллы. Просто - понравилась история и персы - закрыл глаза на ошибки и докрутил оценку, текст был крутой, но сюжет и персы бесили - снизил, так или что? 
К пункту "Исполнение" те же вопросы: звуки классные, но музыка отстой и текст читать невозможно, но новелла запускается. Или запускается через раз, а все остальное на высшем уровне, но она ведь не запускается с первого раза, что делает ее прочтение очень неудобным и почти невозможным, так что это заслуживает 1 из-за одной технической погрешности?
Визуал. Одаааа, мой камень. Как можно сравнивать взятые бесплатные работы, которые человек даже не подобрал к общему сеттингу и работы, нарисованные специально к джему? Но в то же время, если нарисовано плохо, но кто-то сумел привести стоковые фотки к общему стилю и благодаря этому новелла выглядит шикарно? Оценивать конкретную новеллу невозможно, потому что в этом вопросе всегда идет сравнение не только того, насколько все это вписывается в общую картину, но и того, насколько это заслужено в отношении с другими работами и затраченными усилиями. Несколько пунктов, которые бы дали более точную оценку, вполне могли бы разрешить дилемму. 

Подытожив, мои предложения - расширить пункты, добавив подпункты для некоторых категорий и обязать участников оставлять комментарии для пояснения своей оценки. Возможно, из-за увиличения подпунктов, придется сделать 100 бальную систему или добить сотые доли. А так же, хоть немножко отслеживания для тех, кто проставляет другим новеллам странные оценки для средней оценки. В прошлый раз у некоторых новелл полетели необоснованные двойки (опять же без подписи, хотя мне кажется, когда ты ставишь 2 и ниже тебе всегда есть ЧТО сказать), которые испортили общий балл.

ezraven

#3 | Тема: Anivisual Jam #3: обсуждение

Цитата
От профиля, зарегистрированного "Воскресенье, 11.07.2021, 08:28"

Для оценивания мы использовали профиль админа нашей новеллы.
Вот - Новелла. Я художник проекта.

Добавлено (13.07.2021, 21:46)
---------------------------------------------


Цитата
Я бы скорее просто предложил сделать так, что оценки с комментариями больше пяти слов (примерно, главное чтобы было сложнее написать общие фразы до минимального порога) имели больший вес при учете голосов, чем оценки без комментариев. Так никого не обязывает, но мотивирует писать отзывы, если хочешь, чтобы твоя оценка с большей вероятностью повлияла на итоги голосования.
Ничего против добровольного комментирования не имею.
Но все же считаю, что обязательно необходимо оставить комментарии на категориях об Впечатлениях и Соответствии теме.

ezraven

#4 | Тема: Anivisual Jam #3: обсуждение

Цитата
Да вы что! У вас же всего 3 оценки без комментария. И все очень положительные. Почему за общее впечатление и тему 2? Ну, не все любят яой. Я сама не читала вашу новеллу, простите. Но догадаться можно по другим комментариям.

Нам наставили единиц, потому что мы делали новеллу-метафору. Не все поняли. И оценки нам дали это понять.
С чего вы взяли, что я пишу только про свою новеллу? У меня были в том числе фавориты и от других разработчиков. Я очень эмпатичный в этом вопросе. И мне было обидно увидеть, что этим людям без пояснения поставили низкие оценки. 
Хоть и вы считаете, что вам занизили оценки просто потому, что люди не поняли - это никак не связано с тем, что комментирование было бы полезным и могло бы снизить уровень непонимания, так как при написании комментария, человек обычно анализирует то, что хочет сказать.


Цитата
Вообще-то не должен. Если новелла не вызвала желание писать хвалебные оды или язвительные критические обзоры, это тоже в какой-то степени комментарий. Если надобавлять разных критериев, разбить оценку на дроби, и составить опросник на 100 листов - это точно не ускорит оценивание новелл. И все мы получим еще меньше фидбека.

Еще раз простите. Но я не смогу оценить все новеллы, даже если захочу. Добавьте немного человеколюбия. Вы сделали новеллу, вы постарались, да. Но голосующие тоже люди, и стараются, как могут. Не делайте из джема - ГУЛАГ.
Во-первых, должен, если есть что сказать. Я не заставляю людей отписывать каждый пункт. Но, есть вещи, которые необходимо пояснить. Почему человек считает что новелла не соответствует теме, например. Круто поставить по этому пункту 1 и делайте шо хотите с этой оценкой, так? Или например Впечатления. Это не техническая сторона где цифра 5 сможет объяснить, что все работало как надо - это описание и совокупность чувств - нечто более сложное и ради чего собственно некоторые участвуют.  
Вы явно игнорируете мою позицию по этому вопросу. Я написал, что оценить все новеллы невозможно и так далее и это проблема не комьюнити, а скорее самой системы оценивания "участниками участников". Но я понял позицию Тернокса по этому вопросу и даже не заикаюсь о каком-то составе жюри и двойной системе оценивания, что могло бы снизить нагрузку на участников. 
Я тут что-то принимаю или решаю за вас? Я высказал свой личный опыт, который получил после прошлого голосования и с какими трудностями сам столкнулся при оценивании новелл.

ezraven

#5 | Тема: Anivisual Jam #3: обсуждение

Цитата
Я вообще не понимаю, почему это надо объяснять. Если человек вам ставит 5, значит ему очень понравилось и все супер. А другой ставит 1 - потому что ему не понравилось, он считает, что все не подходит. Люди разные.

Хорошо. Новелла запускается через раз, но по всем техническим характеристикам она космос - какую оценку ставить? 1 - ведь не работает же. 3 - ну тип красиво, но не работает же. 5 - классно круто, мне повезло запустилось с первого раза.
Вас такие противоречия не смущают? Это может произойти почти с каждым пунктом.
Оценка становится ситуативной с большим количеством вариаций и трактовок, потому, что изначальный концепт оценивания - размытый. 
Не буду называть конкретную новеллу, с оценкой которой у меня были проблемы: человек пишет очень классно, мне нравится читать этот текст, он грамотный и хорошо подан. История тоже интересная. Персонажи - бесят. Кошмар просто, не могу их воспринимать. Какую мне оценку ставить? Я хочу поставить 4, ведь большинство критериев мне нравится, но не могу, ведь история становится хуже от присутствия этих персонажей. При этом и занизить не могу - все остальное класс. Поставить тройку? Классно, всем новеллам просто буду ставить оценку "ни рыба ни мясо".

ezraven

#6 | Тема: Anivisual Jam #3: обсуждение

Цитата
Так вы хотите от людей того, чего не можете дать сами. Я про это и говорю - оценивать сложно. И не надо на уровне правил выдавливать из оценивания людей, которые не могут оставить комментарии всем.

Что я не могу дать? Оценить все новеллы с комментариями? Могу. 


Цитата
И все говорят только про плохие оценки и "обиду" за них. А немотивированные 5/5/5/5/5 никого не обижают?
Вы мой комментарий читали? Я писал о том, что вообще есть немотивированные оценки и это плохо и от этого нужно постараться избавиться. Я видел новеллу, которой завысили оценки, хотя она была даже не законченной. И что? В чем смысл этого замечания? 


Цитата
Опять же, простите, если показалось, что я пытаюсь в чем-то вас обвинить. Я просто пытаюсь донести свою мысль через сравнения. То, что у людей не совпадает мнение - не значит что они занижают оценки. Если утрировать, другие их завышают. Мой поинт в том, что насколько не развози критерии, сроки голосования и тд. Всегда будут люди, которые в среднем ставят меньше, чем другие. Они (может быть) ждут ту, самую, новеллу 10 из 10, шедевр на все времена. И только ей поставят высшую оценку. Нельзя же залезть каждому в голову и заставить мыслить по единому шаблону.
Я где-то призываю вас шаблонить всех вокруг или что? Вы словно не мои комментарии читаете. Если человек по-умолчанию занижает оценки - пусть оставит свой комментарий. Если завышает - пусть напишет почему. В чем проблема? Вы деретесь с ветряными мельницами.
Больше пунктов позволит более честно оценить новеллу для тех, кто хочет сделать это искренне. Зачем равняться на тех, кому все равно какую оценку ставить.

Добавлено (13.07.2021, 22:42)
---------------------------------------------


Цитата
Да. Ставить можно, как ты хочешь. Если настолько бесят персонажи, можно и написать - 3 только потому что, лично мне персонажи не зашли. Например.

Писать то никто не запрещает. И оценки ситуативные да. Мнение людей в принципе размыто. Не роботы же голосуют. Нам же не нужно безэмоциальное мнение армии нейросеток.
Зачем изобретать велосипед и снижать человеку оценку за то, что он сделал хорошо? Почему я просто не могу поставить человеку 2 за персонажей, но при этом и поставить 10из10 за все остальное?
Можно просто добавить 3 пункта:
Текст 
Сюжет
Персонажи

ezraven

#7 | Тема: Anivisual Jam #3: обсуждение

Цитата
Если сделать 20 пунктов - это не сделает честнее. Честные люди и сейчас все честно делают.
 Почему нет, когда - да?
Во-первых это удобство для оценивающего. Вы точно понимаете что вам надо разграничить.
Во-вторых - это фидбэк. Зачем оставлять пометку для создателя и самостоятельно придумывать критерии, когда они изначально даны? Кому будет приятно увидеть 2 за свой крутой текст, с подписью - это тебе за персонажей. А что, почему 2, а не 3? Ну типа, для меня ненависть к персонажам раз и перевесила все впечатления от текста. А чо, это ведь объективно, не? 
В-третьих, я писал об этом, но иногда целых чисел просто не хватает, чтобы описать впечатление. Ну типа, все идеально - 5 безусловно, есть ошибки, но не критичные, почему я не могу поставить 4,6 и быть спокойным? 


Цитата
Честные люди и сейчас все честно делают. А обманщики везде обманут. Оценка будет такой же.
 Ай-яй не надо подменять. Я написал "честно по отношению к тем кто хочет оценивать искренне".
А так же, зачем двери запирать, ведь существуют отмычки. Зачем по сторонам смотреть, ведь все равно людей сбивают. 
Комментирование и дополнительные критерии усложняют фальсификацию оценок. Хотя бы по той простой причине, что некоторым станет лень этим заниматься.


Цитата
Как это поможет выявить некую "искреннюю" оценку? Вы же сами писали, что вам не хватает оценки отдельно персонажей. А кому-то не хватит оценки "описание дубов у дороги". Да, я утрирую. Да. Но я, ей богу, не понимаю, как это поможет. А других точно напряжет.
 Ммм а что, базовое понятие новеллы состоит из чего-то еще, типа деревьев у дороги? Нет. Во всех новеллах есть сюжет. Во всех новеллах есть текст. Во всех новеллах есть персонажи или действующие лица или хотя бы рассказчик. Да, можно придумать дополнительные критерии, которые так же могут быть базовыми, но я о них не знаю, но, это как-то ухудшает оценивание? 
Ой, погодите, а как тогда мы сейчас оценивали текст целиком и что нам для каждого персонажа уже надо придумывать отдельные пункты и мы не можем просто оставить комментарий для автора, что персонаж А был классным, а персонаж Б - такой сказочный? Да, в идеале каждый персонаж должен быть оценен, в таком случае, но мы не рецензию на персонажей пишем. Впечатления, которые оставляют дизайны и характеры персонажей можно привести к общему знаменателю намного проще, чем просто пытаться сравнить одновременно грамотность, креативность, сюжет, литературные приемы и персонажей. 

Цитата
Окей добавляем критерий "персонажи". Вы ставите: текст 5, персонажи 1. Та же 3 выходит. Просто сейчас ставите 3, пишете комментарии.
Да, только во-первых, так я сделаю это с фидбэком для автора, буду с ним честным. Во-вторых, 11/3 уже не 3, а 3,6, как бэ не улавливаете разницу? Это не 3, но еще и не 4 - это другая оценка, которую я даже поставить бы не смог. А я при общем оценивании бы вообще 2 мог поставить, вдруг для меня персонажи важнее грамотности и сюжета.

Цитата
Я не отстаиваю "неписание" комментариев. Я к тому, что люди это уже делают в рамках существующей системы.
Тогда чем таким людям помешает проставить 3 дополнительные циферки в расширенных пунктах и откомментировать то, что им хочется?

ezraven

#8 | Тема: Anivisual Jam #3: обсуждение

Цитата
По поводу спора - мне кажется,что усложнение системы оценивания остановит не троллей и хейтеров, а как раз адекватных участников, которым попросту станет лень все делально расписывать.
Блин как будто я написал, что надо на каждый пункт оставить комментарий в 250 символов и сделать по 30 подпунктов на каждый пункт nshy 
В чем проблема написать что тебе понравилось\не понравилось в качестве отзыва на впечатления(при этом просто поставив оценку от 1 до 5), поставить не одну оценку, над которой ты будешь думать - а насколько она соответствует? - а 3 (которые никак не перекликаются друг с другом для описательных пунктов) что облегчает постановку оценки? и написать почему соответствует\не соответствует теме (и одну оценку 1-5)? 
Троллей и сливщиков\бустеров как раз таки может это и остановить - необходимость аргументировать.

Добавлено (13.07.2021, 23:48)
---------------------------------------------


Цитата
Но вы пытаетесь выдать свое видение оценивания, как единого возможного, и самого правильного.
 ВЫ меня спросили, какие проблемы Я вижу в нынешней системе. Я вам написал. Написал какое я вижу решение. Вы с ним не согласны и пытаетесь какими-то подменами донести мне, что я все усложняю для бедных работяг. Я не говориол, что предлагаю легкую систему, которая все упростит для всех. Мои слова про другое.
Это конкурс. У конкурса должны быть четкие и понятные критерии. В противном случае, можно просто сделать голосование: какая новелла самая топовая и радоваться победе накрутчика или кого-то популярного.
Не хотите много писать и решать - почему тогда мы не хотим, чтобы оценивало непредвзятое жюри по своим критериям. И нам аргументировать и писать ничего не придется. Можно просто доверить васе пупкину решить, ведь он просто может сказать норм\не норм.

ezraven

#9 | Тема: Anivisual Jam #3: обсуждение
И да
 
Цитата
Просто будет меньше оценок вообще. И с комментариями, и без них.
У некоторых новелл и так мало оценок по-сравнению с остальными. Просто потому что оказались в тени. Или  просто "средние" или потому что были внизу списка. Но это не потому, что критериев оценки много.
Если так, то просто давайте ставить новелле оценку от 1 до 5 и все. Зачем пункты в целом. Зато все новеллы оценят.

Добавлено (13.07.2021, 23:59)
---------------------------------------------


Цитата
Это не конкурс, а джем с народным голосованием. На Ludum dare  все еще проще.
Это конкурс. Есть денежный приз. Есть призовые места. Есть система оценивания. 
Хоть джемом его назови, это мероприятие на конкурсной основе.


Цитата
ezraven, так пишите! Система никак не мешает вам самостоятельно, в комментарии к оценке, разбить эту самую оценку на подпункты, которые вам нужны, а потом, по их итогу, выдать среднее и записать его в таблицу уже.

Хорошо, как мне поставить за пункт 4,26 балла, если мы говорим обо мне?


Цитата
Я тут чего ветряные мельницы строю. Мне кажется, вы хотите, чтобы другие голосовали так же "ответственно и въедливо", как вы. Мне это зря кажется?
Почему въедливо лол
Хочу, потому что это конкурс.
Потому что должны быть границы, для достижения максимальной объективности суммарных оценок. Если каждый оценивает по своим пунктам, то что выйдет в итоге?
С тем же успехом, мы без всех пунктов и пояснений просто можем ставить оценку от 1 до 5 придумав свои критерии для каждой новеллы. Ой или устроить анонимное голосование. 
Нынешняя система работает, в ней нет той анархии о которой я пишу выше, потому что есть критерии, но может быть и лучше.

ezraven

#12 | Тема: Anivisual Jam #3: обсуждение
Мы вроде на одном языке разговариваем, но почему-то все придумывают тезисы, которые я не писал.

Цитата
Вы здесь противоречите несколько раз сами себе. Сначала говорите, что 10 новелл прочитать сложно, а затем просите усложнить систему оценивания, что ещё сильнее замедлит оценивание.
Я ни слова не сказал, что 10 новелл сложно оценить. Уж простите, но мне кажется, что столько оценок любой в состоянии поставить. Я же писал про то, что я хотел прочитать и оценить все, но не смог это сделать  по своим причинам и поэтому понимаю, почему оценивание всей и каждой новеллы - невозможно. 


Цитата
Здесь все не профессиональные жюри и не обязаны ставить оценки сверхобъективно.
Я это где-то говорил? Я написал, что некоторое расширение пунктов позволит людям более точно сформулировать за что и какую оценку человек ставит новелле. Не придется гадать, насколько фатальным для оценки станет личная вкусовщина - условно, если человеку не нравятся опечатки и бесят его сильнее, чем можно представить, почему он не может поставить низкую оценку качеству текста, но не сюжету, если тот ему понравился? 


Цитата
Да, конечно, в идеале можно сделать штук 20 категорий оценивания
 Да зачем 20. Я не понимаю. Я просил просто добавить 2-3 подпункта, которые могут отделить мух от котлет. Отделить текст от сюжета, отделить музыку и звуки от технической исправности новеллы. Откуда берутся мысли, что я хочу миллион каких-то критериев? Я изверг какой-то или что? Думаете, мне просто нравится заполнять пунктики? Я сказал, что сложно поставить единую оценку для критерия, который сочетает в себе сразу все.


Цитата
Хоть немножечко отслеживания добавить тоже весьма трудно
О чем я и на писал и на чем не настаивал вовсе.


Цитата
В целом общими результатами второго джэма я был более чем доволен, в тройку попали действительно хорошие новеллы, как и в целом топ-20 получился весьма интересным. Если это не показатель того, что всё в принципе сработало, то что тогда? Возможно какая-то хорошая новелла не попала в топ-20, но это не потому что оценки плохо сработали, а потому что хороших новелл было больше чем 20 и трудно выделить всех.
Я не говорил, что такая система оценки несостоятельна в целом. Я сказал, что некоторые пункты требуют доработки или тогда уточнения. Сделать лучше, нет?
И да, в топ-10 вошла новелла, которая посередине имеет отсутствующий кусок сюжета, но на которой нигде не указано, что она демо. Мне новелла понравилась, не к этому претензия, а к тому, что почему такое произошло вообще? 
Не могу считать, что раз она понравилась другим, хоть и не доделана - показатель ее крутости. Можно я тоже тогда половину артов дорисовывать не буду, а то ведь сложно.

 
Цитата
Да и вообще, не нужно относится к джэму так серьезно
То есть, меня спросили, что не так на мой взгляд, я ответил и описал какие вижу плюсы и минусы. Чтобы не быть голословным, объясняю свою позицию и привожу примеры и это излишняя серьезность? То, что у нас тут вышло какое-то долгое обсуждение мне совсем не по душе, потому что половину из того, что я пишу словно игнорируют и приписывают моим словам какие-то дополнительные свойства и потом начинают мне это выставлять в претензию. 


Цитата
и угодив одному человеку я расстрою многих других.
Дело не в том, что я прошу мне "угодить", а в том, что я назвал некоторые субъективные трудности в этой системе и сейчас все это воспринялось как-будто я тут всех заставляю все переделывать. Не хотите слышать другие предложения - не спрашивайте.

Но, я понял вашу позицию. Не хотите - не надо. Только, пожалуйста, хватит искажать мои слова.

ezraven

#13 | Тема: Anivisual Jam #3: обсуждение
Цитата time_loop ()
обвиняли в романтизации ментальбных заболеваний, хотя новелла была скорее о противоположном.
Грустно это слышать, на самом деле.  Вообще не понимаю подобных придирок к общему посылу, о чем хочет создатель о том и пишет.
Но, я написал это не в укор автору. Мне новелла очень понравилась, как и многим и из-за того что она классная, с крутой рисовкой, в ней виден потенциал - ей завысили оценки. Но все равно, трудно объективно ее оценить из-за этой дыры в центре сюжета. Как можно оценить сюжет (помним, что у нас только критерий текст, который включает в себя все), если приличной его части нет. Как можно сказать - насколько новелла соответствует теме, если, опять же, в ней нет значительной части.

Добавлено (14.07.2021, 13:07)
---------------------------------------------

Цитата ezraven ()
Мне новелла очень понравилась
И честно, я считаю, что будь она цельной, то могла бы войти и в первую тройку.

ezraven

#14 | Тема: Грань
Цитата CielViolet ()
Художнику скорейшего выздоровления!
Чувствую себя погано, что из-за меня все встало(
Но я просто умираю, пока пытаюсь рисовать ncry
Форум о визуальных новеллах » Записи участника » ezraven [14]
  • Страница 1 из 1
  • 1
Поиск: