Проблем евалуације 1ТП3Т у 2022

У 2021. години, 1ТП3Т 1ТП2Т (раније 1ТП8Т, фаза 2, грант и капитал) је завршио своју прву годину у оквиру новог оквира за пријаву (прочитајте: Процес пријављивања). Са 2 пресека у 2021 (јуна и октобра), представио је стрму криву учења за мала и средња предузећа (МСП), професионални писци и 1ТП1Т (ЕИЦ).

Уведен је нови онлајн процес за 1ТП3Т апликације и континуирано је унапређиван упоредо са првим подношењем грантова, што је представљало јединствене изазове у начину на који су ЕИЦ и консултанти комуницирали са потенцијалним апликантима.

Рокови су померени, процуреле информације био је поузданији од званичних саопштења за штампу ЕИЦ-а, а коментари које су дали евалуатори довели су до одређених контроверзи. Док је већа транспарентност генерално позитиван корак, посебно за јавну институцију која се финансира из пореза грађана, може имати супротне резултате ако открије значајне недоследности.

Овај чланак има за циљ да истражи неке од ових недоследности.

Кораци пријаве

1ТП1Т и Извршна агенција за мала и средња предузећа (ЕИСМЕА), Европска комисија (ЕЦ) и ЕИЦ осмислили су нови процес пријаве који укључује 3 различита корака (Напомена: ово није повезано са фазама 2020). Овај нови процес се у великој мери ослања на коришћење онлајн обрасца за подношење и постепено је укинуо већину формата типа ПДФ/документ које су подносиоци захтева користили пре 2021. Укратко, тренутни кораци су:

  • Корак 1: Мини апликација (текст, видео, питцх децк). Најмање 2 од 4 оцењивача морају одобрити апликацију да би успели.
  • Корак 2: Дуга апликација (текст, пратећи документи, питцх децк). Најмање 3 од 3 оцењивача морају одобрити апликацију да би успели.
  • Корак 3: Интервју на даљину или лични интервју. Сви чланови жирија морају да одобре пријаву да би успели.

Стартапи морају успешно проћи сва три корака у одређеном редоследу за добијање финансирања 1ТП3Т. Сваки покушај, успешан или не, такође ће добити детаљне коментаре оцењивача или чланова жирија.

Напомена: Кроз брзи програм који спроводи ЕИЦ, неке компаније могу прескочити одређене кораке ако су испуњени одговарајући услови.

Корак 1

Корак 1 је дизајниран да изазвати интересовање оцењивача како је ЕИЦ навео. То је веома кратка верзија пословног плана и не даје детаљне информације о финансијама, планираним радним пакетима или другим критичним деловима пројекта иновације. Чак се и питцх децк своди на документ од 10 слајдова који ће бити читати а не постављати.

Праг успеха у кораку 1 је веома лако прећи јер само 2 од 4 удаљена евалуатора морају дати повољну рецензију која ће омогућити кандидату да крене ка кораку 2 (видети стопе успеха).

Корак 2

Корак 2 је веома детаљна презентација предложеног иновационог пројекта јер захтева креирање пословног плана који се скоро искључиво састоји од текста, пружа врло мало визуелних података и тражи од МСП који се пријаве да одговоре на многа детаљна питања. То укључује ланац вредности, описе производа, техничку позадину, анализе тржишта, комерцијалне стратегије и многе друге детаље.

Овај корак се показао као најселективнији и најинтензивнији степен 1ТП3Т.

Корак 3

Корак 3 је интервју на даљину или интервју који се састоји од а 10-минутни увод и 35-минутна сесија питања и одговора. Интервју ће се заснивати на поднетој пријави за корак 2 и питцх децк-у, али поротници можда нису блиско упознати са свим датим садржајем.

Линеарна прогресија између корака

Иако нови процес за 1ТП3Т апликације изгледа и делује модерно, он је додао нови слој проблема који је повезан са његовом структуром у 3 корака.

Када генеришете процес пријаве који проверава компаније током више месеци, важно је осигурати да сваки корак евалуације представља линеарну прогресију у односу на претходни. Ако су процене Корака 1 и Корака 2 сувише различите, то ће неизбежно довести до изгубљеног труда и за подносиоце захтева и за рецензенте.

Да би био транспарентан у вези са овом чињеницом, ЕИЦ би требало да објави податке о контроли квалитета где су резултати сва три корака, ако су доступни за сваког подносиоца захтева, повезани како би се идентификовало да ли је део евалуиран доследно у више корака. Ако сви евалуатори одобре веома детаљан пословни модел у кораку 2, али чланови жирија једногласно доводе у питање његов квалитет у кораку 3, онда би процес био погрешан.

На основу првих апликација у 2021. години, јасно је да три корака имају различите степене дубине, другачији фокус и користе различите групе евалуатора што инхерентно доводи до значајних ограничења. Као резултат тога, процес није у потпуности линеаран.

Сукоби између евалуација

Линеарни процес пријаве би довео до тога да пројекат са савршеном оценом у кораку 1 буде добар у кораку 2. Пројекат који је представио десетине страница о комерцијалној стратегији и који је добио савршен резултат од стране евалуатора у кораку 2 не би требало да има ову рецензију обрнуто у кораку 3. Док је разлика у количини између Корака 1 и Корака 2 значајна и може довести до померања уоченог квалитета, разлика између Корака 2 и Корака 3 би требало да буде мала.

У линеарном процесу, никада не би требало да постоји случај да је модел прихода савршено оцењен у кораку 2 да би био одбијен уз лоше оцене у кораку 3. Али такви случајеви се често дешавају јер ће приближно 501ТП13Т кандидата бити одбијено у кораку 3 при чему су главни разлози комерцијални аспекти. Ако се пројекат није променио између два корака, како је онда могуће да евалуатори из корака 2 оцењују пројекат тако другачије од жирија из корака 3?

Апликација Корак 2 представља ниво детаља без преседана у поређењу са ранијим годинама, тако да би недостатак садржаја био лош разлог за неслагање. Такође је мало вероватно да ће подносилац захтева намерно доставити лажне информације или поступити на превару, па како се такав резултат може објаснити?

ЕИЦ поротници против удаљених евалуатора

Доносиоци коначне одлуке о гранту и финансирању у капиталу су чланови жирија ЕИЦ-а, али они ће бити изложени пројекту тек у последњем кораку. Корак 1 и Корак 2 користе скуп од хиљада удаљених евалуатора, али ниједан од њих неће бити укључен у Корак 3 – најважнији корак. Поротници у кораку 3 се састоје од ризичног капитала, анђела инвеститора, шефова локалних акцелератора и других пословних стручњака различитог степена. Пошто је само неколико таквих пословних стручњака доступних ЕУ, ЕИЦ се мора ослонити на удаљене евалуаторе.

Због временских ограничења, чланови жирија не могу да учествују у великим евалуацијама у кораку 1 и кораку 2. Такође би се могло рећи да је немогуће проценити пројекат без лично представљање, али достављени пословни планови су изузетно детаљни и требало би да буде могуће тачно проценити пројекат.

Када се посматра кроз ово сочиво, промена процеса евалуације из процеса у два корака у 2020. у процес од три корака у 2021. години могла би бити преурањена. Оно што је постигнуто је да су најважнији доносиоци одлука о гранту 1ТП3Т само део 331ТП13Т корака и изложени су само прибл. 101ТП13Т свих апликација.

Тренутни 1ТП3Т процес може бити вожња ролеркостером за кандидате који су добили високе похвале од оцењивача у Кораку 1 и 2, али оштре критике од стране жирија Корака 3. Исто се може рећи и за компаније које би успеле у кораку 3, али никада нису прошле кроз критике оцењивача у кораку 1 и 2.

Будућност 1ТП3Т

Изазов који треба решити је значајан: Како пронаћи иглу у пласту сена без превише труда?

ЕИЦ зна да је њихов буџет ограничен и да постоје одличне компаније – али како да их пронађу?

Користећи структуриранији и аутоматизованији процес евалуације (тј ЕИЦ платформа и АИ алат) је добар први корак. Ево додатних функција које би се могле имплементирати да би се процес додатно побољшао:

Крај у уму

Коначне евалуације спроводе чланови жирија у кораку 3 који имају веома различит ниво стручности и фокуса у поређењу са даљинским оцењивачима. Ови чланови жирија виде само делић свих пријављених, што значи да ЕИЦ дозвољава да се одбије приближно 901ТП13Т кандидата на основу упитних процена.

Пошто даљински оцењивачи очигледно погрешно процењују чак и веома детаљне пријаве из Корака 2, требало би да постоји механизам за укључивање жирија у ране кораке или за даље унапређење групе удаљених оцењивача на основу података о учинку. Проблем са првим приступом је што је број удаљених евалуатора веома ограничен, док би други приступ захтевао значајну анализу података.

Промена прагова

На основу акумулираних података из 2021. године може се проценити да ли су тренутни прагови погодни за ову врсту финансирања. Ако успешне апликације које добију 2 од 4 позитивне оцене у кораку 1 никада не дођу до корака 3 или не прођу овај корак, тада би се праг могао повећати (тј. 2/3 или 3/4).

Ово би смањило оптерећење за пријаве у кораку 2 и могло би донекле оставити простора за учешће чланова жирија (тј. само гледање шпилова или специјални 3-пејџер). Приступ би могао бити да се изаберу кандидати из корака 2 са прагом од 2/3 или 3/4, а затим да чланови жирија изврше коначну селекцију на основу 3-пејџера или шпила чак и пре него што се распишу позиви за интервју. Овим приступом може се избећи захтевање савршеног консензуса међу удаљеним оцењивачима који не показују исти ниво стручности као чланови жирија.

Промена типа евалуације

У зависности од повратних информација добијених у кораку 3, критеријуми евалуације у кораку 1 и 2 могу се променити ако је главни разлог за одбијање веома конзистентан међу кандидатима који нису успели (тј. недовољан пословни план, недостатак прекида). Тренутни корак 1 делује као а теасер за пројекат, тим и иновације, али можда би било боље да се фокусирамо на нпр. пословни случај, конкуренцију и прилагођавање производа тржишту, ако је то недостајало већини одбачених у Кораку 3.

Исто важи и за корак 2 где подносиоци захтева морају да припреме велику количину информација, али ако је 501ТП13Т кандидата и даље одбијено у кораку 3, бесмислено је захтевати толико детаља. Ако је стопа финансирања у кораку 3 била 901ТП13Т, онда би то потврдило високу густину информација која се тражи у кораку 2, али очигледно не пружа никакву додатну вредност у поређењу са апликацијама из 2020. осим што представља баријеру радног оптерећења за подносиоце пријава. Смањење количине текста датог у кораку 2 за половину може бити разуман приступ.

Анализа групе евалуатора

Свим апликантима 1ТП3Т достављени су детаљни коментари у вези са њиховом пријавом, укључујући и позитивне и негативне примедбе. Ово је омогућило стартапима да стекну транспарентнији поглед на процес интерне евалуације, али је такође открило погрешан систем који ЕИЦ користи. Ако у кораку 2 два оцењивача похвале одличан пословни модел, предлог се и даље може одбити ако се трећи оцењивач не слаже. Објашњење које је дао ЕИЦ је да се мора убедити све евалуатори и инсинуира се да би две позитивне оцене могле имати Пропустио оно што је трећа оцена критиковала.

Али постоје очигледни проблеми са овим приступом и расуђивањем. Перспектива евалуатора у великој мери зависи од њиховог искуства и искуства. Јасно је да постоје и високо образовани евалуатори и они којима недостаје стручност у одређеним областима. Ако би оцењивачи били праве судије за одлуку о финансирању ЕИЦ-а, онда не би било потребе за жиријем јер су сви победници корака 2 подједнако погодни за финансирање. Или би даљински оцењивачи могли да учествују у догађају као чланови жирија, али то није случај.

Претпоставља се да је ЕИЦ свестан недостатака свог скупа евалуатора, али није саопштио како ће интервенисати. Нажалост, овим скупом евалуатора се поступа на веома нетранспарентан начин.

Анализа групе евалуатора: 1. и 2. корак оцена евалуатора

Решење за то би могло бити коришћење података заснованих на хиљадама евалуација извршених 2021. Пошто су оцене дате за сваки кључни део апликације и консензус између евалуација је кључни фактор, ЕИЦ може да сегментира евалуаторе на основу тачности њихових резултате. Ако један евалуатор доследно даје негативне оцене, онда тај евалуатор можда није прикладан да спроводи такве процене, што важи и за оне који доследно оцењују пројекте на позитиван начин.

Даље, анализа података вештачке интелигенције може да се користи да идентификује опште разлоге за одбијање и да их упореди са другим евалуацијама, као и позадином и искуством дотичног евалуатора. Ако евалуатор са научним и универзитетским искуством критикује пословни модел, а два предузетничка евалуатора га хвале, онда први не треба тежити у коначном резултату и обрнуто.

ЕИЦ може тражити од својих евалуатора да попуне упитнике као што су:

  • Да ли сте раније основали компанију?
  • Да ли сте били на позицији генералног директора?
  • Које је највеће финансирање које сте прикупили од инвеститора до сада?
  • Како бисте оценили своје научно знање из области хемије?

Ово се онда може користити за боље разумевање шта одбијање или одобрење евалуатора значи за пројекат.

Анализа групе евалуатора: оцена поверења у кораку 3

Као проширење, ЕИЦ може увести Резултати самопоуздања за оцењиваче што показује колико тачно евалуатор оцењује пројекат на основу потврде жирија.

Да би се ово постигло, може се користити бодовање чланова жирија из Корака 3 који су доносиоци коначних одлука као референца и корелација који евалуатори Корака 2 нису били у стању да идентификују шта би био добар пословни модел или иновација. Овај метод може да функционише тако што ће искључити неке од евалуатора који нису тачно проценили пројекат, али ће, нажалост, искључити само оцењиваче који греше у позитивном, а не у негативном смислу.

Мање је вероватно да ће оцењивачи који одбију одговарајуће кандидате због лоше просудбе бити филтрирани коришћењем овог приступа пошто одбијени пројекти не стигну до корака 3 (осим ако се не примени предложено учешће жирија). Да би се ово допунило, поновне пријаве се могу користити као извор података. Ако је пројекат одбијен у кораку 2 и накнадно поново поднет само да би се успешно достигао корак 3, онда се оригинални евалуатори из корака 2 који су одбили пројекат могу филтрирати.

Ограничење овог приступа је то што је поновно подношење у Корак 2 могло увести значајне промене које су уклониле претходне недостатке, чиме је почетно одбијање учинило тачним. Али када је скуп података значајан, такви случајеви се могу идентификовати.

На основу прикупљених података, који користе оцене из корака 3 као референцу, евалуатори се могу оценити, а они високог ранга могу се користити у кораку 2, док се они нижег ранга могу користити у кораку 1 или уклонити из групе. Подносиоци захтева троше значајну количину времена на подношење и поновно подношење корака 2, због чега би ЕИЦ требало да ради на избегавању контрадикторних оцена у кораку 1, 2 и 3.


Чланци пронађени на Распх.цом одражавају мишљења Распх-а или његових одговарајућих аутора и ни на који начин не одражавају мишљења Европске комисије (ЕЦ) или 1ТП1Т (ЕИЦ). Достављене информације имају за циљ да поделе гледишта која су драгоцена и могу потенцијално да информишу подносиоце пријава у вези са шемама финансирања грантова као што су 1ТП3Т, 1ТП6Т, 1ТП7Т или сродни програми као што су Инновате УК у Уједињеном Краљевству или грант за мала предузећа за иновације и истраживање (СБИР) у Сједињене Државе.

Чланци такође могу бити користан извор за друге консултантске куће у простору гранта као и професионални писци грантова који су ангажовани као слободњаци или су део малог и средњег предузећа (МСП). 1ТП3Т је део Хоризон Еуропе (2021-2027) који је недавно заменио претходни оквирни програм Хоризон 2020.


Да ли сте заинтересовани да ангажујете писца да аплицирате за грантове у ЕУ?

Слободно се обратите овде: Контакт

Да ли тражите програм обуке да научите како да се пријавите за 1ТП3Т?

Пронађите га овде: обука

 

Распх - 1ТП3Т Цонсултинг
sr_RS