Het evaluatieprobleem van de EIC Accelerator in 2022

In 2021 heeft de EIC Accelerator blended financing (voorheen SME Instrument Fase 2, subsidie en eigen vermogen) zijn eerste jaar onder het nieuwe applicatieraamwerk afgerond (lees: Aanmeldingsprocedure). Met 2 cut-offs in 2021 (Juni en oktober), presenteerde het een steile leercurve voor het midden- en kleinbedrijf (MKB), professionele schrijvers en de European Innovation Council (EIC).

Er werd een nieuw online proces voor EIC Accelerator-aanvragen uitgerold en dit proces werd continu verbeterd, parallel aan de eerste subsidieaanvragen, wat unieke uitdagingen met zich meebracht voor de manier waarop de EIC en de consultants met potentiële aanvragers communiceerden.

Deadlines werden verschoven, gelekte informatie was betrouwbaarder dan de officiële persberichten van de EIC en het commentaar van de beoordelaars leidde tot enige controverse. Hoewel meer transparantie over het algemeen een positieve stap is, vooral voor een publieke instelling die wordt gefinancierd uit de belastingen van de burger, kan het averechts werken als het aanzienlijke inconsistenties aan het licht brengt.

Dit artikel heeft tot doel een aantal van deze inconsistenties te onderzoeken.

De toepassingsstappen

De European Innovation Council en het Uitvoerend Agentschap van het MKB (EISMEA), de Europese Commissie (EC) en EIC hebben een nieuw aanvraagproces bedacht dat uit drie verschillende stappen bestaat (Let op: deze staan los van de Fasen van 2020). Dit nieuwe proces is sterk afhankelijk van het gebruik van een online indieningsformulier en heeft de meeste pdf-/documentformaten die aanvragers vóór 2021 gebruikten uitgefaseerd. Samenvattend zijn de huidige stappen:

  • Stap 1: Een mini-applicatie (tekst, video, pitch dek). Om te slagen moeten ten minste twee van de vier beoordelaars de aanvraag goedkeuren.
  • Stap 2: Een lange aanvraag (tekst, ondersteunende documenten, pitchdeck). Tenminste 3 van de 3 beoordelaars moeten de aanvraag goedkeuren om te slagen.
  • Stap 3: Een interview op afstand of persoonlijk. Alle juryleden moeten de aanvraag goedkeuren om te slagen.

Startups moeten dat doen doorloop alle drie de stappen met succes in de aangegeven volgorde om de EIC Accelerator-financiering te ontvangen. Elke poging tot stap, succesvol of niet, zal eveneens gedetailleerd commentaar krijgen van de beoordelaars of juryleden.

Let op: Via het fast-track programma dat door de EIC wordt geïmplementeerd, kunnen sommige bedrijven bepaalde stappen overslaan als aan de betreffende voorwaarden wordt voldaan.

Stap 1

Stap 1 is bedoeld om wek de interesse van de beoordelaar zoals de EIC heeft verklaard. Het is een zeer korte versie van een businessplan en biedt geen gedetailleerde informatie over de financiën, de geplande werkpakketten of andere cruciale onderdelen van het innovatieproject. Zelfs het pitchdeck wordt teruggebracht tot een document met 10 dia's gelezen en niet daadwerkelijk gepitcht.

De succesdrempel van stap 1 is heel gemakkelijk te overschrijden, aangezien slechts twee van de vier beoordelaars op afstand een positieve beoordeling hoeven te geven, waardoor een aanvrager door kan gaan naar stap 2 (zie succespercentages).

Stap 2

Stap 2 is een zeer diepgaande presentatie van het voorgestelde innovatieproject, aangezien het de creatie van een businessplan vereist dat vrijwel uitsluitend uit tekst bestaat, zeer weinig visuele gegevens biedt en de aanvragende KMO's vraagt om veel gedetailleerde vragen te beantwoorden. Deze omvatten de waardeketen, productbeschrijvingen, technische achtergronden, marktanalyses, commerciële strategieën en nog veel meer details.

Deze stap is de meest selectieve en ook de meest werkintensieve fase van de EIC Accelerator gebleken.

Stap 3

Stap 3 is een interview op afstand of persoonlijk, dat bestaat uit: Een pitch van 10 minuten en een vraag- en antwoordsessie van 35 minuten. Het interview zal gebaseerd zijn op de ingediende Stap 2-aanvraag en het pitchdeck, maar de juryleden zijn mogelijk niet goed bekend met alle aangeboden inhoud.

Lineaire progressie tussen stappen

Hoewel het nieuwe proces voor EIC Accelerator-toepassingen er modern uitziet en aanvoelt, heeft het een nieuwe laag problemen toegevoegd die onderling verbonden is met de driestappenstructuur.

Bij het genereren van een sollicitatieproces waarbij bedrijven gedurende meerdere maanden worden gescreend, is het belangrijk ervoor te zorgen dat elke evaluatiestap een lineair verloop vertoont ten opzichte van de voorgaande. Als de beoordelingen van Stap 1 en Stap 2 te veel van elkaar verschillen, leidt dit onvermijdelijk tot verspilde moeite voor zowel de aanvragers als de reviewers.

Om transparant te zijn over dit feit zou de EIC kwaliteitscontrolegegevens moeten publiceren waarin de resultaten van alle drie de stappen, indien beschikbaar voor elke aanvrager, met elkaar in verband worden gebracht om vast te stellen of een sectie consistent over meerdere stappen is beoordeeld. Als alle beoordelaars in stap 2 een zeer gedetailleerd bedrijfsmodel goedkeuren, maar de juryleden in stap 3 unaniem de kwaliteit ervan in twijfel trekken, zou het proces gebrekkig zijn.

Op basis van de eerste toepassingen in 2021 is het duidelijk dat de drie stappen een verschillende mate van diepgang hebben, een andere focus hebben en gebruik maken van verschillende evaluatorpools, wat inherent tot aanzienlijke beperkingen leidt. Als gevolg hiervan is het proces niet volledig lineair.

Conflicten tussen evaluaties

Bij een lineair aanvraagproces zou een project met een perfecte score in stap 1 het goed doen in stap 2. Een project dat tientallen pagina's over de commerciële strategie heeft gepresenteerd en door de beoordelaars in stap 2 een perfecte score heeft gekregen, zou deze beoordeling niet moeten krijgen. omgekeerd in stap 3. Hoewel het verschil in kwantiteit tussen stap 1 en stap 2 aanzienlijk is en kan leiden tot verschuivingen in de waargenomen kwaliteit, zou het verschil tussen stap 2 en stap 3 minuscuul moeten zijn.

In een lineair proces mag er nooit sprake zijn van een geval waarin een verdienmodel in stap 2 perfect werd beoordeeld en vervolgens in stap 3 met slechte beoordelingen werd afgewezen. Dergelijke gevallen komen echter wel vaker voor, aangezien ongeveer 50% aan aanvragers zal worden afgewezen. afgewezen in stap 3 waarbij de belangrijkste redenen commerciële aspecten zijn. Als het project tussen de twee stappen niet is veranderd, hoe is het dan mogelijk dat de Step 2-beoordelaars een project zo anders beoordelen dan de Step 3-jury?

De Stap 2-applicatie biedt een ongekend detailniveau vergeleken met voorgaande jaren, dus een gebrek aan inhoud zou een slechte reden voor de discrepantie zijn. Het is ook onwaarschijnlijk dat een aanvrager opzettelijk valse informatie zal verstrekken of frauduleus zal handelen, dus hoe kan een dergelijk resultaat worden verklaard?

EIC-juryleden versus externe beoordelaars

De uiteindelijke beslissers voor de subsidie- en aandelenfinanciering zijn de EIC-juryleden, maar deze zullen pas in de allerlaatste stap aan het project worden blootgesteld. Stap 1 en Stap 2 maken gebruik van een groep van duizenden externe beoordelaars, maar geen van hen zal worden opgenomen in Stap 3 – de belangrijkste stap. De juryleden van stap 3 bestaan uit durfkapitalisten, engelinvesteerders, hoofden van lokale accelerators en andere bedrijfsexperts van verschillende gradaties. Aangezien er in de EU slechts een handvol van dergelijke bedrijfsdeskundigen beschikbaar is, moet de EIC vertrouwen op externe beoordelaars.

Vanwege tijdgebrek kunnen de juryleden niet deelnemen aan de grootschalige evaluaties in Stap 1 en Stap 2. Je zou ook kunnen stellen dat het onmogelijk is om een project te beoordelen zonder een persoonlijke pitch, maar de ingediende businessplannen zijn uiterst gedetailleerd en het Het moet mogelijk zijn een project accuraat te beoordelen.

Door deze lens bekeken zou het veranderen van het evaluatieproces van een tweestapsproces in 2020 naar een driestapsproces in 2021 wellicht voorbarig zijn geweest. Wat bereikt is, is dat de belangrijkste beslissers van de EIC Accelerator-subsidie slechts deel uitmaken van 33% van de Steps en slechts worden blootgesteld aan ca. 10% van alle toepassingen.

Het huidige EIC Accelerator-proces kan een achtbaanrit zijn voor aanvragers die veel lof kregen van de beoordelaars in Stap 1 en 2, maar scherpe kritiek van de Stap 3-jury. Hetzelfde kan worden gezegd van bedrijven die in stap 3 zouden zijn geslaagd, maar de kritiek van de beoordelaars in stap 1 en 2 nooit hebben doorstaan.

De toekomst van de EIC Accelerator

De uitdaging die moet worden aangegaan is aanzienlijk: Hoe vind je zonder al te veel moeite een speld in een hooiberg?

De EIC weet dat hun budget beperkt is en dat er uitstekende bedrijven bestaan – maar hoe kunnen ze die vinden?

Door gebruik te maken van een meer gestructureerd en geautomatiseerd evaluatieproces (dat wil zeggen de EIC-platform en AI-tool) is een goede eerste stap. Hier zijn extra functies die kunnen worden geïmplementeerd om het proces verder te verbeteren:

Het einde in gedachten

De eindevaluaties worden uitgevoerd door de juryleden in stap 3, die een heel ander niveau van expertise en focus hebben dan de evaluatoren op afstand. Deze juryleden zien slechts een fractie van alle aanvragers, wat betekent dat de EIC toestaat dat ongeveer 90% aan aanvragers wordt afgewezen op basis van twijfelachtige beoordelingen.

Omdat de externe beoordelaars zelfs de zeer gedetailleerde Stap 2-aanvragen duidelijk verkeerd beoordelen, moet er een mechanisme zijn om ofwel de jury bij de eerste stappen te betrekken, ofwel om de pool van externe beoordelaars verder te vergroten op basis van prestatiegegevens. Het probleem met de eerstgenoemde aanpak is dat het aantal beoordelaars op afstand zeer beperkt is, terwijl de laatstgenoemde aanpak een aanzienlijke data-analyse zou vergen.

De drempelwaarden wijzigen

Op basis van de verzamelde gegevens uit 2021 kan worden beoordeeld of de huidige drempels geschikt zijn voor dit type financiering. Als succesvolle aanvragen die in Stap 1 2 van de 4 positieve beoordelingen krijgen, Stap 3 niet halen of deze stap niet halen, kan de drempel verhoogd worden (dus 2/3 of 3/4).

Dit zou de werklast voor Stap 2-aanvragen verminderen en ruimte creëren voor juryleden om tot op zekere hoogte deel te nemen (dwz alleen de pitchdecks bekijken of een speciale 3-pager). Een aanpak zou kunnen zijn om Stap 2-kandidaten met een drempel van 2/3 of 3/4 te selecteren en vervolgens juryleden de definitieve selectie te laten uitvoeren op basis van een 3-pager of pitchdeck, nog voordat de uitnodigingen voor een interview worden uitgegeven. Met deze aanpak kan worden vermeden dat er perfecte consensus nodig is tussen beoordelaars op afstand, die niet over hetzelfde expertiseniveau beschikken als de juryleden.

Het type evaluatie wijzigen

Afhankelijk van de feedback die in stap 3 wordt ontvangen, kunnen de evaluatiecriteria in stap 1 en 2 worden gewijzigd als de belangrijkste reden voor afwijzingen zeer consistent is onder de falende aanvragers (dwz onvoldoende bedrijfsplan, gebrek aan verstoring). De huidige stap 1 fungeert als een teaser voor het project, het team en de innovatie, maar het zou misschien beter zijn om zich te concentreren op bijvoorbeeld de business case, concurrentie en product-markt-fit als dat was wat de meeste Stap 3-afgewezenen ontbeerden.

Hetzelfde geldt voor stap 2, waar aanvragers een grote hoeveelheid informatie moeten voorbereiden, maar als 50% van de aanvragers in stap 3 nog steeds wordt afgewezen, heeft het geen zin om zoveel details te eisen. Als het financieringspercentage in stap 3 90% was, zou dit de hoge informatiedichtheid waar in stap 2 om werd gevraagd valideren, maar het lijkt duidelijk geen extra waarde te bieden vergeleken met de aanvragen voor 2020, afgezien van het opwerpen van een werklastbarrière voor aanvragers. Het zou een verstandige aanpak kunnen zijn om de hoeveelheid tekst in stap 2 te halveren.

Analyse van de pool van beoordelaars

Alle EIC Accelerator-aanvragers hebben gedetailleerde opmerkingen over hun aanvraag ontvangen, inclusief zowel positieve als negatieve opmerkingen. Hierdoor hebben startups een transparanter beeld gekregen van het interne evaluatieproces, maar het heeft ook het gebrekkige systeem aan het licht gebracht dat de EIC gebruikt. Als in stap 2 twee beoordelaars het uitstekende bedrijfsmodel prijzen, kan het voorstel nog steeds worden afgewezen als de derde beoordelaar het er niet mee eens is. De verklaring die de EIC geeft is dat je moet overtuigen alle beoordelaars en er wordt geïnsinueerd dat de twee positieve beoordelingen zouden kunnen hebben gemist wat de derde beoordeling bekritiseerde.

Maar er zijn duidelijke problemen met deze benadering en redenering. Het perspectief van de beoordelaars is sterk afhankelijk van hun achtergrond en ervaring. Het is duidelijk dat er zowel zeer deskundige beoordelaars zijn als beoordelaars die op bepaalde gebieden geen expertise hebben. Als de beoordelaars de juiste juryleden zouden zijn voor een EIC-financieringsbesluit, zou er geen jury nodig zijn, aangezien alle winnaars van stap 2 even geschikt zijn voor financiering. Of de evaluatoren op afstand kunnen als jurylid deelnemen aan een pitchevenement, maar dat is niet het geval.

Vermoedelijk is de EIC zich bewust van de tekortkomingen van haar beoordelaarspool, maar heeft zij niet meegedeeld hoe zij zal ingrijpen. Helaas wordt er op een zeer ondoorzichtige manier met deze groep beoordelaars omgegaan.

Analyse van de pool van beoordelaars: Stap 1 & 2 Evaluatorscore

Een oplossing hiervoor zou kunnen zijn om gegevens te gebruiken die zijn gebaseerd op de duizenden evaluaties die in 2021 zijn uitgevoerd. Omdat voor elk belangrijk onderdeel van de aanvraag beoordelingen worden gegeven en consensus tussen evaluaties een sleutelfactor is, kan de EIC de beoordelaars segmenteren op basis van de nauwkeurigheid van hun beoordeling. resultaten. Als een beoordelaar consequent negatieve cijfers geeft, is die beoordelaar mogelijk niet geschikt om dergelijke beoordelingen uit te voeren, wat ook geldt voor degenen die projecten consequent positief beoordelen.

Als we verder gaan, kan AI-data-analyse worden gebruikt om de algemene redenen voor afwijzingen te identificeren en deze te vergelijken met de andere evaluaties, evenals de achtergrond en trackrecord van de betreffende beoordelaar. Als een beoordelaar met een wetenschappelijke en universitaire achtergrond het bedrijfsmodel bekritiseert terwijl twee ondernemende beoordelaars het prijzen, dan mag eerstgenoemde niet worden meegewogen in het eindresultaat en omgekeerd.

De EIC kan hun beoordelaars vragen vragenlijsten in te vullen, zoals:

  • Heeft u al eerder een bedrijf opgericht?
  • Heeft u een CEO-functie bekleed?
  • Wat is de grootste financiering die u tot nu toe bij investeerders heeft opgehaald?
  • Hoe beoordeelt u uw wetenschappelijke kennis op het gebied van de chemie?

Dit kan vervolgens worden gebruikt om beter te begrijpen wat een afwijzing of goedkeuring van een beoordelaar voor een project betekent.

Analyse van de pool van beoordelaars: stap 3: vertrouwensscore

Als verlengstuk kan de EIC introduceren Vertrouwen scoort voor beoordelaars die aangeeft hoe nauwkeurig een beoordelaar een project beoordeelt op basis van de jurybevestiging.

Om dit te bereiken kan men de score van stap 3-juryleden, die de uiteindelijke beslissers zijn, als referentie gebruiken en met elkaar in verband brengen welke stap 2-beoordelaars niet in staat waren te identificeren wat een goed bedrijfsmodel of innovatie zou zijn. Deze methode kan een aantal beoordelaars uitsluiten die het project niet nauwkeurig hebben beoordeeld, maar helaas zal zij alleen de beoordelaars uitsluiten die zich op het positieve baseren in plaats van op het negatieve.

De beoordelaars die geschikte kandidaten afwijzen vanwege een slecht beoordelingsvermogen zullen minder snel worden gefilterd met behulp van deze aanpak, aangezien de afgewezen projecten stap 3 niet halen (tenzij de voorgestelde betrokkenheid van de jury wordt geïmplementeerd). Als aanvulling hierop kunnen herinzendingen als gegevensbron worden gebruikt. Als een project in stap 2 is afgewezen en vervolgens opnieuw is ingediend om stap 3 met succes te bereiken, kunnen de oorspronkelijke stap 2-beoordelaars die het project hebben afgewezen, worden uitgefilterd.

Een beperking van deze benadering is dat een hernieuwde indiening van stap 2 substantiële veranderingen zou kunnen hebben doorgevoerd die eerdere onvolkomenheden hebben verholpen, waardoor de aanvankelijke afwijzing accuraat is geworden. Maar als de dataset aanzienlijk groter is, kunnen dergelijke gevallen worden geïdentificeerd.

Op basis van de verzamelde gegevens, waarbij de beoordelingen uit stap 3 als referentie worden gebruikt, kunnen de beoordelaars worden beoordeeld en kunnen de hooggeplaatste beoordelingen worden gebruikt in stap 2, terwijl de laaggeplaatste beoordelingen kunnen worden gebruikt in stap 1 of uit de pool kunnen worden verwijderd. Aanvragers besteden een aanzienlijke hoeveelheid tijd aan stap 2-indieningen en herindieningen. Daarom moet de EIC eraan werken om tegenstrijdige beoordelingen in stap 1, 2 en 3 te vermijden.

Over

De artikelen gevonden op Rasph.com weerspiegelen de meningen van Rasph of zijn respectieve auteurs en weerspiegelen op geen enkele manier de meningen van de Europese Commissie (EC) of de European Innovation Council (EIC). De verstrekte informatie is bedoeld om perspectieven te delen die waardevol zijn en kan aanvragers mogelijk informeren over subsidiefinancieringsregelingen zoals de EIC Accelerator, EIC Pathfinder, EIC Transition of aanverwante programma's zoals Innovate UK in het Verenigd Koninkrijk of de Small Business Innovation and Research Grant (SBIR) in de Verenigde Staten.

De artikelen kunnen ook een nuttige bron zijn voor andere adviesbureaus op het gebied van subsidies, maar ook voor professionele subsidieschrijvers die als freelancer worden ingehuurd of deel uitmaken van een midden- en kleinbedrijf (MKB). De EIC Accelerator is onderdeel van Horizon Europa (2021-2027) dat onlangs het vorige kaderprogramma Horizon 2020 heeft vervangen.


- Neem contact met ons op -

 

EIC Accelerator-artikelen

Alle in aanmerking komende EIC Accelerator-landen (inclusief het Verenigd Koninkrijk, Zwitserland en Oekraïne)

Uitleg van het herindieningsproces voor de EIC Accelerator

Een korte maar uitgebreide uitleg van de EIC Accelerator

Het one-stop-shop-financieringskader van de EIC (Pathfinder, Transition, Accelerator)

Kiezen tussen EIC Pathfinder, Transition en Accelerator

Een winnende kandidaat voor de EIC Accelerator

De uitdaging met EIC Accelerator open oproepen: MedTech-innovaties domineren

Ga zelf financieren: zijn EIC Accelerator-aandeleninvesteringen nodig? (Presentatie Grant+)

EIC Accelerator DeepDive: analyse van de sectoren, landen en financieringstypen van EIC Accelerator-winnaars (2021-2024)

Diep graven: de nieuwe DeepTech-focus van de EIC Accelerator en de financieringsknelpunten ervan

Zombie-innovatie: EIC Accelerator-financiering voor de levende doden

Smack My Pitch Up: de evaluatiefocus van de EIC Accelerator veranderen

Hoe diep is uw technologie? Het European Innovation Council-impactrapport (EIC Accelerator)

Analyse van een gelekte EIC Accelerator-interviewlijst (succespercentages, sectoren, directe inzendingen)

Het besturen van de EIC Accelerator: lessen die zijn geleerd uit het proefprogramma

Wie moet niet solliciteren op de EIC Accelerator en waarom

Het risico van het presenteren van alle risico's in het High-Risk EIC Accelerator-programma

Hoe u een EIC Accelerator-herindiening voorbereidt

Hoe u een goede EIC Accelerator-toepassing voorbereidt: algemeen projectadvies

Een EIC Accelerator-weerlegging opstellen: uitleg over herindieningen van subsidievoorstellen

 

Rasph - EIC Accelerator-advies
nl_NL