Analisi del punteggio International Crossroads – Parte 2

Punteggi a confronto - Graduatorie Principi Attivi

Rieccomi, come promesso, a continuare la discussione dei risultati delle graduatorie di Principi Attivi iniziata con lo scorso post. Mi scuso per non essere riuscito a postare prima ma la settimana è stata molto intensa.

Detto questo, ricordo che nello scorso post si è parlato di quali fossero i criteri adottati nella valutazione dei progetti partecipanti al bando di Principi Attivi. Ad arricchire la discussione è giunto un graditissimo ed inatteso commento da parte dello staff di Bollenti Spiriti, sempre cortese e attento alle dinamiche del web 2.0. Ci è stata ampiamente illustrata l’architettura e la bontà dell’impianto di valutazione, costruito ad hoc per garantire stesse chances di finanziamento a progetti orientati su campi molto diversi tra loro per esempio inclusione sociale e la cittadinanza attiva da un lato, economia dell’innovazione dall’altro) e per interdire fenomeni illegittimi.

La prima osservazione, naturalmente di natura numerica, che scaturisce dalle indicazioni forniteci dallo staff BS è che il punteggio massimo assoluto di 200 è fondamentalmente teorico, perché difficilmente un’idea progettuale è depositaria contemporaneamente di tutti gli aspetti sottoposti a valutazione e che sono orientati ai diversi settori. E’ più probabile, com’è effettivamente avvenuto, che i progetti migliori si distinguano per due dei tre aspetti citati dallo Staff BS. Per tale ragione, e stando ai vari punteggi nei singoli campi, è da considerare punteggio pieno un valore di circa 175-185.

Pertanto cercare di misurare la prestazione semplicemente rapportando il proprio punteggio al limite massimo di 200 è solo in prima approssimazione accettabile. Tuttavia questo parametro è conservativo e rappresenta un primo indicatore, col vecchio metodo scolastico del voto. Per International Crossroads:

160/200 = 8/10 -> non male!

L’analisi che seguirà sarà naturalmente basata sulla misurazione dei punteggi attribuiti ai singoli campi relazionati al relativo massimo, ma farà anche uso di due nuovi termini di riferimento rappresentati dal punteggio del gruppo che si è classificato in prima posizione e da quello dell’ultimo progetto ammesso a finanziamento. In tal modo, la prestazione di International Crossroads è messa in relazione a quella degli altri progetti finanziati. I risultati sono riportati nella tabella in testa all’articolo.

Innanzitutto si nota che ci sono 100 progetti tra il nostro e l’ultimo in posizione utile, col quale però si hanno solo 4 punti di differenza nel punteggio complessivo. Questo è segno che la “lotta” competitiva è stata davvero sanguinosa, ovvero tantissimi erano i progetti in gioco e pochi fondi a disposizione. Si osserva poi una certa omogeneità globale nei risultati, dovuta a punteggi parziali comunque molto alti anche se non massimi.

International Crossroads riceve 75 punti (su 100) nella prima parte (quella ispirata ai principi del project management) ed 85 punti (su 100) sulla seconda parte, quella depositaria degli obiettivi specifici che la Regione Puglia ha attribuito a Principi Attivi. Proprio in questi criteri il progetto sembra ottenere valutazioni eccellenti. Infatti, il gruppo è stato considerato più che qualificato (nei prossimi post conoscerete nel dettaglio il team). L’idea è stata poi ritenuta innovativa, e lo è ve lo assicuro! Inoltre posso dire che l’idea è assolutamente originale in quanto si innesta su una realtà esistente peculiare. Sarebbe quindi stato impossibile trovare un progetto identico, né è stato presentato in edizioni passate. In quanto a contributo allo sviluppo, il progetto di International Crossroads risulta essere il più quotato dei tre presi in considerazione. In effetti, come si spera,  se il progetto riuscirà ad entrare effettivamente a regime sortirà i suoi effetti, in termini di sponsorizzazione del marchio Puglia e di flussi turistici e lavorativi cui corrisponde un proporzionale movimento economico. In termini di speranze di follow up, International Crossroads sembra essere considerata sufficientemente strutturata per sperare nella continuazione del progetto stesso negli anni a seguire, quando dovrà andare sulle proprie gambe.

Abbiamo così fatto scorrere velocemente (ma più approfondite considerazioni si faranno in corrispondenza della presentazione del progetto stesso) i punteggi afferenti ai campi dove il progetto ha ottenuto una buona valutazione. Tuttavia, e non a caso, si è lasciato in ultimo il discorso della fattibilità ed efficacia attesa, che sembra essere l’unico valore discordante nel punteggio complessivo.

Infatti, si parla di 25/40 ovvero di 6.25/10, un punteggio comunque sufficiente ma inferiore a quello dei gruppi presi a confronto. A tal proposito è stata presa in considerazione una ipotesi giustificativa che tiene in conto delle difficoltà operative individuate nel formulario presentato e specificamente afferenti alla necessità di iniziare le attività al principio del 2011. In dettaglio, il progetto di International Crossroads, che punta a gestire sotto il programma IAESTE il flusso di scambi di tirocinanti europei ed extra-UE, deve fare i conti con tempistiche diverse che rischiano di non avere sufficiente margine di sovrapposizione. Da un lato vi sono le procedure amministrativa associate alla formalizzazione del finanziamento, dall’altro il rigido protocollo di affiliazione all’associazione internazionale no profit IAESTE.

Noi infatti avevamo richiesto di iniziare immediatamente, prevedendo attività a partire da gennaio. Abbiamo poi verificato, invece, la possibilità di posticipare la partenza del progetto, risolvendo questo punto critico. Questa è tuttavia solo una ipotesi interpretativa e potrebbero essere altri i punti che hanno determinato un punteggio non in linea con il trend complessivo di giudizio. Infatti il corrispondente punto del bando recita:

FATTIBILITÀ ED EFFICACIA ATTESA

Realizzabilità dell’idea proposta e presenza di fattori chiave che ne rafforzino la fattibilità, in relazione con i vincoli e le criticità tipiche del settore di intervento. Capacità del progetto di conseguire gli obiettivi dichiarati.

Come si può dedurre sono molti i punti che influiscono in questo campo valutativo. E’ probabile che il progetto non sia stato ritenuto in grado a conseguire pienamente gli obiettivi dichiarati, o che i vincoli e le criticità del settore possano essere risultati pesanti. Chiederemo quindi di accedere alla valutazione per capire in quali direzioni il progetto necessiti di un potenziamento o di strategie risolutive.

L’analisi si arresta qui per oggi. Dal prossimo articolo inizierà la pubblicazione del testo del formulario, nelle varie parti che lo compongono, e potremo così conoscere il team, gli obiettivi, il contesto, le previsioni e il contributo che il progetto possa offrire al territorio.

Non mi resta che augurarvi buona settimana e buon lavoro!

 

 

 

Analisi del punteggio – Graduatorie Definitive P.A. 2010

Ben ritrovati. Inizia qui la preannunciata fase di analisi del progetto International Crossroads, risultato ammissibile al bando di Principi Attivi 2010 nell’ambito del programma Bollenti Spiriti della Regione Puglia.

Il primo passo che effettueremo in questo percorso, da interpretare come un diario di ragionamenti fatti ad alta voce da un’anima collettiva, è molto istintivo. Si tratta dell’analisi del punteggio.

 

Il punteggio e l’impianto valutativo

 

Se appare scontata e naturale l’analisi del punteggio da parte di chi ha visto il proprio progetto non ammesso a finanziamento, lo stesso atteggiamento non è automatico da parte di chi, invece, è rientrato tra gli ammessi a finanziamento. Eppure, questo è davvero il primo passo per capire quale sia stata l’impressione che il progetto abbia fatto sulla commissione, ovvero su un pubblico di persone esterne al gruppo informale che hanno conosciuto l’idea solo attraverso una presentazione di sintesi, in approccio semplificato di bussiness plan. In altre parole, la valutazione di un’idea (sebbene affetta da soggettività), effettuata da persone terze e competenti, rappresenta un primo test comunicativo e allo stesso tempo un meccanismo di misura, in prima istanza, dell’idea stessa. Questa fase è sinteticamente descritta da numeri, che nello specifico assumono significato e valenza di indicazione riguardo ai punti di forza e debolezza dello stesso.  Tuttavia questi numeri devono essere interpretati correttamente, in rapporto al ruolo che gli stessi assumono per la quantità che misurano e all’importanza delle singole quantità in relazione alle altre. Il significato di tante parole sarà presto chiaro quando andremo a guardare propriamente il punteggio. Prima, però, è chiaramente importante cercare di capire quali fossero i parametri di giudizio pubblicati nel bando:

A.       CONOSCENZA DEL CONTESTO TERRITORIALE E SETTORIALE DI RIFERIMENTO

Conoscenza del contesto in termini di bisogni, tendenze in atto, analisi della domanda e dell’offerta, minacce ed opportunità dell’ambiente esterno.

Punteggio: da 0 a 20.

B.        QUALITA’ DEL PROGETTO

Chiarezza nella definizione degli obiettivi, presenza di indicatori verificabili del loro raggiungimento, articolazione coerente e realistica delle risorse e delle attività previste, coerenza nel rapporto tra gli obiettivi indicati, le risorse impiegate e l’organizzazione prevista.

Punteggio: da 0 a 40.

C.          FATTIBILITÀ ED EFFICACIA ATTESA

Realizzabilità dell’idea proposta e presenza di fattori chiave che ne rafforzIno la fattibilità, in relazione con i vincoli e le criticità tipiche del settore di intervento. Capacità del progetto di conseguire gli obiettivi dichiarati.

Punteggio: da 0 a 40.

D.          INNOVATIVITÀ

Innovatività dell’idea rispetto allo stato delle conoscenze, al territorio nel quale interviene, al mercato al quale si rivolge.

Punteggio: da 0 a 25.

E.          CONTRIBUTO ALLO SVILUPPO DEL TERRITORIO

Capacità del progetto di contribuire allo sviluppo sociale, economico e territoriale della comunità regionale e/o delle comunità locali sulle quali interviene.

Punteggio: da 0 a 25.

F.           FOLLOW-UP

Prospettive di continuità e sviluppo dell’idea progettuale (soluzioni per il reperimento delle risorse, la prosecuzione delle attività, la diffusione dei risultati, il rafforzamento degli effetti attesi dal progetto).

Punteggio da 0 a 20.

Sommando tutti i campi di giudizio, che vanno da A ad F, il punteggio totale massimo è in assoluto 200.

E’ quindi già possibile stabilire i rapporti di forza dei vari campi rispetto al totale e relativamente agli altri. Si osserva subito che i campi A ed F sono quelli a minor importanza. Entrambi incidono per il 10% della valutazione. Di poco più importanti (12.5% della valutazione) sono i campi D ed E. Semplicisticamente, quindi, possiamo dire che un progetto innovativo o in grado di favorire lo sviluppo del territorio, è più forte di uno che abbia possibilità di essere portato avanti nel tempo o che sia ben contestualizzato nel settore di riferimento. Vediamo poi che gli aspetti B e C sono quelli predominanti. Ognuno di essi incide per il 20% della valutazione complessiva, e, sommati, hanno importanza pari a quasi la metà della valutazione. Riassumendo, l’idea di fondo che traspare dalla distribuzione dei punteggi dei singoli criteri di valutazione sembra essere la seguente.

Innanzitutto il valore del progetto presentato si misurerà in termini di qualità del progetto e fattibilità ed efficacia attesa. Il primo aspetto implica avere le idee chiare, gli strumenti per misurare la propria prestazione e la consapevolezza nell’uso delle risorse. Il secondo aspetto implica le reali possibilità di successo, in relazione al contesto settoriale d’azione e alle strategie che si intendono adottare nel conseguimento degli obiettivi.

In secondo luogo, si può fare la differenza dimostrando di avere buona conoscenza di bisogni e tendenze in atto, di proporre un’idea innovativa, di contribuire a proprio modo a vantaggio del contesto territoriale in cui il progetto si muove, di avere speranze di portare avanti il progetto negli anni a seguire quello di finanziamento.

Dal mio punto di vista l’impianto valutativo è integralmente condivisibile. E capisco la scelta tutta politica di dare poca importanza al follow-up.

In questo tentativo di definire compiutamente i settori di valutazione si è senz’altro compiuta l’approssimazione di non considerare la correlazione che esiste tra i vari criteri (i campi B e C prescindono dal campo A). L’ipotesi è quindi solo parzialmente valida. Tuttavia l’analisi dei rapporti di forza è necessaria per poter avere un quadro completo dell’impianto concettuale dei criteri valutativi e per capire che un’idea davvero forte deve essere ben sostenuta e ben pianificata per essere ammissibile al finanziamento!

Ultima nota, i progetti sono considerati sufficienti a concorrere per il finanziamento se ottengono un punteggio non inferiore a 140/200.

 

Essendomi un po’ “sdilungato” (a dirla con il mitico Benigni) continuerò con questo capitolo di analisi del punteggio nel prossimo post, dove verrò a discutere in dettaglio di International Crossroads.

Siete invitati intanto a dire la vostra riguardo ai criteri di valutazione. A prestissimo!

 

Graduatorie Principi Attivi: International Crossroads ce la fa

Cari amici,

torno a postare sul blog con il primo articolo del 2011. Approfitto subito per farvi i miei migliori auguri di buon anno: che questo sia un anno ricco di soddisfazioni lavorative e personali, da godersi in piena salute.

Personalmente, devo dire, l’anno comincia bene, ovvero dal punto in cui è finito il 2010: la pubblicazione della Graduatoria Definitiva di Principi Attivi 2010. Infatti, il progetto di cui sono referente, dal titolo “Apulia: the Italian crossroad to the International Exchange”, è risultato essere alla 97° posizione nella graduatoria definitiva, risultando così ammesso al finanziamento per un importo totale di 25000 €.



Per chi non avesse ancora visionato la graduatoria, troverà utile il seguente link al pdf contenente la lista dei progetti ritenuti ammissibili e di quelli finanziati:

http://bollentispiriti.regione.puglia.it/dmdocuments/Graduatoria_PrAtt_2010.pdf

Vengo qui ad un primo commento ai dati, a conclusione di una fase iniziata nello scorso novembre, in cui si sono analizzati i dati attraverso un filtro territoriale posizionato sul comune melendugnese, i cui progetti sono stati poi raccolti in una sintetica rassegna descrittiva e illustrativa.

Si conferma la previsione che tra tutti i progetti partecipanti al bando e proposti da giovani melendugnesi e borgagnesi, la probabilità che almeno un progetto fosse finanziato era piuttosto alta. Stando alle percentuali infatti, i progetti finanziati sono stati circa il 9% (190 di 2160), valore prossimo a quello dei progetti “melendugnesi” (1/13 = 8%). In statistica si direbbe che il campione assunto è risultato significativo e la previsione attendibile, in quanto i progetti sono stati estratti casualmente (criterio territoriale) dal mucchio complessivo. Infatti, la provenienza territoriale, unico elemento comune tra i progetti stessi, non rappresentava in alcun modo oggetto di valutazione né ha influenzato i contenuti delle idee presentate. E pertanto il campione rappresentava in modo adeguato l’intera popolazione.

Naturalmente sono felice che il mio progetto sia risultato ammesso al finanziamento. Tuttavia temevo di non riuscirci viste le basse probabilità di successo e certo del fatto che molti dei progetti melendugnesi sarebbero risultati ammissibili ma non finanziabili. Si è quindi ora creata la situazione che mi aveva spinto ad organizzare l’incontro informale dei progetti melendugnesi. Ora, tra i progetti non finanziati, chi è veramente intenzionato a procedere, per esempio cercando di accedere ad altre fonti di finanziamento o con mezzi propri, può prendere in considerazione l’idea lanciata nell’incontro stesso, ovvero di unirsi per dare più forza e vigore alle ottime idee. Alcune di esse, infatti, appartenendo al medesimo settore, potrebbero essere riorganizzate e potenziate nell’ottica dell’ottimizzazione, della minimizzazione dei costi, o anche solo di condivisione degli spazi o delle strategie di foundraising.

Un’altra osservazione di natura numerica, ma dal chiaro significato qualitativo, scaturisce dalla lettura dei punteggi che risultano compresi tra 182 e 150. Ebbene, scorrendo la graduatoria si può osservare come il numero di progetti pari merito cresca rapidamente andando dal 182 in giù, fino a raggiungere i valori massimi intorno al 140, per poi ridursi nuovamente fino al fondo della graduatoria. Questa banale osservazione, che, sempre in statistica, farebbe pensare ad una distribuzione normale, fa scaturire la seguente considerazione. Sebbene magari fossero stati predefiniti aprioristicamente e “oggettivamente” dei parametri di valutazione, la soggettività di misurazione associata ai diversi membri della commissione può aver influito sulle valutazioni dei singoli progetti e, più in generale, su blocchi di progetti passati attraverso le stesse mani. Tre/quattro punti di differenza (attribuibili alla “sensibilità” dello strumento adottato, ovvero dei valutatori), per i progetti che si trovano nella fascia media, farebbero scorrere incredibilmente la posizione in graduatoria dello stesso. Tuttavia, questo è un problema intrinseco e costitutivo di ogni metodo di valutazione, per quanto i membri della commissione possano essersi a lungo esercitati a valutare (date le loro provenienze professionali) e per quanto possa essere stata messa in campo la massima serietà e correttezza. Intendo quindi indirizzare la vostra attenzione verso un aspetto di sicura importanza: la qualità e l’efficacia con cui si è comunicata la propria idea.

A tal proposito, consapevole di questo aspetto, il mio gruppo si è molto impegnato affinché l’aspetto comunicativo fosse curato almeno quanto la sostanza stessa del progetto. La pulizia nell’aspetto del formulario, la terminologia adottata, l’attenzione ai dettagli, la consequenzialità e il processo logico adottato, la ricerca di ogni singolo errore ortografico, la riformulazione di frasi poco chiare, la somministrazione del formulario ad amici e parenti che non avessero idea del progetto, hanno giocato un ruolo importante nella fase di perfezionamento del formulario stesso. E’ evidente quindi che questa fase processuale ricorsiva:

-          non ha termine perché il progetto non risulterà mai scritto bene ed è sempre perfezionabile (guai se fosse altrimenti – questa è una condizione psicologica fondamentale per chi ama fare bene ciò che fa);

-          ci vuole il tempo necessario per attuare questa importantissima fase (personalmente diffido di chi sostiene di aver scritto il proprio progetto in poche ore).

A mio modo di vedere lo staff si è sempre comportato in modo efficiente ed efficace, e in pieno spirito collaborativo e di trasparenza. So che l’intero apparato di Bollenti Spiriti è in fase di studio in Europa per le sue qualità di efficienza. Credo che anche la commissione si sia comportata bene, nello spirito di correttezza e imparzialità, anche se ha immancabilmente ricevuto accuse di mancanza di lucidità e qualche volta di aver commesso errori grossolani. Non sono nella condizione di commentare queste accuse, dal momento che la mia opinione potrebbe essere considerata non imparziale e che non ho letto altri formulari (però ho assistito ad ottime presentazioni da parte di stimatissimi compaesani). In onestà mi sono chiesto come mai il progetto che consideravo più in linea con i motivi fondamentali di Principi Attivi non sia poi stato ammesso a finanziamento. Mi riferisco, chiaramente, al Col-laboratorio Sociale. Invito pertanto chiunque ad esprimere la propria impressione e chi ne avesse voglia a riportare la propria esperienza.

Mi accingo quindi a conclusione, tornando a focalizzarmi sul mio progetto, che vedrà la creazione di International Crossroads, agenzia che lavorerà in esclusiva in Italia per il programma IAESTE. Si tratta dello scambio di tirocinanti universitari e neolaureati che desiderano effettuare una qualificante e formativa esperienza di tirocinio all’estero, adeguatamente remunerata, di durata variabile dalle poche settimane ai 12 mesi.

Il progetto sembra avere un gemello complementare che si occuperà di gestire altre tipologie di tirocini afferenti alla categoria LLP/Erasmus Placement. Le differenze tra la natura dei tirocini offerti dalla nostra agenzia e quelli del gruppo “E.S.E. Erasmus Student Experience“ verrà attentamente discussa nei prossimi post.

Vi annuncio, infatti, che continuerò a parlare di IAESTE e di International Crossroads nei prossimi post. In particolare, intendo pubblicare in più puntate il formulario presentato dal mio gruppo a Principi Attivi 2010, tutto o almeno nelle sue parti significative. Lo scopo sarà di rendere visibile a tutti e trasparente il nostro progetto, e di continuare il perfezionamento dell’idea in questa fase post-graduatorie e nell’attesa di ulteriori comunicazioni ufficiali, allargando così il gruppo di coloro che hanno contribuito con una piccola od una grande idea a dare forma al progetto.

Il prossimo post partirà dall’analisi del punteggio..

Chiudo rinnovando i miei auguri per il 2011 a tutti voi.

Leandro