Calimero all'università: valutazione della didattica e sistema AVA
Date: 2014-06-19 00:00:00+02:00
Keywords: didattica; università; sistema AVA; valutazione didattica
Publisher: Fondazione Giovanni Agnellli

ISBN: 9788894006421

Calimero all’università:
valutazione della didattica e sistema AVA

Esperienze, stato dell’arte e prospettive
dell’assicurazione della qualità in Italia

Matteo Turri
(Università degli studi di Milano)

INDICE

EXECUTIVE SUMMARY

CAPITOLO 1
LE ESPERIENZE ITALIANE DI VALUTAZIONE DELLA DIDATTICA NELL’UNIVERSITÀ ITALIANA FINO AL 2012

CAPITOLO 2
QUALI INSEGNAMENTI DALLE ESPERIENZE EUROPEE DI ASSICURAZIONE DELLA QUALITÀ

CAPITOLO 3
L’AVVIO DEL SISTEMA AVA (AUTOVALUTAZIONE, VALUTAZIONE PERIODICA E ACCREDITAMENTO)

CAPITOLO 4
RACCOMANDAZIONI PER L’IMPLEMENTAZIONE DELL’ASSICURAZIONE DELLA QUALITÀ NELLE UNIVERSITÀ ITALIANE)

BIBLIOGRAFIA

NOTE

EXECUTIVE SUMMARY

Il tema dell’assicurazione della qualità (AQ) è da tempo al centro dell’attenzione di chiunque, non solo nel contesto strettamente accademico ma anche in ambito politico-istituzionale, abbia un legame con il mondo dell’università. Nel panorama italiano tappe significative sono state raggiunte nel 2011 con l’avvio dell’ANVUR (Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca) e nel 2013 con l’introduzione di un sistema di assicurazione di qualità della didattica universitaria denominato AVA (Autovalutazione, Valutazione periodica e Accreditamento).

Il sistema di valutazione in Italia e in Europa

Il sistema AVA è, però, soltanto il punto d’arrivo di un lungo processo che affonda le proprie radici in un ampio contesto in cui le esperienze maturate in ambito internazionale si affiancano a quelle elaborate nel nostro paese.

A questo scopo il rapporto fa precedere all’esame approfondito del sistema AVA un articolato excursus nel panorama della valutazione nel settore Università, in Italia e in altri paesi europei. Inizialmente, quindi, si prende in esame il percorso di valutazione della didattica nelle università italiane fino al 2012, che ha visto operare dal 1993 l’Osservatorio nazionale per la Valutazione del Sistema Universitario (OVSU) e successivamente, dal 1999, il CNVSU (Comitato Nazionale per la Valutazione del Sistema Universitario). In questo percorso, per quanto ampio e composito, non sono state compiutamente accolte le indicazioni del processo di integrazione delle politiche universitarie europee - noto con il nome di Bologna Process - e codificato, per gli aspetti inerenti l’AQ, dalle Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG): l’intero panorama della valutazione universitaria in Italia, nei fatti, è stato caratterizzato da un forte orientamento alla garanzia (premi/punizioni) mediante la raccolta e l’analisi di dati statistici e la verifica di parametri quantitativi.

Segue l’esame delle ormai pluriennali esperienze di AQ in Inghilterra, Paesi Bassi e Francia. Pur avendo promotori, tipologie di soluzioni valutative e connessioni alle decisioni in merito all’attivazione dei corsi di studio ben differenti, tutti e tre i sistemi presentano un comune riferimento alle ESG e la connessa adozione di metodologie valutative fondate su autovalutazione, visita esterna di peer e rapporto finale di valutazione. Le recenti evoluzioni di questi sistemi mostrano una convergenza verso l’alleggerimento delle procedure valutative - inteso come riduzione degli adempimenti amministrativi - e una decisa valorizzazione dell’istituzione quale primario attore dell’assicurazione della qualità. C’è, inoltre, nelle tre esperienze considerate un ulteriore e significativo elemento comune nella centralità attribuita agli studenti nei processi di valutazione.

Il sistema AVA: punti di forza…

È proprio sulla scia di queste considerazioni che il rapporto arriva a giudicare l’avvio del sistema AVA come un’evoluzione rilevante e positiva rispetto ai precedenti sistemi di valutazione attivati in Italia. Questo sistema, infatti, rappresenta la prima e - al momento - unica risposta italiana all’esigenza di AQ connessa al processo di creazione dell’European Higher Education Area (EHEA). È pertanto importante considerare come AVA sia una condizione imprescindibile per avere atenei in grado di confrontarsi e cooperare con istituzioni universitarie europee. Istanze quali l’orientamento al miglioramento e la presenza di verifiche esterne - elementi costituenti dell’AQ a livello europeo - trovano, di fatto, un primo reale riconoscimento solo nella procedura AVA, che rappresenta quindi un vero e proprio punto di svolta.

Da un attento esame degli standard ESG per l’assicurazione interna della qualità si può comprendere come il sistema AVA abbia una struttura articolata e ben strutturata in grado di rispondere a gran parte delle linee guida europee. Anche in relazione agli standard per l’assicurazione esterna della qualità emerge la generale validità di AVA in termini di rispondenza alle raccomandazioni dell’European Network for Quality Assurance in Higher Education (ENQA). L’impianto di AVA, pur con i limiti dovuti alla fase attuale di avvio delle procedure, risulta quindi in grado di rispondere, almeno potenzialmente, alle linee guida ESG in ordine a:

- adozione di una procedura articolata in autovalutazione/visita in loco/rapporto preliminare/pubblicazione del rapporto conclusivo/follow-up e ulteriore verifica;

- iniziative per la selezione e formazione degli esperti (valutatori esterni);

- possibile coinvolgimento di esperti internazionali;

- coinvolgimento degli studenti.

…e punti deboli

Accanto alle note positive, dal rapporto emergono anche le lacune del sistema AVA, soprattutto a partire dal confronto con le esperienze dei paesi europei esaminati e con le ESG.

Da un lato, a differenza di quanto accade nelle principali nazioni europee, non c’è una compiuta valorizzazione da parte del sistema AVA degli atenei quali primari attori dell’assicurazione della qualità: l’attenzione, infatti, rimane focalizzata sul corso di studio e sui suoi requisiti quantitativi.

D’altro canto, a fronte di una diffusa tendenza all’alleggerimento dei sistemi di valutazione delle nazioni europee esaminate, il sistema AVA adotta iter di valutazione fortemente standardizzati e molto dettagliati, che impongono agli atenei, ai dipartimenti e a tutti i singoli corsi di studio pesanti e periodici adempimenti. Il tutto in assenza, almeno per ora, di un’efficace comunicazione al personale coinvolto a proposito dell’utilità e dei benefici connessi a un lavoro così gravoso.

Il sistema AVA, inoltre, non prende nella dovuta considerazione la qualificazione del personale docente in termini didattici, rivelando una quasi totale assenza di attenzioni e stimoli sia per la promozione delle competenze connesse all’insegnamento, sia nei riguardi della verifica del profitto degli studenti. Le procedure adottate non sembrano, infatti, in grado di favorire una compiuta definizione di criteri chiari e pubblici per l’assegnazione dei voti né di stimolare la consapevolezza del personale incaricato di effettuare le verifiche, né, infine, di consentire la collegialità nell’attribuzione dei giudizi e nella codifica delle procedure connesse alle verifiche.

Un ultimo punto di debolezza del sistema AVA riguarda la poca attenzione alla leggibilità esterna delle procedure di assicurazione di qualità e ai suoi output, a discapito di una complessiva trasparenza dell’intero processo. I principali documenti del sistema AVA, inspiegabilmente e in contraddizione con le finalità dichiarate, non sono pubblici e anche le decisioni in merito all’accreditamento o non accreditamento dei corsi di studio non sono state adeguatamente comunicate. Il risultato è che, a fronte di un rilevante sforzo del personale accademico e degli atenei, i benefici per gli studenti e la collettività sono ancora trascurabili.

Proposte per il miglioramento

A partire dall’esperienza di altre nazioni e dall’esame del percorso della valutazione della didattica compiuto in Italia dal 1993 al 2012 il rapporto identifica nel capitolo conclusivo alcuni punti chiave su cui agire, con il duplice obiettivo di confermare i risultati raggiunti e di superare le difficoltà che i primi mesi di implementazione del sistema di AQ hanno messo in evidenza.

A fronte del rischio che il sistema di AQ scivoli verso l’adozione di procedure solo debolmente connesse ai processi di apprendimento anzitutto occorre ribadire e rafforzare la focalizzazione della valutazione sull’esperienza, sui processi di apprendimento degli studenti e sui risultati del percorso formativo.

Occorre che gli studenti e gli utenti siano compiutamente informati in merito ai risultati delle procedure di AQ ed è quindi oltremodo necessario che il sistema di AQ fornisca informazioni semplici e comprensibili agli studenti e a tutti gli stakeholders.

Il sistema di AQ dovrebbe poi stimolare l’attenzione alle particolarità presenti all’interno dell’offerta formativa degli atenei, valorizzando specificità disciplinari e territoriali anche in relazione alle diverse tipologie di studenti.

In linea con quanto previsto dalle ESG occorre, inoltre, che il sistema nazionale di AQ riconosca la responsabilità primaria delle istituzioni nei processi di promozione della qualità. Il processo di approvazione, monitoraggio e revisione dei corsi di studio dovrebbe avere come primario protagonista l’ateneo, sulla base di una riflessione strategica approfondita e condivisa.

Infine, è importante che le attività di AQ esterna adottino una logica di risk management che concentri le valutazioni in quegli ambiti che presentano maggiore esposizione al rischio di bassa qualità. Questa particolare attenzione non escluderebbe alcune verifiche di ampio spettro, ma le inserirebbe in un contesto di più ampio respiro, prevedendo intensità differenti di verifica per istituzioni, discipline e iniziative didattiche in base alla loro storia, all’esito di precedenti valutazioni e alla loro esposizione al rischio.

Il rapporto, sulla base di queste raccomandazioni, arriva pertanto a proporre alcune misure, compatibili con l’attuale impianto del sistema AVA e con le ESG, che sarebbero attivabili in tempi brevi:

- lo spostamento del focus del sistema di accreditamento dai corsi di studio agli atenei (da circa 4300 corsi di laurea a meno di 100 atenei);

- la previsione che la periodicità e l’estensione delle visite siano legate alla robustezza sistema AQ di ateneo;

- l’adozione di criteri di risk management per l’esame dei corsi di studio;

- la tempificazione accurata di procedure di follow–up che consentano di raccogliere evidenze rispetto ai miglioramenti intervenuti a seguito delle visite;

- lo snellimento del carico amministrativo mediante la richiesta di stesura del Rapporto di riesame e della Scheda Unica Annuale solo in occasione delle visite esterne;

- l’adozione per ogni corso di studio di un cruscotto di «indicatori sentinella» centrati sui processi di apprendimento degli studenti e sui risultati del percorso formativo, sia per monitorare annualmente la qualità dei corsi di studio stimolando le azioni di AQ a livello di ateneo sia per rendere disponibili pubblicamente evidenze utili a implementare e informare i processi di assicurazione della qualità esterni;

- l’istituzione di un sito web appositamente pensato per studenti e stakeholders con informazioni chiave per ogni corso di studio, compreso il posizionamento relativo sulla base degli indicatori sentinella;

- la previsione di campagne pluriennali su aspetti dell’AQ centrali per gli studenti.

Torna all'Indice

CAPITOLO 1

LE ESPERIENZE ITALIANE DI VALUTAZIONE DELLA DIDATTICA
NELL’UNIVERSITÀ ITALIANA FINO AL 2012[1]

1.1 1993-2013: venti anni di valutazione nell’università italiana

Negli anni Sessanta e Settanta del XX secolo il sistema universitario italiano era caratterizzato da un numero limitato di atenei governati tramite un sistema di relazioni, spesso informali, tra Ministero e élite accademiche: in questo panorama le istituzioni universitarie rivestivano quindi un ruolo decisamente debole (Clark, 1977). Negli anni Ottanta nuovi atenei iniziano a operare e si avvia così un lento percorso di rafforzamento dell’autonomia delle università a livello corporate che avrà un’accelerazione nel 1993 con la concessione dell’autonomia finanziaria agli atenei mediante l’assegnazione da parte ministeriale di un budget annuo complessivo (lump sum budgeting) (Moscati, 2001; Capano, 2010). Significativamente proprio questo provvedimento legislativo (l. 537/1993) dà il via alla valutazione nell’università italiana, disponendo l’istituzione dell’Osservatorio nazionale per la Valutazione del Sistema Universitario (OVSU), con lo scopo di valutare i risultati delle università in relazione all’efficienza e alla produttività delle attività accademiche, nonché di verificare i programmi di sviluppo e di riequilibrio delle risorse governative assegnate agli atenei. La stessa legge prevede l’istituzione in ogni ateneo di Nuclei di Valutazione interna con il compito di verificare sia la corretta gestione delle risorse pubbliche sia la produttività della ricerca e della didattica (Turri, 2003).

È proprio in questo momento iniziale che il processo valutativo conosce una fase di start up (Boffo e Moscati 1998). L’OVSU, divenuto operativo solo nel 1996, è strettamente legato al Ministero che ne nomina i componenti e, tramite il proprio personale, assicura la disponibilità di una segreteria tecnica e amministrativa. Un attento esame delle attività implementate dall’OVSU testimonia il legame molto forte, a tratti strumentale, tra lo stesso Osservatorio e il Ministero. All’OVSU è richiesto, infatti, di esprimere pareri ex post sull’attuazione dei piani di decongestionamento degli atenei, pareri tecnici ex ante in merito al possesso dei requisiti di legge per l’istituzione di nuovi atenei, proposte per la ripartizione del Fondo di Finanziamento Ordinario delle università (FFO) e per il riequilibrio degli stanziamenti a seconda delle volumi di attività (OVSU, 1998). Oltre a queste funzioni l’OVSU è chiamato ad avviare il monitoraggio e la documentazione delle attività valutative condotte dai Nuclei di Valutazione negli atenei, predisponendo i relativi rapporti periodici. Rientra, infine, tra le prassi introdotte dall’Osservatorio quella di incontri di confronto e scambio di esperienze con i Nuclei di Valutazione delle università. È invece stata trascurata, benché richiesta dalla normativa, la verifica ex post dei risultati dell’attività di didattica e ricerca degli atenei.

Le attività dei Nuclei di Valutazione sono piuttosto disomogenee e prevalentemente concentrate sull’esame, tipicamente con taglio statistico, delle attività didattiche. Non sono mancati esempi di alcuni atenei che hanno avviato esperienze valutative più avanzate, con lo scopo primario di fornire elementi sui quali discutere le politiche di ateneo, rafforzando così la leadership dei rettori (Boffo e Moscati, 1998; Rebora, 1999; Turri, 2002).

Nel 1999 un nuovo intervento legislativo (l. 370/1999) istituisce il CNVSU (Comitato Nazionale per la Valutazione del Sistema Universitario) in sostituzione dell’OVSU, assegnandogli compiti di valutazione estesi sia alla didattica sia al più generale funzionamento degli atenei. Gli ambiti sui quali il CNVSU concentra la propria attività sono da subito essenzialmente due.

Anzitutto, vi è la creazione di un sistema di raccolta e analisi di dati sul funzionamento del sistema universitario, attività nella quale il ottiene maggiori successi, diffondendo sul proprio sito web sia una mole considerevole di dati sul sistema universitario italiano sia rapporti annuali di sintesi sulle caratteristiche del sistema stesso. Questi elementi, in una fase di grande cambiamento del sistema universitario - si pensi all’adozione del processo di Bologna -, hanno contribuito ad accrescere la consapevolezza in merito all’evoluzione delle attività accademiche (Capano, 2010).

Il secondo ambito di attività del CNVSU è di consulenza e supporto al Ministero, per sopperire alle eventuali lacune nelle competenze professionali degli uffici ministeriali. Il Comitato concorre, infatti, alla definizione di criteri di riparto dei fondi ministeriali svolgendo attività consultive sulla normativa tecnica ministeriale; esso contribuisce inoltre a definire standard per la regolazione del sistema universitario ed esprime pareri tecnici nelle procedure di decongestionamento degli atenei sovraffollati e di istituzione di nuovi atenei. Tra le sue principali attività vi è poi l’elaborazione di tutti i parametri e gli standard minimi quantitativi necessari per l’attivazione di nuovi corsi di studio. È da notare come la verifica di questi standard negli atenei sia, di fatto, demandata ai rispettivi Nuclei di Valutazione che operano come braccio operativo locale del CNVSU. Da ciò si evince la palese contraddizione esistente tra le funzioni richieste ai Nuclei di Valutazione - intesi come terminali del sistema nazionale di valutazione negli atenei - e la natura stessa di questi organi, interni agli atenei e nominati dai suoi vertici.

Nel corso del 2004 diventa operativo un secondo organo nazionale di valutazione, il Comitato Italiano per la Valutazione della Ricerca (CIVR, istituito dal decreto legislativo 204/1998), che avvia un esercizio di valutazione triennale della ricerca, denominato VTR 2001-2003 (CIVR, 2004). A differenza sia del CNVSU sia dell’OVSU, il CIVR decide di concentrare tutte le proprie energie su un›unica procedura di valutazione, richiamandosi esplicitamente all’esperienza britannica di valutazione della ricerca. A ogni ateneo è, infatti, chiesto di indicare alcune pubblicazioni che diventino poi oggetto di valutazione, in base alla loro eccellenza internazionale, da parte di esperti nominati da panel scientifico-disciplinari (Bressan, 2008).

Dal biennio 2004-2005 e in maniera crescente negli anni successivi, si diffonde la convinzione che le università abbiano utilizzato la crescente autonomia - rafforzata a fine anni Novanta anche dal decentramento delle procedure di reclutamento e la potestà istituire corsi di laurea - in chiave unicamente opportunistica, sulla base di logiche accademiche interne piuttosto che in vista di uno sviluppo strategico sostenibile (Capano, 2008; Rebora e Turri, 2009). Si rafforza così la richiesta di cambiamento nel sistema universitario e uno dei temi centrali diventa proprio il potenziamento dell’architettura valutativa al fine di incentivare le performance degli atenei (Turri, 2007). Il bisogno di rinnovamento è legato alla constatazione che le esperienze di valutazione condotte fino a quel momento abbiano, di fatto, portato a risultati limitati in termini di system governance: il sistema di quality assurance, così come impostato dal CNVSU, pare quindi presentare evidenti limiti.

Nonostante un provvedimento legislativo dell’autunno 2006 che prevede la nascita di un’agenzia di valutazione della didattica e della ricerca, l’alternarsi di governo tra centro-sinistra e centro-destra tra il 2005 e il 2010 finisce, nei fatti, per rallentare il percorso operativo di rinnovamento, che si concretizza solo nel 2011 con il varo operativo dell’Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca (ANVUR). Nel frattempo le attese sulla valutazione sono ulteriormente cresciute, anche perché il cambio della legislatura nel maggio 2008 è accompagnato da una drastica previsione di riduzione del finanziamento pubblico, che porta in primo piano il tema della sostenibilità economica delle attività universitarie. La valutazione assume così la funzione di modalità operativa con cui ripartire i tagli di spesa tanto che, a partire dal 2009, quote crescenti di finanziamento pubblico sono assegnate sulla base di criteri valutativi (Capano, 2011).

1.2 Differenti livelli istituzionali e un modello di analisi

La valutazione della didattica universitaria è una tematica che deve essere analizzata tenendo conto del fatto che essa assume significati e valenze diverse a seconda dei livelli istituzionali in base ai quali la si considera:

- a livello sovrannazionale, poiché il processo di integrazione delle politiche universitarie europee, noto con il nome di Processo di Bologna, ha uno dei propri perni nella presenza di attività di quality assurance capaci di assicurare la qualità delle attività universitarie locali, con l’obiettivo di favorire una convergenza dei sistemi universitari europei nel rispetto delle specificità nazionali;

- a livello nazionale anzitutto, poiché, al di là della polemica nostrana sul valore legale del titolo di studio, in ogni sistema universitario il possesso della laurea ha implicazioni più o meno dirette nell’accesso alle professioni. Sempre a livello nazionale, un tema di crescente rilevanza è il saldo tra ingressi e uscite di studenti dal sistema nazionale, poiché in un contesto socioeconomico dove la conoscenza si configura come uno dei principali fattori competitivi, questo elemento è connesso almeno indirettamente con la competitività della nazione.

- in ultimo, ma di grande rilevanza, a livello di ateneo, dove le attività universitarie sono progettate ed erogate.

A questo punto, dopo aver illustrato i diversi livelli istituzionali che promuovono e ospitano i sistemi di valutazione, occorre esaminarne l’operato. La necessità di considerare la dimensione sistemica negli studi sulla valutazione è ben radicata in letteratura (Vedung, 1997; Patton, 1997) e ha trovato recenti applicazioni proprio in riferimento alle attività universitarie (Minelli et al. 2006; Molas-Gallart, 2012). Di seguito, si propone l’utilizzo di un framework per lo studio dei sistemi di valutazione articolato su quattro dimensioni di analisi (idea, metodi, organi, utilizzi della valutazione) e sull’esame di eventuali zone di incoerenza o opportunità di miglioramento tra questi elementi (Rebora, 1999; Turri, 2003; Turri, 2005; Turri, 2007). L’analisi è articolata sulla base dei livelli istituzionali illustrati e, a livello nazionale, fa riferimento alle esperienze di valutazione della didattica condotte fino al 2012, prima della costituzione dell’ANVUR.

1.3 Il sistema di valutazione a livello europeo

Dalla fine dello scorso secolo l’Europa ha ospitato un importante processo di integrazione noto con il nome di Processo di Bologna. L’iniziativa, che prende nome dal capoluogo emiliano dove è stato siglato l’accordo originario nel 1999, si è estesa oltre i confini dell’Unione Europea, arrivando a coinvolgere oltre 45 nazioni; essa è, inoltre, mantenuta viva grazie a incontri biennali dei ministri dell’Istruzione delle nazioni aderenti. Il Processo di Bologna non si fonda su accordi vincolanti, ma sull’adesione volontaria da parte di ogni nazione e della relativa comunità accademica. Suo obiettivo è di dotare i differenti sistemi nazionali, concepiti come risorsa da mantenere, di una cornice comune europea che favorisca la costituzione dell’European Higher Education Area (EHEA), uno spazio europeo di istruzione terziaria caratterizzato da forte mobilità di discenti e docenti, e dal mutuo riconoscimento dei percorsi accademici. Concretamente, le principali linee di azione promosse dal processo di Bologna sono:

- l’adozione di un impianto formativo organizzato su tre cicli (bachelor - master – Ph.D);

- l’adozione di un sistema di conteggio delle conoscenze denominato European Credit Transfer System (ECTS), finalizzato al computo e trasferimento delle esperienze di istruzione;

- l’adozione di sistemi per facilitare la leggibilità e comparabilità dei diplomi (Diploma Supplement);

- l’adozione di un European Qualifications Framework (EQF) che renda più trasparente e immediata per i datori di lavoro la comparazione a livello europeo tra i percorsi di istruzione;

- la promozione della mobilità di docenti e discenti fra sedi e nazioni e di iniziative formative comuni (joint degrees) e l’incremento della capacità di attrazione dell’istruzione terziaria europea nei confronti dei cittadini extra-europei.

Pur non mancando difficoltà e resistenze al Processo di Bologna, favorite dal carattere non vincolante dello stesso, i suoi principi hanno profondamente condizionato lo sviluppo delle università italiane, a partire dall’adozione dell’organizzazione della didattica in cicli (laurea, laurea magistrale e dottorato di ricerca).

Un elemento centrale del processo di Bologna, strettamente connesso al mantenimento dei singoli sistemi nazionali, è la promozione di network transnazionali per favorire la qualità dell’istruzione, mediante l’adozione di linee guida volte a garantire standard qualitativamente alti a livello di ateneo, nazionale ed europeo. In questo senso nel 2000 è stato istituito l’European Network for Quality Assurance in Higher Education (ENQA) e nel 2008 l’European Quality Assurance Register (EQAR).

1.3.a Idea di valutazione

A livello europeo, in presenza di sistemi nazionali indipendenti, ma chiamati a un percorso di convergenza e di mutuo riconoscimento, la quality assurance è stata intesa come elemento determinante per promuovere il processo di Bologna e favorire un’effettiva convergenza dei sistemi universitari nazionali.

Nel 1999 i ministri dei 29 paesi europei che hanno sottoscritto l’accordo di Bologna avevano lo scopo di realizzare entro il 2010 uno spazio europeo dell’istruzione universitaria (EHEA). I ministri riuniti a Berlino nel 2003, nel ribadire il progetto dello spazio europeo, hanno individuato nella quality assurance l’elemento portante cui affidare i seguenti obiettivi a livello nazionale:

- la valutazione di programmi e istituzioni mediante verifiche interne ed esterne, con il coinvolgimento degli studenti e la diffusione dei risultati;

- l’attuazione di programmi di assicurazione della qualità della formazione universitaria curati da organi di valutazione nazionali;

- la formalizzazione di un sistema di accreditamento a livello europeo basato su procedure comparate degli organi di valutazione nazionale;

- la cooperazione e il coordinamento delle esperienze sviluppate in ogni paese a livello europeo.

La concezione di assicurazione della qualità promossa a livello europeo è sintetizzata nel documento Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) che tratteggia un impianto di valutazione fondato su tre livelli:

- la base è costituita da sistemi di valutazione della qualità, atti a verificare, in ogni università, il raggiungimento dei singoli obiettivi. Il documento prevede le caratteristiche dei sistemi in ordine all’orientamento, al miglioramento, alla formalizzazione preventiva degli obiettivi e alla trasparenza dei risultati. All’interno di queste prescrizioni agli atenei è lasciata piena libertà nella definizione del sistema che deve anzitutto essere in grado di verificare e stimolare il raggiungimento degli obiettivi di qualità assunti dalle singole istituzioni;

- a livello nazionale, procedure di valutazione esterna (External Quality Assurance Procedures) sono promosse secondo modelli definiti autonomamente dagli stati e sono affidate ad agenzie nazionali indipendenti. Le valutazioni sono finalizzate a verificare l’efficacia dei sistemi interni di valutazione sviluppati dagli atenei e danno seguito a relazioni pubbliche;

- a livello europeo, infine. è previsto il riconoscimento dei soggetti nazionali abilitati a operare e sono individuate regole comuni alle quali le singole agenzie sono chiamate a sottostare (Standards for External Quality Assurance Agencies).

Il documento non impone soluzioni organizzative e metodologiche preordinate, piuttosto suggerisce l’articolazione dei processi di quality assurance a livello di ateneo e nazionale, lasciando piena libertà per l’individuazione di soluzioni autonome, nel rispetto di alcune garanzie e standard.

1.3.b Metodi

Come precedentemente ricordato l’ENQA ha predisposto, insieme ad altre istituzioni associative europee[2], gli Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Questo documento, approvato durante l’incontro dei ministri europei dell’Università a Bergen nel 2005, definisce le caratteristiche che l’assicurazione della qualità dovrebbe assumere in ogni ateneo e in ogni sistema universitario europeo: non un elenco prescrittivo di aspetti da esaminare e di modalità di valutazione da rispettare, ma un insieme di principi per orientare lo sviluppo di sistemi di qualità autonomi. L’architrave su cui poggiano le ESG è la responsabilità primaria dell’assicurazione della qualità da parte degli atenei, che rimangono indipendenti nel fissare i propri obiettivi nell’ambito della legislazione nazionale e della responsabilità verso gli stakeholders. Le ESG prevedono pertanto un sistema di assicurazione nazionale fondato sui risultati delle attività di assicurazione della qualità negli atenei. Punti qualificanti delle ESG sono:

- il coinvolgimento di datori di lavoro e studenti in tutti i livelli del percorso di assicurazione della qualità;

- la funzionalità delle procedure di assicurazione della qualità al miglioramento del processo di insegnamento e di apprendimento;

- la pubblicazione degli obiettivi e dei referti del processo di assicurazione della qualità e, più in generale, la concezione delle pratiche di assicurazione della qualità come strumenti per promuovere la trasparenza e la diffusione di informazioni.

A livello nazionale, il sistema di assicurazione della qualità sulla base delle ESG si fonda:

- sui risultati delle procedure interne di assicurazione della qualità;

- su verifiche esterne e periodiche della qualità delle istituzioni e/o dei corsi di studio;

- sulla definizione preventiva dei processi di assicurazione della qualità;

- sulla piena trasparenza e accessibilità di criteri e risultati;

- sull’azione di agenzie indipendenti, aventi uno status legale riconosciuto dai governi nazionali;

- sulla capacità dell’agenzia di stilare rapporti autonomi da atenei e Ministero;

- su follow-up da attuare a seguito delle procedure di valutazione.

A livello sovranazionale, le ESG non prevedono prescrizioni specifiche per le agenzie e non limitano la libertà delle stesse di adottare soluzioni organizzative e procedurali proprie. Le ESG richiamano, tuttavia, la necessità che le agenzie nazionali forniscano garanzia di professionalità, integrità e affidabilità, suggerendo che le stesse operino in conformità a obiettivi espliciti, siano dotate di risorse adeguate, adottino protocolli di trasparenza e si dotino di un sistema interno di assicurazione della qualità. Le ESG prevedono, infine, che le agenzie nazionali siano sottoposte a verifiche esterne della qualità mediante un processo di autovalutazione–valutazione esterna indipendente, con pubblicazione dei rapporti. La verifica esterna può essere condotta direttamente dall’ENQA oppure essere svolta sulla base di prescrizioni della normativa nazionale. In ogni caso l’ENQA coordina lo svolgimento delle verifiche esterne.

1.3.c Organi

Inizialmente vi era l’ENQA, European Network of Quality Assurance, che era entrata in vigore contemporaneamente alla dichiarazione di Bologna. Concepito come un’organizzazione associativa che radunava fin da principio tutte le agenzie nazionali per l’assicurazione della qualità dell’istruzione universitaria, dal 2004 il network si è trasformato in European Association for Quality Assurance in Higher Education (sempre ENQA). In questo nuovo contesto le oltre 40 agenzie di valutazione aderenti si confrontano e condividono il proprio operato, elaborando proposte e riflessioni e trovando rappresentanza a livello europeo e internazionale, specie per quanto attiene alle politiche europee universitarie. L’ENQA si è incaricato anche dell’elaborazione di un sistema di linee guida che, approvate a Bergen dai ministri europei, hanno tratteggiato lo scenario dentro al quale far evolvere il processo della valutazione in Europa.

Dal 2008 è attivo a livello europeo anche l’European Register of Quality Assurance Agencies (EQAR), che attesta il rispetto delle ESG da parte delle agenzie nazionali.

1.3.d Utilizzo

Gli utilizzi della valutazione a livello sovrannazionale sono piuttosto limitati poiché i sistemi adottati a questo scopo hanno l’obiettivo di favorire lo sviluppo di forti strutture di quality assurance a livello nazionale, non di promuovere l’impiego dei referti valutativi a livello europeo.

Il processo di verifica esterna delle agenzie nazionali è stato affrontato dalle agenzie di 18 paesi aderenti al processo di Bologna (tra questi Spagna, Francia, Regno Unito, Germania, Polonia e Russia), spesso con più di un’agenzia per nazione (nel caso della Germania si contano ben otto agenzie).

Inoltre l’ENQA è tra i promotori di un forum annuale sui temi della quality assurance e di rapporti di studio e approfondimento sulla valutazione.

All’EQAR, invece, aderiscono 29 agenzie di quality assurance di 14 paesi europei. Otto paesi (Austria, Bulgaria, Danimarca, Germania, Liechtenstein, Lituania, Polonia e Romania) hanno riconosciuto il ruolo del registro nel proprio sistema nazionale di quality assurance, favorendo così la possibilità di attribuire legittimità all’operato di agenzie non nazionali. Si tratta di una tendenza ancora allo stato embrionale ma comunque rilevante che, se troverà sviluppo, potrebbe sganciare da una prospettiva nazionale le procedure di assicurazione di qualità.

1.3.e Coerenza del sistema di valutazione

A fronte del processo di integrazione sovrannazionale precedentemente descritto, in Europa i sistemi di assicurazione della qualità a livello nazionale rimangono significativamente differenti. Nella maggior parte dei sistemi universitari, infatti, sono presenti agenzie nazionali dotate di poteri rilevanti in termini di autorizzazione a operare (accreditamento o altri meccanismi di autorizzazione) e, tra questi, un buon numero prevede che il proprio operato abbia anche conseguenze effettive sul finanziamento governativo della didattica. Un gruppo minoritario, ma non trascurabile, di agenzie assume invece un orientamento al miglioramento (il cosiddetto approccio light touch), senza conseguenze dirette sulla possibilità di operare e sui finanziamenti.

In merito alla diffusione dei sistemi esterni di qualità è indubbiamente rilevante un documento presentato nel 2012 in occasione dell’incontro dei ministri europei dell’Università a Bucarest (ENQA, 2012), in cui si mostra che tutti i paesi aderenti al processo di Bologna hanno, di fatto, attivato un sistema di assicurazione della qualità nazionale, pur con gradi differenti di aderenza alle ESG. I risultati di tale analisi mostrano una grande eterogeneità non solo tra le soluzioni adottate, ma anche sul piano dello sviluppo dei sistemi di quality assurance.

Sempre più il dibattito a livello europeo sembra spostarsi dai metodi alla cultura della qualità e alle conseguenze effettive sul miglioramento delle attività didattiche. Nonostante l’avvio di molte esperienze di assicurazione della qualità, non sono sempre ravvisabili benefici sui processi di insegnamento e apprendimento: in base a questa considerazione si fa strada la convinzione che, benché i meccanismi di valutazione siano tecnicamente semplici, essi operino, di fatto, in un contesto sociale e organizzativo estremamente complesso che richiede interventi in stretta connessione con le caratteristiche del sistema universitario, degli atenei e degli accademici (Lechleiter, 2012; Newton, 2012; Rebora, 2013).

1.4 Il sistema di valutazione a livello nazionale

Prima della creazione dell’ANVUR il CNVSU è stato l’attore principale della valutazione del sistema universitario italiano; a esso erano attribuiti compiti sia operativi (come eseguire le valutazioni esterne o richiedere le informazioni alle università) sia di indirizzo e di impostazione generale del sistema (come fissare i criteri generali e promuovere la sperimentazione).

1.4.a Idea di valutazione

La legge 370/1999 consente di individuare l’idea di valutazione che ha caratterizzato il sistema nazionale di valutazione prima del 2011 poiché definisce le funzioni del CNVSU (organo istituzionale del Ministero dell’Istruzione, Università e Ricerca) assegnandogli l’incarico di regolare e di coordinare le attività di valutazione.

I compiti assegnati dalla legge 370/1999 al CNVSU sono estesi e diversificati. Innanzitutto, deve occuparsi di determinare i criteri generali per la valutazione delle attività delle università e di predisporre una relazione annuale sulla valutazione del sistema universitario. Si occupa poi di promuovere la sperimentazione, l’applicazione e la diffusione di metodologie e pratiche di valutazione, mediante la determinazione della natura delle informazioni e dei dati che i Nuclei di Valutazione degli atenei sono tenuti a comunicare. Attua poi un programma annuale di valutazioni esterne sia delle università sia di singole strutture didattiche, effettuando valutazioni tecniche su proposte di nuove istituzioni universitarie, statali e non statali, in vista dell’autorizzazione al rilascio di titoli aventi valore legale. Si occupa anche della predisposizione sia di rapporti sullo stato di attuazione e sui risultati della programmazione, sia di studi e documenti sullo stato dell’istruzione universitaria, sull’attuazione del diritto allo studio e sugli accessi ai corsi di studio universitari. Predispone infine studi, con la redazione della necessaria documentazione, per la definizione dei criteri di riparto della quota di riequilibrio del FFO, svolgendo per il Ministero attività consultive, istruttorie, di valutazione, di definizione di standard, di parametri e di normativa tecnica, anche in relazione alle differenti attività delle università e ai progetti e alle proposte da esse presentate.

In base a quanto previsto dalla legge il Comitato Nazionale - e dunque il sistema nazionale nel suo complesso - assume un ruolo di garanzia, giungendo anche ad attribuire premi e punizioni (mediante la determinazione di criteri generali di valutazione, programma di visite esterne, definizione di criteri di riparto del FFO). Inoltre, si fa carico di compiti di tipo promozionale (diffusione di metodologie, attività di studio, ecc.), esprimendo così un’idea di valutazione non univoca ma, al contrario, poliedrica.

Complessivamente, tuttavia, l’intero sistema è orientato in una direzione garantista. Mentre in precedenza, specie con l’OVSU, era prevalsa una funzione di «accompagnamento alla valutazione», in contrapposizione a una funzione di «giudizio», dal 2000 le funzioni del CNVSU si orientano appunto al controllo e alla garanzia. A questo proposito risulta indicativo quanto sostenuto dal Ministro nel 2004: “Il complesso delle valutazioni, che sarà disponibile in relazione alla didattica […], consentirà al MIUR di acquisire importanti e significative indicazioni circa la rispondenza dei servizi erogati dalle università ai bisogni degli studenti nel nuovo quadro di rilevazione del grado di soddisfazione degli studenti. […] I risultati periodici di tali rilevazioni offriranno un quadro oggettivo della qualità dei servizi universitari in modo da consentire, anche attraverso misure di sostegno, d’incentivazione e di disincentivazione, di adottare concrete iniziative per il governo del sistema universitario in una ottica di perseguimento della qualità ed efficacia dei servizi” (MIUR, 2004). Il concetto di valutazione adottato dal CNVSU risulta quindi orientato in un senso sanzionatorio e garantista, acquisendo quasi esclusivamente dati di tipo quantitativo, con il risultato di ottenere una mera comparazione centralistica, poco orientata alla presa in carico di proposte elaborate dagli atenei. D’altronde il Comitato già nel 2002 sosteneva che “raccogliere i dati non risponde più solo alla necessità inderogabile di avere una conoscenza globale del sistema che prima non si aveva […] il compito prioritario è quello di capire come i dati possano servire a una efficace gestione dell’autonomia e al governo centrale delle risorse pubbliche” (CNSVU, 2002).

Negli anni successivi si sono susseguiti interventi governativi che hanno ulteriormente caratterizzato le proprietà del sistema italiano di valutazione verso la garanzia. In tal senso è da valutarsi l’indicazione da parte ministeriale di requisiti minimi di riferimento per i corsi di studio universitari di primo, secondo livello o ciclo unico, che hanno promosso un progressivo scivolamento dei sistemi di valutazione verso logiche di adempimento.

1.4.b Metodi

Nell’osservare l’operato del CNVSU si può notare come esso abbia sempre teso all’accumulazione di dati statistici sul funzionamento del sistema universitario, mediante il collegamento delle banche dati esistenti e la collaborazione annuale dei Nuclei di Valutazione di ateneo. In questo modo è stato in grado di raccogliere, verificare e ordinare una considerevole mole di informazioni, anche se la mera rilevazione di dati potrebbe essere letta come uno strumento pre-valutativo più che una valutazione vera e propria. Un chiaro segnale di svolta in una direzione più espressamente valutativa si può leggere nella costituzione della banca dati dell’offerta formativa, nell’attuale predisposizione dell’anagrafe degli studenti universitari (una banca dati dedicata al monitoraggio della carriera di ogni singolo studente), nella più generale diffusione dei dati raccolti (grazie a iniziative periodiche di presentazioni e banche dati su web) e nella loro sintesi espressiva (confronti in serie temporali, analisi di indici, ecc.).

La rilevazione dell’opinione degli utenti del processo didattico è stata poi altamente considerata, accanto agli strumenti statistici, grazie all’introduzione a livello nazionale di insiemi minimi di domande all’interno della valutazione della didattica a fine corso e della valutazione dell’esperienza universitaria dopo l’ottenimento del diploma di laurea.

Un terzo ambito dove le tecniche di valutazione si sono sviluppate è quello della verifica degli standard di processo, spesso individuati come soglie minime per l’attivazione delle attività accademiche. Nel tentativo di governare i maggiori spazi di autonomia concessi agli atenei il CNVSU ha fatto ampio ricorso, dopo il 2000, a standard minimi, in termini di personale docente e di dotazioni infrastrutturali, per regolare l’autorizzazione e l’attivazione di nuovi corsi di studio. Si tratta di un fenomeno crescente e molto diffuso, sebbene gli standard minimi abbiano quasi immediatamente dato luogo a un threshold effect (Hood, 2007), nel senso che essi sono stati interpretati dagli atenei non come soglia minima, in assenza della quale non è possibile operare, ma come valore di riferimento sulla base del quale deliberare l’istituzione di iniziative didattiche.

1.4.c Organi

Come già ricordato, è con la legge 370/1999 che si istituisce il CNVSU in sostituzione dell’Osservatorio nazionale per la Valutazione del Sistema Universitario. Il CNVSU è composto da nove membri (tutti di nomina ministeriale) e, come l’OVSU. Fino al 2011 opera presso il Ministero avvalendosi di un ridotto staff tecnico.

1.4.d Utilizzo

Per quanto riguarda le modalità di utilizzo, il sistema nazionale mostra inizialmente un forte orientamento alla conoscenza. Sia l’Osservatorio nazionale prima sia il CNVSU poi si sono occupati di raccogliere una grande mole di dati: ciò ha consentito di disporre e distribuire una notevole quantità di informazioni, costituendo così un patrimonio che ha rappresentato un punto di riferimento per i cambiamenti avvenuti in questi anni negli atenei, prima fra tutte la Riforma Universitaria. In ogni caso, fino al 1999 l’Osservatorio nazionale aveva nella sua stessa denominazione il richiamo alla funzione di propagatore di conoscenza.

Accanto a quest’utilizzo originario della valutazione è cresciuta una nuova modalità d’uso della stessa come strumento di garanzia. Le principali attività che hanno quindi caratterizzato l’orientamento della valutazione sono da un lato l’elaborazione di requisiti minimi per l’attivazione e per il mantenimento di corsi di studio (e successiva rilevazione degli stessi), dall’altro lo studio dei criteri sulla base dei quali distribuire agli atenei la quota di riparto del FFO (e successiva rilevazione degli stessi). Infine il CNVSU si è dedicato alle opportune verifiche in merito al decongestionamento dei mega atenei o all’istituzione di nuove università, oltre che alla formulazione di ipotesi di impiego dei dati rilevati nell’ambito dei processi di finanziamento dei percorsi universitari.

1.4.e Coerenza del sistema di valutazione

Dall’analisi finora effettuata emerge un sostanziale disallineamento tra le componenti fondamentali del sistema di valutazione nazionale. L’impostazione di fondo, pur apparendo dinamica e aperta al confronto con l’ambiente, appare combattuta tra un assetto descrittivo (basato sull’elaborazione di dati quantitativi) e l’impegno a regolare e orientare il sistema universitario: ci si trova di fatto di fronte a una tensione marcata che non riesce a sfociare in una visione comune. Quanto alle metodologie di valutazione esse sono poco elaborate e prevalgono tecniche di tipo statistico-descrittivo strettamente connesse a verifiche di standard quantitativi. Dal punto di vista formale, la responsabilità della valutazione è affidata al CNVSU; in realtà, essa è saldamente nelle mani degli organi interni agli atenei. Le richieste di accountability del sistema hanno quindi fatto assumere al processo valutativo un orientamento alla garanzia (premi – punizioni), risultando pertanto in contraddizione con le metodologie attivate, che difficilmente entrano nel merito dei risultati dei processi accademici. Il risultato è che la coerenza dell’intero processo sembra essere compromessa proprio dall’inadeguata assunzione di quel ruolo di garanzia di cui avrebbe bisogno il governo di un sistema universitario autonomo, di qualità ed europeo.

Una grossa responsabilità può essere attribuita all’intensa attività di supporto al Ministero svolta dal CNVSU: nel concreto essa si è tradotta nell’imposizione di procedure burocratiche che, a fronte dei rilevanti carichi amministrativi imposti agli atenei, non hanno saputo incidere sul reale funzionamento delle attività accademiche. I pareri tecnici emessi dal Comitato stesso, inoltre, non hanno alcun effettivo impatto a livello di politiche pubbliche (Capano, 2010). Non solo, il CNVSU ha finito anche per nuocere alla valutazione interna, spingendo i Nuclei di Valutazione ad assumere funzioni di mero adempimento burocratico, prive di reali effetti sulla qualità delle attività accademiche (Turri, 2005).

1.5 Il sistema di valutazione a livello di ateneo

Per esaminare adeguatamente la valutazione a livello di ateneo occorre effettuare una sintesi delle esperienze in materia di ciascuna università. In ognuna di esse il processo di valutazione si è articolato fino al 2012 seguendo percorsi propri, più frequentemente caratterizzati da specificità piuttosto che da somiglianze: di seguito non s’intende quindi fornirne una rappresentazione dettagliata, ma ci si pone l’obiettivo di rappresentarne in modo essenziale i tratti caratterizzanti.

1.5.a Idea di valutazione

Si è già illustrato il ruolo svolto dalla legge 370/1999 nel presentare in modo chiaro la visione ufficiale della valutazione a livello locale. In base a essa in ogni università è previsto un Nucleo di Valutazione di ateneo cui è garantita ampia autonomia operativa, con la possibilità di accedere a tutti i dati e alle diverse informazioni necessarie e il compito di provvedere alla pubblicità e alla diffusione delle attività di valutazione.

In questo modo si pongono le basi affinché si sviluppi un “sistema di valutazione interna della gestione amministrativa, delle attività didattiche e di ricerca, degli interventi di sostegno al diritto allo studio, verificando, anche mediante analisi comparative dei costi e dei rendimenti, il corretto utilizzo delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l’imparzialità del buon andamento dell’azione amministrativa”. La medesima legge dispone che i singoli Nuclei raccolgano e trasmettano al CNVSU annualmente le informazioni richieste e periodicamente, mantenendone l’anonimato, le opinioni degli studenti frequentanti circa le attività didattiche, il tutto sintetizzato in un’apposita relazione.

La legge prevede anche sanzioni per la mancata trasmissione di quanto sopra: gli atenei inadempienti sono di fatto esclusi dall’accesso a una quota del FFO. È interessante notare come le singole università abbiano rielaborato le indicazioni di legge, facendo emergere idee di valutazione originali e spesso riprendendo anche le esperienze sviluppate prima del 1999. Scorrendo gli articoli degli statuti che regolano l’attività dei Nuclei di Valutazione e le pagine introduttive delle diverse relazioni annuali, emergono alcuni dati degni di nota: frequentemente si evince la vocazione del nucleo a essere «organo sussidiario» del governo dell’ateneo (Università IULM, Statuto); altrove, invece, si sottolinea l’importanza di orientare il proprio operato a “migliorare il processo di decisione sia per quanto riguarda i programmi ed i progetti di sviluppo, sia per quanto attiene ai processi gestionali in senso stretto, sulla base di una riflessione sistematica sui risultati ottenuti, sulle ragioni dei successi e delle criticità, sulle possibilità di azione aperte di fronte agli organi stessi” (Nucleo Valutazione Università di Bologna, Relazione 2000).

Si può, dunque, concludere che l’idea di valutazione rielaborata internamente dagli atenei italiani sia fortemente orientata verso l’interno (si tratta pur sempre di un sistema di valutazione, appunto, interno), stratificata su precedenti e nuove disposizioni, ma con un ampio riflesso verso l’esterno (in quanto i dati sono poi trasmessi a organi nazionali di valutazione).

1.5.b Metodi

Occorre innanzitutto considerare due differenti classi di strumenti al fine di comprendere in modo adeguato le diverse metodologie rilevabili a livello di ateneo: in primo luogo, vi sono quelle imposte dalla normativa e, in generale, dal CNVSU; in secondo luogo, vi sono quelle affidate all’iniziativa dei singoli atenei. Nei precedenti paragrafi sono state prese in esame le metodologie richieste centralmente (informazioni statistiche, questionari di soddisfazione studenti, relazioni di autovalutazione, esame dei requisiti minimi) che in generale trovano applicazione nella maggior parte degli atenei.

Accanto al livello di valutazione previsto dal sistema centrale, in alcuni atenei si sono sviluppate ulteriori prassi di valutazione autonome che qualche volta prevedono l’adesione volontaria a programmi di valutazione internazionali.

Il quadro rimane comunque complessivamente molto vario: accanto ad atenei che si sono limitati alla mera applicazione di quanto strettamente previsto dalla legge, si registrano casi di università che hanno posto in atto sistemi di valutazione autonomi. Nel considerare l’output dei diversi atenei si può notare come siano piuttosto diffuse sia analisi statistiche sull’andamento dell’attività didattica e delle carriere degli studenti sia rilevazioni sulla soddisfazione degli studenti aggiuntive a quella prevista per legge (ad esempio, rivolte ai dottorandi). Nove università hanno volontariamente aderito a una procedura esterna di valutazione istituzionale promossa dall’European University Association (EUA) che comporta, oltre a momenti di autovalutazione, visite di valutatori esterni con la metodologia della peer review. Qualche università ha accreditato i propri corsi di studio presso agenzie di valutazione europee, mentre alcune università hanno aderito, con singoli corsi di laurea, a programmi e sistemi di accreditamento europei.

1.5.c Organi

In base a quanto previsto dalla legge 370/1999,le attività di valutazione devono essere svolte “in ciascuna università da un organo collegiale disciplinato dallo statuto delle università, composto da un minimo di cinque ad un massimo di nove membri, di cui almeno due nominati tra studiosi ed esperti nel campo della valutazione anche in ambito non accademico”.

Tutti gli atenei italiani hanno rispettato la prescrizione di legge costituendo un Nucleo di Valutazione: la nomina del nucleo spetta, solitamente, al rettore, in alternativa al consiglio di amministrazione; in ogni caso, è sempre in capo a un organo di governo. Tutti i nuclei possiedono strutture di supporto a essi dedicate anche se, di solito, si tratta di personale già inserito in altri uffici.

Si può, perciò, facilmente comprendere come l’autonomia e l’autorevolezza dei nuclei siano complessivamente condizionate dai vertici istituzionali, anche per il fatto che la composizione e le risorse assegnate sono determinate dal governo dell’ateneo. I nuclei mantengono un rapporto molto forte con il vertice dell’università e proprio il meccanismo di nomina ne ratifica il legame di fiducia. Per queste ragioni risulta comprensibile che l’intero sistema di valutazione a livello di ateneo non mostri particolari garanzie di indipendenza: al contrario, in un’indagine condotta dal CNVSU (Dente, 2006) emerge come questi nuclei si percepiscano più come «consulenti» dei vertici dell’università che come «garanti» in un’ottica di accountability esterna.

Emerge, quindi, una sostanziale mancanza di coerenza rispetto al ruolo che i nuclei dovrebbero svolgere in qualità di terminali della valutazione centrale, soprattutto in riferimento alle disposizioni governative che prevedono l’emissione, da parte dei nuclei, di pareri ex ante sull’attuazione di nuove iniziative didattiche e la verifica del possesso dei requisiti di idoneità per la loro attivazione. Proprio l’affidamento di queste incombenze di certificazione finisce paradossalmente per indebolire l’autorevolezza e l’indipendenza dei Nuclei di Valutazione che, inseriti in una relazione top-down tra organi governativi e ateneo, vedono ridursi i propri margini di autonomia e gli spazi per promuovere il miglioramento.

1.5.d Utilizzo

Anche in relazione all’utilizzo si ritrova una situazione contradditoria. Gli adempimenti di legge, una volta espletati, sono trasmessi in sede nazionale dove vengono utilizzati come precedentemente esposto. All’interno degli atenei, se ne fa un uso principalmente di tipo conoscitivo. Nei casi più evoluti è prevista una diffusione pianificata degli output di valutazione a soggetti diversi, in base a metodologie implementate autonomamente, finalizzata a molteplici modalità di utilizzo. Un’esemplificazione di ciò si può trovare nell’osservazione della triplice modalità di utilizzo della valutazione degli sbocchi professionali degli studenti al termine del percorso formativo. In primo luogo, si presta a una lettura in senso conoscitivo, da parte degli utenti e, in generale, dei soggetti esterni l’università (imprese, organi di indirizzo regionale e nazionale, ecc.). In secondo luogo, essa può contribuire al miglioramento delle attività di quanti hanno una funzione attiva nel collocamento degli studenti (Ufficio Placement) e nella progettazione dei corsi di studio (consigli di Facoltà e organi di coordinamento dei corsi di studio). Infine, può costituire una funzione di garanzia da parte degli organi di governo dell’ateneo (senato accademico, rettore, consiglio di amministrazione).

Per quanto riguarda le esperienza di valutazione interna, si può rilevare l’evolversi verso un utilizzo allargato articolato tra più soggetti. Nelle attività di valutazione interna la funzione di garanzia non si contrappone all’autonomia di governo, ma viceversa diventa strumento a disposizione del vertice per una sua migliore implementazione.

1.5.e Coerenza del sistema di valutazione

Negli atenei si può rilevare il medesimo disallineamento tra gli elementi che caratterizzano la valutazione rintracciabile nel sistema nazionale. A livello locale esiste, infatti, una sorta di tensione tra l’affidamento al Nucleo di Valutazione di funzioni di garanzia verso l’esterno e il desiderio, da parte degli atenei, di considerare la valutazione come anzitutto interna all’istituzione universitaria stessa. Emerge quindi una dicotomia nell’interpretazione dell’attività valutativa: in base a quanto stabilito dalla legge, essa svolge innanzitutto un compito di tipo statistico, finalizzato alla misurazione della customer satisfaction e alla trasmissione, con relativa certificazione, di dati in un’ottica di garanzia e controllo; d’altro canto si può notare come le metodologie adottate autonomamente dagli atenei siano estremamente varie, fino al punto che alcuni atenei raggiungono un notevole grado di evoluzione, usufruendone in chiave di miglioramento interno.

Si può quindi concludere che il punto di forza degli organi di valutazione risieda proprio nella collocazione interna, nella regolazione dei loro compiti mediante l’autonomia statutaria e nei meccanismi di nomina affidati al governo di ateneo; essi, al contempo, si mostrano però in difficoltà nell’accogliere il ruolo di garanzia esterna affidato loro dal sistema nazionale.

1.6 Altre esperienze di valutazione

Oltre a quelle descritte si sono sviluppate altre attività valutazione nel periodo 1993-2011 e alcune hanno raggiunto un notevole livello di sviluppo. Tra queste occorre certamente ricordare i modelli Campus e CampusOne, promossi dalla Conferenza dei Rettori delle Università Italiane (CRUI), l’accreditamento dei corsi di studio della Regione Piemonte e la rilevazione degli sbocchi occupazionali dei laureati eseguita dal consorzio interuniversitario AlmaLaurea.

1.6.a Il Modello Campus e CampusOne

A livello nazionale, accanto agli organi ministeriali, ha avuto un ruolo importante nel promuovere la cultura della qualità la CRUI che, fin dal 1993, ha istituito una commissione per la valutazione che ha prodotto documenti di impostazione generale e di supporto metodologico per l’attività dei nuclei, con particolare riferimento alla didattica (Boffo e Moscati, 1998). Il progetto Campus, poi evoluto in CampusOne, ha permesso la sperimentazione di una metodologia di valutazione della qualità che, dal 1995, ha coinvolto in circa un decennio complessivamente quasi 600 corsi di studio. Pur con alcune evoluzioni, il cuore metodologico del processo di valutazione è fondato sia su un rapporto di autovalutazione, da redigere in base a una griglia predeterminata di argomenti, sia su un rapporto finale, che si avvale di una valutazione da parte di una commissione di esterni in loco (Stefani, 2006). In particolare, il Modello CampusOne si articola in cinque macro processi che coincidono con i principali ambiti di valutazione del modello[3]:

- sistema di gestione e struttura organizzativa (comprendente le procedure di riesame annuale);

- esigenze e obiettivi (attinenti alle esigenze delle parti interessate, agli obiettivi generali, agli obiettivi di apprendimento e alle politiche);

- risorse (inerenti il personale docente e di supporto, le infrastrutture, le risorse finanziarie e le relazioni esterne e internazionali);

- processo formativo (comprendente il processo di progettazione e pianificazione, accesso e gestione degli studenti, l’erogazione con l’apprendimento e i servizi di contesto);

- risultati, analisi e miglioramento.

Pur presentando importanti similitudini con le ESG, il principale modello concettuale al quale i sistemi di valutazione promossi dalla CRUI si ispirano sono le norme ISO 9000 che, com’è noto, sono state sviluppate in ambito industriale e ingegneristico. Un’altra particolarità del modello è il legame tra l’attivazione delle procedure di qualità e valutazione e l’attribuzione agli atenei di finanziamenti governativi dedicati.

Si tratta di due elementi importanti che hanno indubbiamente favorito la diffusione del modello, ma contemporaneamente hanno rappresentato le principali cause del suo abbandono a metà dello scorso decennio.

Per comprendere ciò occorre innanzitutto considerare che il richiamo a modelli di qualità propri del settore industriale non si verifica in nessuna delle principali nazioni europee. La valenza di questa unicità è duplice: da un lato mette in evidenza l’apertura del sistema universitario italiano, in particolare dei promotori dell’iniziativa, al mondo delle imprese; dall’altro, tuttavia, il fatto di ricorrere a standard estranei alla cultura accademica denuncia un’incapacità di elaborare una metodologia propria e condivisa. Il legame, poi, con la possibilità di ottenere finanziamenti esterni mette in luce una concezione della valutazione come dovere da assolvere a fronte di vantaggi finanziari piuttosto che come processo di miglioramento.

L’effetto combinato di questi due fattori ha inizialmente limitato l’estensione della metodologia ad alcune aree disciplinari particolarmente sensibili al confronto con il mondo produttivo (ne è segnale il fatto che molte adesioni siano giunte da corsi di ingegneria) e ha successivamente condotto, al venire meno del finanziamento esterno, a una drastica caduta delle adesioni.

Il lascito per il sistema universitario è comunque ragguardevole, perché gli esercizi di valutazione hanno permesso di formare e sensibilizzare su questi temi alcune centinaia di accademici che hanno costituito l’humus su cui far sorgere le future iniziative valutative.

1.6.b L’accreditamento dei corsi di laurea della Regione Piemonte

La riforma del titolo V della Costituzione del 2001 ha attribuito alle Regioni un ruolo maggiore per quanto attiene all’istruzione e la ricerca. In questo solco la Regione Piemonte ha attivato[4], tra il 2003 e il 2006, un meccanismo per l’accreditamento dei corsi di laurea delle tre università aventi sede in Piemonte, anche in base a una disposizione della Commissione europea per cui le risorse del Fondo Sociale Europeo destinate alla formazione e l’orientamento possono essere attribuite solo a seguito di una procedura di accreditamento. La procedura, cui hanno aderito su base volontaria circa 60 corsi di laurea, ha previsto una fase di valutazione interna, seguita da una valutazione effettuata da valutatori esterni selezionati dalla Regione sulla base di un bando pubblico e appositamente formati.

Il modello attivato dalla Regione Piemonte si è basato su procedure operative appositamente elaborate in coerenza con le norme ISO 9000 (AAVV, 2003), nell’ambito di un gruppo di lavoro tra amministrazione regionale, atenei piemontesi e Unione degli Industriali. Ogni corso di laurea ha adottato procedure documentate per assicurare, da una parte, le capacità gestionali in merito all’organizzazione delle attività e all’amministrazione delle risorse finanziarie e gestire, dall’altra, sia la progettazione e l’erogazione delle attività formative, monitorandone i risultati ottenuti, sia le risorse infrastrutturali e strumentali, curando nel contempo le relazioni con il territorio.

Operativamente, a ogni corso di laurea è stato richiesto in primo luogo di specificare gli obiettivi di apprendimento e assicurare la loro adeguatezza al profilo professionale atteso, agevolando in tal modo l’apprendimento dei discenti. In secondo luogo al corso di laurea è stato affidato il compito di assicurare il raggiungimento degli obiettivi di apprendimento, facendo ricorso a una struttura organizzativa capace di gestire processi di analisi e miglioramento continuo.

L’ottenimento dell’accreditamento ha permesso ai corsi di laurea, e ai rispettivi atenei, di partecipare a bandi regionali connessi al Fondo Sociale Europeo (FSE) ottenendo finanziamenti (fino all’80% dei costi sostenuti) in ordine alle spese per le attività di formazione professionale e di orientamento. L’iniziativa è terminata nel 2006, allorché l’Unione Europea ha comunicato che le università non dovevano necessariamente sottoporsi alla procedura di accreditamento (che rimaneva obbligatoria per gli operatori non universitari); contestualmente è venuto meno anche il finanziamento pubblico delle attività.

1.6.c L’indagine AlmaLaurea sugli sbocchi occupazionali dei laureati

Dal 1994 il consorzio interuniversitario AlmaLaurea ha promosso la rilevazione degli sbocchi occupazionali dei laureati[5], che continua a essere periodicamente ripetuta e aggiornata. L’indagine, che nel corso degli anni ha coinvolto un numero sempre crescente di atenei (attualmente sono ben 64), ha come obiettivo l’analisi dei risultati dell’ingresso dei laureati nel mercato del lavoro. Le principali attività di monitoraggio che il Consorzio svolge sono l’elaborazione di un profilo dei laureati che consenta sia il confronto fra corsi e sedi di studio sia l’analisi degli sbocchi occupazionali dei laureati. La rilevazione sugli sbocchi occupazionali nel 2013 ha coinvolto oltre 400.000 laureati e ha interessato i laureati a 1, 3 e 5 anni, con tassi di risposta elevati (AlmaLaurea, 2013).

L’indagine, per quanto non possieda intenti di valutazione ma piuttosto di monitoraggio dei laureati, consente di avere un considerevole e accurato insieme di informazioni sugli esiti occupazionali dell’istruzione universitaria. Il fatto che la stessa, pur presente da quasi un ventennio, abbia maggiore risalto sugli organi di stampa che nelle procedure ufficiali di valutazione, conferma i limiti dell’approccio ministeriale, che rimane più attento al rispetto dei vincoli procedurali piuttosto che agli esiti effettivi dei percorsi di formazione.

1.7 Conclusioni

Uno sguardo di insieme consente contemporaneamente di apprezzare l’articolato percorso compiuto dalla valutazione nelle università italiane fino al 2012 e di riscontrarne gli importanti limiti.

Anzitutto si rileva che il sistema di quality assurance, non prevedendo verifiche esterne negli atenei e un coinvolgimento diretto degli stakeholders, non ha compiutamente seguito le indicazioni contenute nelle ESG (Rauhvargers, 2009). Emerge a questo proposito una marcata contrapposizione tra la concezione nazionale, da una parte, e le direttrici di sviluppo sulle quali si è evoluto il processo di integrazione europeo, dall’altra. Mentre a livello nazionale, infatti, si è perseguita un’impostazione di garanzia connessa alla raccolta di dati statistici e alla verifica di parametri quantitativi, a livello centrale europeo è posta maggiore attenzione al miglioramento interno ovvero alla verifica delle capacità delle singole istituzioni di assicurare e promuovere la qualità delle proprie attività verificando la capacità degli atenei, nella loro autonomia, di raggiungere gli obiettivi di qualità prefissati. Non stupisce, pertanto, che in un rapporto sullo stato di sviluppo della quality assurance in riferimento all’anno 2010/2011 e ai 47 sistemi universitari convolti nel processo di Bologna il sistema universitario italiano, pur risultando avere un sistema di assicurazione della qualità, figuri (a pari merito con altri cinque sistemi nazionali) in ultima posizione rispetto all’aderenza alle ESG (AAVV, 2012).

Un secondo elemento di criticità riguarda la debole efficacia dell’assetto del sistema nazionale di valutazione. Si è già argomentato in precedenza in merito alla mancanza di coerenza tra concezione, metodologie e utilizzi della valutazione. La debolezza sistemica dell’impianto valutativo si traduce in una prevalente focalizzazione della valutazione sulle soluzioni metodologiche: questa tendenza, oltre a depotenziare l’intero sistema valutativo, finisce per logorare le soluzioni tecniche adottate, impoverendone le valenze specifiche e creando opportunità per comportamenti e impieghi impropri. Un esempio è rintracciabile nella forte, a tratti ossessiva, attenzione per la rilevazione della soddisfazione degli studenti frequentanti: i relativi questionari, sia pur dotati di indiscusso valore, non possono rappresentare che una frazione minoritaria delle informazioni valutative su cui basare un giudizio qualitativo della didattica. Insistere nell’impiego di un unico strumento finisce sia per depotenziarne le valenze (disinteresse e noia degli studenti nel compilarlo) sia per incentivare comportamenti impropri (eccessiva pressione sui docenti per rendere le lezioni più accattivanti). Il tutto senza che alcuna attenzione sia riservata alla promozione di un utilizzo efficace dei risultati della rilevazione.

Quest’ultimo elemento risulta essere un ulteriore punto di criticità: gli studiosi dei processi valutativi, infatti, considerano la dimensione «dell’utilizzo» come elemento imprescindibile della valutazione, tanto da negare l’identità della stessa in caso di assenza di un qualsiasi impiego dei referti valutativi (Patton, 1997; Stame, 1998). Nel caso della valutazione dell’università l’attivazione dei nuclei ha creato offerta, ma non ha creato una domanda di valutazione (Turri, 2007): una volta terminato il percorso di una sua introduzione, vinta - o per lo meno ridotta - l’inerzia e sperimentate le diverse soluzioni metodologiche non si è stati capace di affrontare in concreto il tema degli utilizzi della valutazione. Essa appare quindi maggiormente connessa a esigenze cerimoniali, di creazione di consenso e di legittimazione piuttosto che con i processi di governance del sistema universitario e degli atenei.

Un ultimo punto debole riguarda l’assenza di attenzione al concetto di reactivity, cioè alla tendenza dei soggetti valutati a mutare i propri comportamenti a fronte della valutazione (Espeland e Sauder, 2007). Ad esempio, i requisiti minimi fissati dal CNVSU in termini di personale docente, come condizione per l’attivazione dei corsi di studio, hanno dato luogo a un threshold effect (Hood, 2007), poiché sono interpretati dagli atenei non come elemento minimo in assenza del quale non è possibile operare, ma come valore di riferimento sulla cui base deliberare l’istituzione di iniziative didattiche: ciò ha condotto alla proliferazione dei corsi di laurea, effetto opposto a quello cercato dal CNVSU.

Torna all'Indice

CAPITOLO 2

QUALI INSEGNAMENTI DALLE ESPERIENZE EUROPEE
DI ASSICURAZIONE DELLA QUALITÀ

2.1 Introduzione

Il Processo di Bologna e i conseguenti sviluppi a livello europeo in tema di quality assurance costituiscono una matrice comune per tutte le esperienze di assicurazione della qualità in Europa. Nel presente capitolo si approfondiscono alcune esperienze nazionali con lo scopo di analizzare il processo storico di sviluppo e implementazione dei sistemi di assicurazione della qualità (AQ), descrivendo le diverse soluzioni metodologiche adottate. In questo modo sarà quindi possibile prendere atto dei punti di forza e di debolezza dei sistemi implementati.

Come illustrato nel paragrafo 1.3, nonostante in Europa sia in atto un percorso di convergenza, i vari sistemi di assicurazione della qualità a livello nazionale rimangono significativamente differenti. In particolare, si riscontra la presenza di sistemi orientati alla garanzia, con poteri rilevanti in termini di autorizzazione a operare e talvolta con conseguenze anche sul finanziamento governativo della didattica. Accanto a questi vi sono però sistemi di assicurazione della qualità orientati esclusivamente al miglioramento, che non prevedono conseguenze sulla possibilità di operare e sui finanziamenti.

Le esperienze di seguito esaminate si riferiscono a Inghilterra, Paesi Bassi e Francia.

L’Inghilterra presenta un’esperienza di quality assurance che è importante esaminare poiché ha un’estensione pluridecennale e una notevole ricchezza metodologica. L’interesse al caso inglese, in ogni caso, non è suscitato solo dal carattere pioneristico delle esperienze di valutazione ma anche dal percorso di evoluzione e riconfigurazione dei sistemi di AQ compiuto negli anni. Il caso olandese rappresenta, invece, l’esperienza storicamente più solida e consolidata di AQ nell’Europa continentale. Pur avendo alcuni punti di contatto con l’esperienza inglese, il sistema olandese si connota per il fatto di essere prevalentemente orientato al miglioramento delle attività didattiche. Infine, viene riferita l’esperienza francese, poiché ha molti punti di contatto con l’Italia: anche la Francia, infatti, dispone di un’agenzia nazionale unica per didattica e ricerca, ha assistito a un recente riordino delle attività di valutazione ed è caratterizzata da sistemi amministrativi negli atenei di impronta prevalentemente burocratica.

2.2 I sistemi di quality assurance in Inghilterra[6]

Negli anni Sessanta e Settanta dello scorso secolo il sistema universitario inglese ha registrato una forte espansione, con la conseguente crescita del numero di Higher Education Istitutions (HEIs), della loro varietà (dal 1970 diventano operativi 30 politecnici amministrati da enti locali) e della spesa pubblica (Kogan e Hanney, 2000). Negli anni Ottanta il governo Thatcher, nell’ambito di un più ampio programma di riforma delle organizzazioni del settore pubblico, è intervenuto nel contesto universitario riducendo il finanziamento statale e introducendo misure destinate a trasformarlo da un sistema più orientato al produttore a uno maggiormente rivolto alle esigenze del consumatore. L’obiettivo era di rendere le università più efficienti e tenute a rispondere del proprio operato (Deem, Hillyard e Reed, 2007).

Nel 1992 il Further and Higher Education Act riforma profondamente il settore dell’istruzione superiore in Inghilterra, stabilendo un’unica struttura con la trasformazione dei politecnici in università. Il provvedimento costituisce quattro non departmental public bodies (NDPBs), presieduti ognuno da un consiglio di nomina ministeriale, e assegna a essi il compito di finanziare le HEIs e di assicurare la qualità delle attività accademiche. Per l’Inghilterra, cui si fa specifico riferimento di seguito, l’HEFCE (Higher Education Funding Council for England) segue logiche e modalità organizzative differenti per il finanziamento e la valutazione della didattica e della ricerca.

Per quanto riguarda la valutazione della didattica, fino al 1997 l’attività di AQ si sviluppa su due binari paralleli, lascito delle preesistenti esperienze in questo ambito (Adelman, 1997; Parry, 2001). Da una parte HEFCE, tramite una propria divisione per la garanzia della qualità, avvia una valutazione della qualità dell’insegnamento a livello dei contenuti; dall’altra HEQC (Higher Education Quality Council), istituzione promossa e costituita direttamente dagli atenei, effettua audit esterne delle procedure interne di quality assurance delle università (Brown, 2004; Brennan e Williams, 2004). L’organizzazione della AQ su due binari diviene presto impopolare, poiché ridondante e poco coerente, tanto che nel 1997 essa diviene oggetto di un riordino (Brennan e Williams, 2004; Brown, 2004). La responsabilità di AQ della didattica rimane in capo al HEFCE che vi provvede però mediante un’unica agenzia appositamente creata e denominata Quality Assurance Agency for higher education (QAA). La QAA è costituita come una società a responsabilità limitata con scopi di pubblica utilità. Essa è formalmente di proprietà degli atenei, ma in realtà è un’istituzione autonoma, che riceve sia la legittimazione a operare nel sistema universitario sia i fondi per il proprio funzionamento dal HEFCE. Inizialmente la QAA ha continuato a operare tramite una procedura duale con audit a livello istituzionale e valutazioni a livello disciplinare (subject review). Successivamente, dal 2002 al 2011, ha svolto valutazione di carattere istituzionale (istitutional audit) tesi a verificare come gli atenei presidino e assicurino la qualità nelle singole attività didattiche. Gli audit esterni, che si sono svolti con scadenza pluriennale, hanno centrato l’attenzione su tre principali aree:

- la validità del sistema interno di assicurazione della qualità, tenendo conto anche degli standard adottati a livello nazionale (le università, infatti, sono tenute a svolgere autovalutazioni a cadenza annuale);

- scrupolosità, affidabilità e completezza delle informazioni diffuse dall’ateneo relativamente alla qualità dei programmi e dei processi didattici;

- il controllo, tramite verifiche a campione, di come le istituzioni assicurino la qualità delle proprie attività a livello delle singole discipline (discipline audit trails in cui si verificano i risultati didattici raggiunti dagli studenti, l’efficacia del supporto all’apprendimento offerto e la precisione delle informazioni pubblicate).

Al termine del processo di audit sono stati pubblicati rapporti finali e si è attivata una procedura di follow-up estremamente approfondita, calibrata sulla base delle lacune emerse.

La QAA ha, a oggi, 130 dipendenti e una dotazione annuale di oltre 12 milioni di sterline. La principale attività di verifica consiste nella revisione della formazione superiore (Higher Education Review) che riprende, con alcune innovazioni, le preesistenti attività di istitutional audit (attive, come precedentemente ricordato, dal 2002 al 2011).

L’attività di verifica è supportata dalla definizione a livello nazionale di elementi minimali di qualità cui gli atenei devono attenersi (quality code). Il sistema ha come principale obiettivo quello di stabilire e mantenere standard accademici, assicurando e migliorando la qualità delle attività accademiche; si propone, inoltre, di fornire informazioni adeguate, trasparenti e facilmente comprensibili circa le attività accademiche erogate. Il presupposto del quality code è che ogni istituzione terziaria attiva in Inghilterra (università o college) sia responsabile per il rispetto degli standard accademici e la qualità delle attività accademiche che essa eroga. Il codice rappresenta il punto di riferimento comune per tutti gli atenei per impostare, gestire e assicurare la qualità delle proprie attività.

L’obiettivo della Higher Education Review è informare gli studenti e gli altri portatori di interessi in merito alla capacità dell’istituzione di soddisfare, sulla base del quality code, le aspettative in ordine a:

- il mantenimento di standard accademici fissati a livello nazionale;

- la capacità di fornire occasioni di apprendimento;

- la capacità di mettere a disposizione informazioni in merito ai processi formativi erogati;

- il miglioramento delle opportunità di apprendimento dei discenti.

Questi elementi rappresentano i punti chiave della Higher Education Review e sono verificati in tutte le istituzioni; esse rimangono invariate nel tempo al fine di garantire alle valutazioni continuità e comparabilità. Accanto a esse, annualmente QAA definisce un focus di analisi specifico che per quell’anno diventa oggetto di un’apposita verifica (nel 2013 si è trattato dell’esperienza degli studenti del primo anno).

L’Higher Education Review prevede la formulazione di un giudizio valutativo da parte di un team di accademici esperti (peer review), basato su un’analisi preliminare (desk-based analysis) e una visita esterna di verifica.

L’analisi preliminare prende in considerazione un ampio insieme di informazioni messe a disposizione dal QAA e dall’istituzione valutata. Tre sono le principali fonti informative (QAA, 2013):

- informazioni fornite da QAA in merito a precedenti audit e a valutazioni condotte da altri enti;

- un rapporto di autovalutazione dell’istituzione che illustra in modo documentato le procedure interne di quality assurance, i risultati raggiunti e gli ambiti di miglioramento;

- un documento predisposto dagli studenti in merito al loro coinvolgimento nei processi decisionali e nel sistema di quality assurance.

Il processo di preparazione ha, di norma, una durata di 52 settimane (QAA, 2013). Trascorso questo intervallo, si svolge la visita di valutazione presso l’istituzione valutata. La visita ha una durata e un’articolazione variabili (da uno a cinque giorni), a seconda delle evidenze raccolte durante la fase precedente. In presenza di informazioni esaustive e di un percorso consolidato di AQ la visita è relativamente breve e si limita a effettuare alcuni approfondimenti rispetto alle informazioni acquisite. Dove invece l’analisi preliminare non è stata soddisfacente e nel caso in cui non vi sia un percorso consolidato di AQ la visita è più estesa e approfondita.

Dopo la visita di verifica si procede secondo il seguente iter:

- la QAA trasmette all’istituzione valutata una lettera con i principali risultati dell’analisi condotta (copia della lettera è inviata alla autorità del HEFCE);

- successivamente (entro sei settimane dallo svolgimento della visita) QAA redige il rapporto provvisorio di valutazione;

- infine, dopo nove settimane, è pubblicato il rapporto di valutazione, che tiene comunque conto delle eventuali proposte di correzione per errori fattuali da parte dell’istituzione valutata.

Il rapporto contiene, per ognuno dei requisiti principali individuati dal quality code (standard, qualità, informazioni e miglioramento), un giudizio che può essere di rispondenza o di necessità di miglioramenti oppure di non rispondenza.

Dopo la pubblicazione del rapporto di verifica, l’istituzione predispone un programma di miglioramento sottoscritto dal vertice dell’organizzazione e condiviso con i rappresentanti degli studenti, che prende in considerazione gli eventuali rilievi e specifica le modalità con cui si intende risolverli. Questo piano d’azione è pubblicato insieme al rapporto di valutazione e deve essere aggiornato a cura dell’istituzione.

La procedura inerente il piano d’azione e il suo aggiornamento è più rigorosa e stringente se il rapporto contiene giudizi di non rispondenza. Quando QAA riscontra che sono stati implementati miglioramenti adeguati a quanto rilevato modifica i giudizi valutativi di non adeguatezza.

Il team di esperti ha una composizione variabile: si passa da due a sei componenti di cui almeno uno studente. Per i nuovi partecipanti è previsto un percorso di formazione a cura della QAA. Inoltre nei team può essere prevista la partecipazione, come osservatori, di valutatori stranieri.

Per le istituzioni che sono state sottoposte in passato ad almeno due procedure di review con esito positivo le viste di verifica ricorrono ogni sei anni, per le altre istituzioni è prevista una nuova visita dopo quattro anni dalla conclusione della precedente procedura di valutazione (QAA, 2013).

In generale, lungo tutto il processo di valutazione, grande attenzione è data agli studenti mediante un loro coinvolgimento attivo nei processi di valutazione e la stesura di report dedicati (BIS, 2011). Non si tratta di un fenomeno superficiale, ma di una forma di considerazione con radici profonde, come dimostra l’attenzione alla diffusione di informazioni (Brennan e Bellingham, 2013).

Un altro elemento di innovazione è l’adozione, da parte della QAA, di un approccio di risk management teso sia ad alleggerire le verifiche esterne nelle realtà più consolidate sia a esercitare la massima intensità di controllo laddove vi sia maggiore necessità[7]. Istituzioni con un consolidato percorso di gestione della qualità sono oggetto di verifiche meno frequenti e meno approfondite di istituzioni prive di tale percorso (Rebora, 2013).

Higher Education Review, come le precedenti valutazioni istituzionali, non genera conseguenze dirette sulla possibilità di operare degli atenei, tuttavia i fondi di finanziamento hanno facoltà di intervenire sul livello degli stanziamenti in caso di criticità.

Non tutte le attività di valutazione della didattica sono delegate alla QAA. HEFCE cura direttamente la diffusione di informazioni sul web -comparabili e in prospettiva studente- relative alle HEIs e alla didattica.

Tra le iniziative promosse ha assunto una crescente rilevanza la raccolta centralizzata delle opinioni degli studenti attiva dal 2005 e denominata National Student Survey. I risultati sono stati pubblicati sul web in modo comparato, suscitando grande attenzione da parte della stampa e delle università. I risultati sono stati, inoltre, oggetto di valutazione durante l’analisi preliminare del Higher Education Review.

Le organizzazioni professionali autorizzano le università a rilasciare un titolo in molte discipline, cioè riconoscono agli studenti che hanno frequentato con successo un corso di laurea l’accesso allo svolgimento di una specifica professione. Il riconoscimento avviene mediante un accreditamento del corso di studio che attesta la propria capacità di fornire tutte le conoscenze necessarie allo svolgimento di quella professione. Una tipica modalità di accreditamento è quella rilasciata dall’Engineering Council, che prevede audit quinquennali secondo regole definite dalla stessa organizzazione professionale e condotti da comitati composti da accademici ed esperti della professione. Gli ambiti oggetto di valutazione sono le regole di accesso ai corsi, i processi di insegnamento e apprendimento, le modalità di accertamento delle conoscenze e il raggiungimento degli outcome formativi.

Lungo un percorso ormai trentennale in Inghilterra la valutazione è stata utilizzata come una delle primarie leve di azione del governo per introdurre cambiamenti di ampia portata nel sistema universitario. L’incremento e il riordino dell’offerta universitaria degli anni Settanta, la volontà dei governi conservatori di contenere la spesa pubblica e di portare anche nell’università le riforme avviate nei servizi pubblici degli anni Ottanta, il new managerialism promosso dai governi Labour, la volontà di connettere il sistema produttivo con gli atenei e gli indirizzi per il potenziamento del mercato sono solo alcune delle politiche pubbliche che hanno trovato nell’attivazione di esercizi nazionali di valutazione, in connessione con altri interventi governativi, un potente strumento.

In questa logica, la recente decisione governativa di porre al centro del sistema universitario gli studenti e di incrementare le tasse sulla base del principio pay more in order to get more (Browne, 2010) ha avuto come naturale conseguenza il potenziamento della diffusione di dati comparabili sulle HEIs e, contemporaneamente, la richiesta al QAA di verificare il rispetto di standard minimi di qualità (Browne, 2010; Brennan e Bellingham, 2013).

L’esperienza inglese si pone quindi come un sistema di valutazione evoluto che ha sperimentato più soluzioni, traendone benefici anche attraverso le criticità. È interessante rilevare come dai rapporti dell’ENQA non risulti una totale rispondenza delle soluzioni di quality assurance adottate dalla QAA alle ESG. È un punto importante poiché le ESG, almeno in parte, si ispirano a soluzioni sperimentate in passato proprio in Inghilterra. Questa discrepanza mette in luce l’assenza di un modello unico consolidato, la natura evolutiva dei sistemi di valutazione e il tema della proporzione tra costi della valutazione e benefici indotti.

2.3 I sistemi di quality assurance nei Paesi Bassi[8]

I Paesi Bassi sono stati tra le prime nazioni europee a sviluppare sistemi per la valutazione delle attività universitarie: i primi esercizi di valutazione riferiti alla ricerca, infatti, risalgono al 1983 e sono connessi alla distribuzione delle risorse economiche elargite secondo certe condizioni (Conditional Funding). La valutazione si presenta, nei fatti, come uno dei principali perni del processo di incremento dell’autonomia istituzionale degli atenei: alle istituzioni è concessa maggiore autonomia a fronte della richiesta di rispondere sulla qualità dei risultati da esse prodotti (Maassen e van Vught, 1994). Questo fatto comporta, peraltro, il passaggio da un interesse prevalente per il controllo degli input del processo didattico a quello per il controllo degli output (de Weert e Boezerooy, 2007).

Dal 1986 (fino al 2002) è stato promosso e implementato dall’Associazione delle Università olandesi (VNSU) un esercizio di valutazione delle attività didattiche, con valutazioni dei corsi di studio articolate per area scientifica (Turri, 2005). La valutazione coinvolgeva simultaneamente tutte le università olandesi che ospitavano corsi in quella specifica area disciplinare e si sostanziava in una valutazione condotta da esperti disciplinari (peer review) che prevedeva:

- un rapporto di autovalutazione preliminare preparato a cura dalle facoltà;

- una visita di due giorni dei peer;

- un rapporto di valutazione conclusivo.

Alla fine del processo i risultati della valutazione erano resi pubblici in un rapporto che comprendeva gli esiti di tutte le review condotte, a livello nazionale, in una determinata area disciplinare. Dopo questa fase il sistema era sottoposto a una metavalutazione a cura Ministero dell’Educazione, della Cultura e della Scienza che, tramite un apposto ispettorato, verificava, da una parte, la validità e la rigorosità del processo di peer review, mentre dall’altra, in presenza di risultati negativi della valutazione, richiedeva alle università di realizzare, con un piano d’azione tempificato, gli interventi previsti per ripristinare la qualità del programma.

L’esercizio era quindi orientato al miglioramento, con particolare attenzione ai tassi di abbandono e ai tempi necessari per ottenere il titolo di studio. In questa ottica, pertanto, non era previsto alcun legame con i meccanismi di finanziamento delle attività didattiche. Tuttavia, qualora dalla procedura di metavalutazione fossero emersi livelli di qualità non soddisfacenti, il Ministero avrebbe attivato una procedura per richiedere interventi alle università, arrivando anche a espellere dal sistema nazionale i corsi di studio che non davano evidenza di miglioramenti. Il sistema era comunemente denominato «cartellino giallo e cartellino rosso», proprio a sottolineare la sua gradualità e la possibilità di rimediare nel caso di un’iniziale non conformità.

Cinque elementi possono essere individuati come le colonne portanti del sistema di assicurazione della qualità nei Paesi Bassi (Turri, 2005):

- Autovalutazione. Il processo di valutazione ha il proprio punto di partenza nell’annuncio all’università e alle sue strutture dell’attivazione della procedura di verifica. Da questo momento alle istituzioni è lasciato un anno di tempo per redigere un rapporto di autovalutazione per ogni programma interessato dall’esercizio di quality assessment. Il rapporto è poi l’elemento sul quale si basa la valutazione esterna. Il comitato di valutazione, dopo averne accertata la completezza, effettua, sulla base dei contenuti del rapporto di autovalutazione, una valutazione del programma. Successivamente, durante la visita presso l’università il comitato di valutazione cerca una conferma di quanto emerso in questa prima fase. La centralità del rapporto di autovalutazione nell’ambito dell’intero processo è tale che, se il comitato di valutazione lo giudica non adeguato, la visita di accertamento non può avere corso.

- Visita di review. La visita si tiene dopo quindici mesi dall’annuncio e di massima ha una durata di due giorni e mezzo. Durante la visita i peer, mediante una serie pianificata di incontri, cercano evidenze di quanto le enunciazioni e i dati riportati nei rapporti siano rappresentativi della realtà dei diversi corsi di studio. Il focus della visita è sui contenuti dei corsi di studio e non è pertanto raro che due o più peer leggano alcune tesi e si soffermino sulla coerenza delle votazioni attribuite.Al termine della visita, il comitato di review dà al vertice dell’ateneo una prima anticipazione orale del proprio giudizio sul programma.

- Rapporto finale. Il rapporto finale è reso pubblico a cura del VSNU e si compone di due sezioni: (i) una sezione generale, dove si dà conto della valutazione nel suo insieme e si presentano le procedure seguite e la composizione del comitato di peer; si dedica poi un capitolo alla situazione complessiva della disciplina esaminata in Olanda; (ii) una seconda sezione è preliminarmente inviata agli atenei al fine di individuare e correggere eventuali errori e riporta, per ognuno dei corsi di studio valutati, un giudizio del comitato, articolato secondo una lista prefissata di elementi valutativi (gli stessi alla base della struttura del rapporto di autovalutazione). Il rapporto finale, limitandosi a riportare giudizi, non contiene indicazioni per il miglioramento, le quali sono eventualmente riportate in un apposito documento denominato management letter.

- Management letter. Durante la visita, i vertici dei corsi di studio e della facoltà possono sottoporre al comitato problemi o difficoltà, richiedendo un consiglio su come affrontarli. In questo caso il comitato consegna alla facoltà una management letter confidenziale contenente i propri suggerimenti al riguardo.

- Processo di metavalutazione. Il processo di metavalutazione è condotto a cura dell’Ispettorato per l’Educazione Universitaria e si compone di due distinte analisi: (a) una propriamente metavalutativa, nell’ambito della quale l’ispettorato svolge un incontro con il presidente del comitato di valutazione teso ad accertare la rigorosità dell’operato del comitato e la rispondenza dei giudizi con i criteri del documento metodologico; (b) una seconda, attivata nel caso in cui il rapporto finale segnali sostanziali lacune qualitative. In questo caso l’ispettorato richiede alle istituzioni titolari del programma lacunoso di inviare un piano per il ripristino delle condizioni qualitative. Dopo due anni l’ispettorato visita gli atenei per verificare la risoluzione delle lacune.

Il sistema non si limita quindi a un controllo rituale in quanto, se l’ispettorato non ritiene soddisfacente il piano per la risoluzione delle lacune, lo notifica al Ministro e rende pubblico il suo giudizio negativo (sistema «cartellino giallo, cartellino rosso»). Qualora l’istituzione non intraprenda immediate e risolutive azioni, il Ministro può arrivare fino allo stralcio del programma tra quelli legalmente riconosciuti e all’interruzione dei conseguenti finanziamenti.

Gli elementi considerati nella valutazione sono i seguenti: gli obiettivi del corso di studio, la struttura e la coerenza del piano di studio, il legame con le attività di ricerca e con le caratterizzazioni professionali, le competenze dei discenti, l’andamento delle nuove iscrizioni, i tassi di successo degli iscritti, la qualità dei laureati, l’adeguatezza del personale accademico, l’adeguatezza dei servizi e delle strutture didattiche, l’internazionalizzazione e, infine, la presenza di un sistema di qualità interno.

Con l’adozione della dichiarazione di Bologna e l’introduzione di corsi di studio su due cicli (Bachelor-Master system) l’architettura del sistema di assicurazione della qualità nei Paesi Bassi ha subito a partire dal 2003 importanti cambiamenti, assumendo un’organizzazione su tre livelli: le università, le agenzie indipendenti di valutazione e l’organo nazionale depositario del potere legale di concedere l’accreditamento.

L’Accreditation Organisation of the Netherlands and Flanders (NVAO) è istituzione che ha per legge il potere di accreditare i corsi di laurea nei Paesi Bassi e nelle Fiandre. NVAO è un’istituzione indipendente, costituita nel 2003 dai governi dei Paesi Bassi e delle Fiandre con lo scopo di fornire un giudizio esperto e oggettivo sulla qualità delle attività accademiche. L’agenzia, che è regolata da un trattato e dalla legislazione di entrambi i paesi, ha un bilancio annuale di circa 6 milioni di euro (60% a carico del governo olandese e la rimanente parte del governo delle Fiandre), è guidata da un consiglio di amministrazione composto da quattro membri e dispone di circa 50 unità di personale.

Tre sono le linee di attività che caratterizzano l’operato di NVAO e che hanno sostituito le procedure di valutazione preesistenti:

- l’accreditamento dei corsi di studio esistenti;

- l’accreditamento dei nuovi corsi di studio;

- l’accreditamento delle istituzioni universitarie (questa linea di attività è operativa dal 2011).

Nei Paesi Bassi il primo ciclo di valutazione si è concluso nel 2010, successivamente è stato avviato un nuovo ciclo di valutazione di sei anni.

NVAO procede direttamente a svolgere la valutazione e l’accreditamento dei nuovi corsi di laurea, così come ad accreditare le istituzioni.

Per quanto riguarda l’accreditamento dei corsi di studio esistenti essa si affida ad agenzie esterne per lo svolgimento delle verifiche periodiche (di norma ogni sei anni) necessarie per il mantenimento dell’accreditamento. A questo fine NVAO ogni anno identifica un elenco di agenzie di valutazione che abbiano i requisiti per svolgere le verifiche esterne della qualità. NVAO definisce il perimetro e le caratteristiche delle verifiche esterne nei corsi di studio e acquisisce gli esiti delle valutazioni. Il giudizio finale di accreditamento si basa poi sui risultati delle valutazioni, mentre la decisione di accreditamento è esclusivamente di competenza di NVAO.

Pur non essendo previste procedure di follow-up, l’accreditamento può comunque essere concesso in modo condizionato e, in questo caso, vi è una verifica dei miglioramenti intrapresi.

Quality Assurance Netherlands Universities (QANU) è la principale agenzia di assicurazione di qualità che opera nei Paesi Bassi. L’organismo ha lo scopo di promuovere la qualità della didattica e della ricerca universitaria e, nel contempo, svolge attività di valutazione esterna. L’Agenzia è costituita come fondazione indipendente e, nei fatti, dal 2004 ha ereditato le esperienze e il personale che in passato si occupava, presso la VSNU, di assicurazione della qualità. Con la creazione di una fondazione indipendente si è così voluto sancire l’autonomia della valutazione rispetto alle università di cui la VSNU è il rappresentante. Presso QANU operano un numero ridotto di operatori assunti a tempo indeterminato (circa 15 unità), coordinati da un direttore; la Fondazione si avvale poi di un consolidato network di collaboratori freelance. Il bilancio è interamente alimentato dai ricavi delle visite di valutazione condotte negli atenei.

La procedura di valutazione dei corsi di studio prevede:

- la stipula di un accordo tra QANU e un’istituzione per lo svolgimento della valutazione;

- la definizione di un comitato di esperti disciplinari indipendenti (è prevista la partecipazione di uno studente e, occasionalmente, di componenti stranieri) anche su proposta dell’istituzione valutata;

- l’approvazione del comitato di valutazione da parte di NVAO;

- la stesura da parte dell’ateneo di un documento di autovalutazione sulla base degli standard definiti da NVAO;

- lo svolgimento di una visita in loco per la valutazione del corso di studio, a partire da un documento di autovalutazione;

- la stesura da parte del comitato di valutazione di un giudizio sul possesso da parte del corso di studio dei requisiti per l’accreditamento;

- l’invio da parte di QANU all’istituzione oggetto di valutazione di un rapporto provvisorio di valutazione;

- la stesura, da parte di QANU, del rapporto finale di valutazione, a seguito della raccolta di eventuali segnalazioni delle istituzioni e sentito il parere del Comitato di valutazione.

Tra gli oggetti dell’osservazione ritroviamo gli obiettivi del corso di studio, il piano degli studi, il personale, i servizi di supporto disponibili, il processo interno di assicurazione della qualità e i risultati del corso di studio. Non è prevista una procedura formale di follow-up; tuttavia, nel rapporto di autovalutazione, i corsi di studio danno conto dei miglioramenti intrapresi, anche in relazione alle osservazioni scaturite dalle precedenti valutazioni.

Emergono alcuni cambiamenti rispetto la procedura di valutazione promossa dal VNSU fino al 2003:

- il rapporto di valutazione interna, pur essendo previsto, non è inserito nella procedura di valutazione, ma rappresenta un momento di autoanalisi che ha lo scopo di promuovere la discussione e il miglioramento interno;

- le visite ispettive esterne sono finalizzate ad accertare, per ogni corso di studio, il possesso e il rispetto di questi criteri al fine dell’ottenimento dell’accreditamento, senza il quale il corso non è finanziato e riconosciuto dal Ministero dell’Educazione, della Cultura e della Scienza. L’esito della procedura di valutazione è pertanto di tipo binario: accreditato o non accreditato. Non è previsto un ranking.

Tutti i cambiamenti rafforzano e ribadiscono l’orientamento prevalente del sistema di AQ al miglioramento.

Dal 2011 ogni ateneo può chiedere a NVAO di essere oggetto di una valutazione istituzionale: in caso di esito positivo le procedure di valutazione esterne dei corsi di studio per quell’ateneo sono semplificate. Il programma di valutazione semplificato è centrato su tre quesiti:

- quali sono gli obiettivi del corso di studio? Definizione degli obiettivi di apprendimento (learning outcomes);

- come il corso di studio realizza i propri obiettivi di apprendimento? Verifica dell’adeguatezza e della coerenza del piano di studi, del personale, dei servizi e delle strutture in relazione al raggiungimento degli obiettivi prefissati;

- sono stati raggiunti gli obiettivi? Verifica dei risultati ottenuti dai discenti e dai laureati.

Uno sguardo complessivo sul percorso di quality assurance nei Paesi Bassi consente di riconoscere proprio nella promozione del miglioramento il filo rosso delle diverse esperienze. Molto forte è l’apertura verso l’European Higher Education Area: NVAO e QANU sono entrambe iscritte presso l’EQAR e rispettano pienamente le ESG. In questa direttrice è molto significativo il carattere sovranazionale di NVAO.

Le linee evolutive più recenti, dal 2011, mostrano uno sforzo della direzione della semplificazione e dell’alleggerimento delle procedure di valutazione in presenza di garanzie circa la solidità dei sistemi di quality assurance interni. Le procedure di assicurazione della qualità si sforzano di ridurre il carico amministrativo e burocratico sul personale accademico e amministrativo degli atenei e di adottare modalità di verifica flessibili e capaci di tenere in considerazione le caratteristiche dell’oggetto della valutazione[9].

2.4 I sistemi di quality assurance in Francia[10]

Il sistema universitario francese è stato storicamente caratterizzato da una forte centralizzazione e da un notevole potere del personale accademico organizzato in facoltà, mentre il ruolo delle istituzioni è risultato alquanto debole tanto che le università sono state ri-istituite solo nel 1968, dopo l’abolizione attuata durante la rivoluzione francese (Musselin e Paradise, 2009).

Agli inizi degli anni Ottanta il sistema universitario francese era caratterizzato da numerose istituzioni. Accanto alle università, cui erano iscritti circa il 60% degli studenti, vi erano piccole istituzioni indipendenti spesso molto prestigiose, denominate grande écoles o écoles superiores, che si differenziavano dalle università per la possibilità di selezionare gli studenti, per una maggior specializzazione disciplinare e per una vocazione, pur con alcune rilevanti eccezioni, rivolta esclusivamente alla didattica. Oltre a queste istituzioni vi erano circa 20 agenzie nazionali di ricerca finanziate dallo Stato (tra queste la principale è il CNRS, Centre National de la Recherche Scientifique) che in molti casi cooperavano con le università mediante laboratori congiunti denominati mixed research units (UMR) (Chevaillier, 2013).

In modo speculare alla presenza di più istituzioni, diversi erano gli organi di valutazione nel sistema universitario francese (Chevaillier, 1998 e 2004). Il CNE (Comité National d’Évaluation, istituito nel 1984), era dotato di autonomia finanziaria e amministrativa; composto da 25 membri nominati dal Presidente della Repubblica ha svolto, tra il 1986 il 2006, valutazioni di tutte le università e di molte écoles. La procedura di valutazione adottata era articolata su rapporti di autovalutazione in merito al funzionamento delle attività accademiche e alla capacità di management; in seguito visite esterne di valutazione tramite peer review consentivano al Comitato di stendere un rapporto pubblico conclusivo di valutazione. Il CNE ha inoltre preparato rapporti sullo stato del sistema universitario e valutazioni tematiche in specifici settori scientifici disciplinari.

Accanto a questo organo di valutazione, operavano nel sistema universitario francese due altre agenzie. Il CNER (Comité National d’Évalutaion de la Recherche, istituito nel 1989) aveva come focus principale la valutazione delle attività di ricerca a livello sovra-istituzionale, mentre il MSTP (Mission Scientifique, Technique et Pédagogique) valutava sia i corsi di studio (academic teaching programmes), anche ai fini dell’accreditamento, sia i singoli accademici per l’assegnazione di grant. Inoltre specifiche organizzazioni seguivano la valutazione delle attività delle agenzie nazionali di ricerca.

L’avvio delle attività di valutazione è concomitante al mutamento delle relazioni tra governo e istituzioni, anzi sembra quasi precederlo. Nel 1998 i rapporti tra governo e ateneo diventano meno gerarchici e più paritari, basandosi su negoziazioni quadriennali che prevedono la stipula di contratti tra il governo e ogni HEIs comprendenti, tra l’altro, la definizione dell’operating budget assegnato (Chevailler, 1998; Musselin e Paradise, 2009). Si tratta di un processo importante che avvia un progressivo irrobustimento a livello corporate delle HEIs, con il rafforzamento delle loro identità e lo sviluppo di autonome capacità strategiche e manageriali (Boffo, Dubois e Moscati, 2006).

Nella seconda metà dello scorso decennio il sistema universitario francese è stato sottoposto a ulteriori importanti cambiamenti, almeno in parte connessi all’insoddisfazione sulle performance in termini di pubblicazioni e alla volontà governativa di incrementare la competitività internazionale delle HEIs francesi. Nel 2007 il provvedimento legislativo denominato Act on freedom and responsability of universities ha previsto un rafforzamento della corporate governance delle HEIs e una maggiore autonomia finanziaria delle stesse. L’anno prima il legislatore era intervenuto incentivando la collaborazione tra università, ècoles e agenzie di ricerca anche mediante la creazione di aggregazioni e network tematici di ricerca, denominati Pôles de Recherche et de l’Enseignement Supérieur (PRES). Lo stesso provvedimento aveva unificato i diversi organi di valutazione in un’unica agenzia denominata AERES (Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur).

L’AERES è un’autorità indipendente, il suo presidente è nominato dal Presidente della Repubblica con il voto unanime delle commissioni parlamentari. Nel board, composto di venticinque componenti, vi sono accademici – sia francesi sia stranieri - e rappresentanti degli stakeholders. L’agenzia risponde direttamente al Parlamento da cui riceve i fondi per il funzionamento (nel 2012, 16 M€). Il personale amministrativo (circa 70 unità) è coordinato da un segretario generale mentre le procedure di valutazione sono condotte da esperti esterni (sono coinvolti annualmente circa 4.500 accademici). L’AERES è organizzata in tre dipartimenti, uno dedicato alla valutazione delle istituzioni, uno alla valutazione della didattica (compresa quella dottorale) e uno alla valutazione delle unità di ricerca.

Le valutazioni delle istituzioni (se ne effettuano circa 60-80 ogni anno) verificano la coerenza degli indirizzi strategici assunti, le capacità manageriali (anche a fronte della recente autonomia finanziaria), l’apertura internazionale e la capacità di autovalutazione. La valutazione tiene inoltre conto della diversità tra istituzioni e si basa su un rapporto di autovalutazione seguito da una visita esterna; è infine prevista la pubblicazione di un report conclusivo.

La valutazione della didattica prende in esame la rilevanza scientifica e professionale dell’offerta formativa. È prevista la stesura di un documento di autovalutazione a cura dell’ateneo valutato, la redazione di una valutazione da parte del comitato di esperti nominati dall’AERES e infine una fase di validazione che si conclude con la pubblicazione del referto. La procedura è pienamente coerente con le linee guida proposte dall’ENQA e inoltre l’AERES fa parte dell’EQAR (ENQA, 2011).

La valutazione segue procedure differenti per i percorsi triennali (bachelor), biennali (master) e per il dottorato di ricerca. Il processo di valutazione prevede tipicamente i seguenti passaggi:

- l’AERES avvia una campagna di valutazione e nomina un team di esperti;

- le istituzioni sottopongono un rapporto di autovalutazione;

- gli esperti esaminano il materiale preparatorio ed effettuano un esame dei corsi di studio dell’istituzione oggetto di valutazione;

- si redige un rapporto preliminare di valutazione;

- gli esperti conducono la visita ispettiva;

- le istituzioni sottopongono i loro commenti;

- è steso il rapporto finale;

- le istituzioni esprimono il proprio commento sul rapporto;

- l’AERES analizza i commenti e pubblica il rapporto finale accompagnato dai commenti dell’istituzione.

Per la valutazione dei dottorati di ricerca si dedica particolare attenzione alla visita degli esperti che è effettuata prima della stesura del rapporto e prevede interviste con il direttore della scuola, il board di direzione e i dottorandi.

In generale sono oggetto di analisi la qualità e la coerenza del progetto di formazione, l’articolazione del percorso formativo in termini di chiarezza e di bilanciamento, la presenza di supporti per l’apprendimento, il successo in termini di inserimento professionale o prosecuzione degli studi, lo sviluppo delle carriere dei discenti, la presenza di un team accademico e amministrativo dedicato e reperibile. Particolare attenzione è rivolta:

- per le lauree triennali ai tassi di successo e all’impostazione di un programma di studio coerente con l’inserimento professionale o il proseguimento degli studi;

- per le lauree magistrali all’interazione con il contesto scientifico e socio economico;

- per le scuole di dottorato a (i) modalità di direzione e gestione della scuola e del suo contesto scientifico; (ii) formazione e formazione dei dottorandi; (ii) risultati professionali dei dottori di ricerca.

La relazione di autovalutazione dell’istituzione valutata è un elemento centrale del processo di valutazione. Il suo obiettivo è posizionare ogni corso di studio rispetto alla strategia complessiva dell’istituzione, anche in considerazione delle caratteristiche dell’offerta formativa complessiva dell’ateneo. Il documento di autovalutazione individua i punti di forza e di debolezza del percorso formativo con particolare riferimento alla didattica e agli studenti.

Tutti i rapporti di valutazione dell’AERES sono pubblici. In particolare nella valutazione dei corsi di laurea è prevista l’assegnazione di un rating che è poi utilizzato per le procedure di accreditamento (Chevailler, 2013).

Lo spettro di finalità che si pone l’AERES è indubbiamente ampio:

- fornire informazioni sulle istituzioni e le iniziative accademiche a tutti gli stakeholders che, a vario titolo, operano nel sistema universitario;

- valutare l’operato delle HEIs al fine di garantirne l’accountability;

- favorire i processi interni di valutazione e rafforzare la capacità di formulare le strategie degli atenei.

Gli output di valutazione non hanno collegamenti diretti sulle decisioni ministeriali e sul livello di finanziamento delle istituzioni. Ciò non impedisce, almeno teoricamente, che l’esito della valutazione possa essere considerato nel contratto quinquennale tra Ministero e atenei: Tale contratto regola, infatti, la possibilità degli HEIs di operare e il livello di finanziamento concesso. La valutazione dell’AERES è tuttavia più una base informativa su cui stimolare il miglioramento e la capacità strategica delle istituzioni piuttosto che il risultato di un ranking connesso all’allocazione dei fondi governativi (Poti, 2011).

Nel corso del 2012, a seguito dell’elezione del presidente Hollande e al mutamento di coalizione di governo, hanno trovato espressione quelle posizioni molto critiche rispetto alla valutazione promossa dall’AERES che negli anni precedenti non si erano mai del tutto sopite. Tra le richieste che hanno trovato maggiore credito emergono quelle dell’attenuazione dei giudizi quantitativi, della semplificazione dei processi valutativi - accusati di essere eccessivamente time-consuming - e della validazione delle procedure di valutazione da parte delle HEIs. Nel solco di queste proposte, e nell’ambito di un più vasto disegno di riforma del sistema universitario francese, la legge 660/2013 dispone la sostituzione dell’AERES con Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur (HCERES). Il nuovo organismo di valutazione mantiene le competenze e le modalità di funzionamento del precedente con alcune variazioni inerenti maggiori garanzie di terzietà degli esperti utilizzati nelle procedure di valutazione e la possibilità delle unità di ricerca (spesso congiunte con gli istituti pubblici di ricerca) di richiedere la valutazione ad altri organismi di valutazione. Una forte attenzione è posta all’alleggerimento dei carichi amministrativi connessi con lo svolgimento delle attività valutative.

2.5 Sistemi differenti e orientamenti simili

L’analisi di tre tra le principali esperienze di assicurazione della qualità presenti in Europa mette in evidenza il riferimento comune alle ESG e la connessa adozione di metodologie valutative fondate su autovalutazione, visita esterna di peer e rapporto finale di valutazione. Pur sulla base di una matrice comune, l’osservazione permette di riscontrare, tuttavia, sistemi profondamente differenti per:

- promotore: agenzia privata nel caso inglese, un sistema binario (articolato con più agenzie di valutazione) nel caso olandese, un’agenzia nazionale unica per tutte le attività accademiche per la Francia);

- tipologie di soluzioni valutative adottate: una valutazione istituzionale in Inghilterra, valutazione dei corsi di studio nei Paesi Bassi con il recente affiancamento di una valutazione istituzionale, valutazione istituzionale e dei corsi di studio in Francia;

- connessione degli esiti della valutazione alle decisioni in merito all’attivazione dei corsi di studio: mediante HEFCE in Inghilterra, direttamente tramite NVAO nei Paesi Bassi e tramite il contratto quinquennale in Francia.

Se queste differenze non possono essere ignorate e risultano strutturali, emergono almeno quattro tendenze evolutive comuni che, pur con differenti gradi di intensità e di radicamento, è possibile riconoscere come emergenti:

- l’alleggerimento dei sistemi di valutazione, inteso come riduzione degli adempimenti amministrativi (caso francese e olandese) oppure come attenuazione delle procedure per le istituzioni che dimostrano di presidiare con attenzione il tema dell’AQ (nei Paesi Bassi con la procedura ridotta per gli atenei che hanno superato la valutazione istituzionale; in Inghilterra con l’adozione di criteri di risk management nella conduzione delle verifiche);

- la valorizzazione dell’istituzione quale primario attore dell’assicurazione della qualità con procedure di valutazione che esaminano la capacità di AQ anzitutto a livello istituzionale (Inghilterra, Paesi Bassi e Francia hanno tutti attivato procedure di valutazione istituzionale, anche se nel caso francese non direttamente connesse alla valutazione dei corsi di studio);

- la centralità degli studenti nei processi di valutazione (in tutte le tre nazioni esaminate) e, più in generale, lo sforzo per creare condizioni informative favorevoli per una considerazione consapevole dei corsi di laurea da parte dei diversi stakeholders.

Complessivamente emerge, specie in riferimento a Inghilterra e Paesi Bassi ma recentemente anche in Francia, una considerazione evolutiva dei sistemi di valutazione alla ricerca di un equilibrio tra estensione e profondità della valutazione, attenzione agli utenti ed esigenze di funzionalità e di autonomia delle istituzioni accademiche.

Torna all'Indice

CAPITOLO 3

L’AVVIO DEL SISTEMA AVA
(AUTOVALUTAZIONE, VALUTAZIONE PERIODICA E ACCREDITAMENTO)

3.1 L’ANVUR e il nuovo sistema di valutazione italiano

Come detto, nel 2011 in Italia nasce, in sostituzione di CNVSU e CIVR, l’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR). Alla sua guida vi è un consiglio direttivo nominato direttamente dal Ministro, previa consultazione delle commissioni parlamentari, e composto da sette membri tra i quali è eletto il presidente. Oltre ai compiti precedentemente assegnati agli originari due organi di valutazione se ne sono aggiunti di nuovi. In particolare, all’ANVUR sono attribuite ampie funzioni di valutazione sia della didattica (anche a livello di dottorato) sia della ricerca. Inoltre, l’ANVUR è incaricata, da un lato di definire i criteri per le procedure nazionali di selezione e progressione di carriera del personale accademico, dall’altro di indirizzare l’attività dei Nuclei di Valutazione. Infine, spettano all’ANVUR l’individuazione dei criteri e requisiti sia per l’istituzione, la fusione e la soppressione degli atenei, sia, su richiesta del Ministero, per l’attribuzione del finanziamento pubblico alle università.

Emerge fin da subito la rilevanza delle mansioni in carico all’Agenzia: essa, infatti, si è ritrovata in breve tempo a ricoprire un ruolo fondamentale nel contesto dei meccanismi di coordinamento del sistema universitario, al punto che si è assistito a una progressiva sovrapposizione dei confini tra valutazione, formulazione degli indirizzi politici e regolazione ministeriale.

Indubbiamente non è facile esprimere un giudizio sul profilo d’indipendenza dell’ANVUR, in quanto lo status di personalità giuridica di diritto pubblico operante con autonomia organizzativa, amministrativa e contabile, non toglie il fatto che il suo agire sia, in concreto, subordinato al Ministero. Quest’ultimo, infatti, oltre a ospitare l’Agenzia nei propri locali, ha il compito di approvarne il programma annuale, disponendo, mediante decreto, l’avvio delle procedure di valutazione e determinando le risorse economiche necessarie per il suo funzionamento; infine, anche la pianta organica dell’Agenzia è di nomina ministeriale. Tutto questo avviene, di fatto, senza che esistano linee programmatiche e/o politiche che ne indirizzino e delimitino l’operato, per il quale, tra l’altro, il Ministero eroga risorse complessivamente modeste: 18 unità di personale tecnico-amministrativo e un budget complessivo che ammonta a meno di 5 milioni di euro.

Prendendo in esame l’operato dell’Agenzia nel corso del biennio 2012/13 emergono tre fondamentali ambiti di intervento.

Innanzitutto, vi è stato l’avvio di un nuovo esercizio nazionale di valutazione della ricerca, attuato dall’ANVUR nei primi mesi dalla sua istituzione: si tratta della VQR (Valutazione della Qualità della Ricerca). Essa riprende innanzitutto lo schema della VTR, apportandovi però due fondamentali innovazioni (Rebora e Turri, 2013). In primo luogo, nel contesto della VQR è previsto che i panel, singolarmente o congiuntamente, adottino due metodologie: accanto a una peer review affidata a esperti esterni nominati dai panel si affianca un’analisi bibliometrica (non prevista nella VTR). In secondo luogo, un ulteriore elemento di discontinuità tra i due esercizi è l’introduzione di una relazione biunivoca tra prodotti di ricerca e ricercatore. Poiché, in precedenza, era concessa a ogni ateneo la libertà di individuare al proprio interno i prodotti da valutare, la VTR finiva per limitarsi a esprimere un giudizio sull’abilità con cui le università erano in grado di selezionare un certo numero di prodotti di ricerca eccellenti. La performance, quindi, era in ultima analisi inscindibilmente legata alla qualità della produzione scientifica in atto e alla capacità di individuarla in qualunque ambito dell’ateneo essa fosse presente. Con la VQR, invece, ogni ricercatore ha l’incarico di presentare alcuni prodotti di ricerca (di norma tre): in questo modo l’esercizio emette un giudizio non solo sulla qualità della produzione scientifica, ma anche sulla capacità manifestata da ogni ricercatore di apportarvi il proprio contributo. Con l’introduzione della possibilità di verificare la capacità di ricerca di ogni ricercatore su un periodo quinquennale la valutazione assume quindi significato anche in ordine alla produttività.

Un secondo ambito d’azione dell’ANVUR riguarda l’esercizio di determinate procedure inerenti l’abilitazione nazionale (ASN) di quanti aspirano a ricoprire il ruolo di professore. In questo contesto l’Agenzia si occupa del complesso compito della definizione, disciplina per disciplina, di criteri e soglie minime di produttività scientifica per la procedura nazionale di reclutamento e avanzamento del personale accademico (d.m. 76/2012). Le soglie individuate dall’ANVUR diventano così i criteri in base ai quali le commissioni nazionali di valutazione determinano chi è idoneo alla progressione di carriera tra gli accademici che hanno presentato domanda in tal senso. Solo in un secondo momento gli atenei hanno la facoltà di assegnare agli idonei, mediante le procedure di concorso locale, le posizioni di professore associato o ordinario. Occorre sottolineare come l’operato dell’Agenzia sia stato oggetto di grande interesse nel mondo accademico proprio a causa delle attese legate a quest’attività di valutazione, che peraltro si è svolta dopo un periodo di blocco delle assunzioni e delle progressioni di carriera. Non sono poi mancate le critiche riferite, in particolare, alla natura quantitativa delle soglie (numero di prodotti di ricerca, numero di citazioni, numero di articoli in determinate riviste), ad alcune difficoltà tecniche incontrare nella loro determinazione e allo scarso coinvolgimento delle comunità scientifiche interessate.

Il terzo e ultimo ambito di attività dell’Agenzia è quello maggiormente rilevante per gli obiettivi del presente lavoro: si tratta della procedura denominata AVA (Autovalutazione, Valutazione periodica e Accreditamento) finalizzata all’accreditamento degli atenei e dei corsi di studio (ANVUR, 2013). Questa procedura si richiama alle ESG stilate dall’ENQA e comporta sia un’iniziale fase di autovalutazione annuale dei corsi studio, sia una serie di successive verifiche esterne da parte dall’ANVUR. L’intero processo prevede un complesso di dettagliate prescrizioni che sottintendono per gli atenei da una parte il pieno rispetto di un sistema di requisiti minimi (quantità e caratteristiche di personale accademico disponibile per attivare un corso di studio), dall’altra l’adozione di determinate procedure di assicurazione della qualità.

Accanto alla guida e al controllo di queste tre grandi procedure nazionali di valutazione, l’ANVUR si occupa anche del coordinamento dell’operato dei Nuclei di Valutazione: anch’essi, infatti, si sono rafforzati e i compiti loro assegnati si sono nel tempo estesi. In base alla legge 240/2010 i Nuclei di Valutazione devono essere composti per la maggioranza da esterni e hanno il compito di appurare la qualità e l’efficacia dell’offerta didattica, controllando l’attività di ricerca svolta dai dipartimenti e valutando la congruità del curriculum dei titolari dei contratti di insegnamento. Inoltre, con il decreto legislativo 150/2009 i Nuclei di Valutazione hanno assunto ampie funzioni di controllo in merito ai sistemi di misurazione della performance e ai relativi meccanismi di retribuzione di risultato, oltre che alla generale promozione della trasparenza.

Facendo un bilancio del primo biennio di attività dell’ANVUR si riscontrano quindi una molteplicità di procedure valutative e un programma d’intervento ambizioso.

Di seguito, l’analisi si sofferma sul sistema AVA utilizzando il medesimo framework adottato nel capitolo uno per lo studio dei sistemi di valutazione e articolato sull’esame di idea, metodi, organi e utilizzi della valutazione stessa.

3.2 Idea

Il sistema universitario italiano è rimasto privo di un sistema di assicurazione della qualità (AQ) formalizzato fino al 2012. Questo ritardo si è verificato nonostante a livello europeo il Processo di Bologna avesse riconosciuto nei sistemi nazionali di assicurazione della qualità un elemento centrale nel percorso di creazione dell’EHEA, come chiarito definitivamente con le linee europee dell’ENQA (European Association for Quality Assurance in Higher Education) pubblicate nel 2005.

La prima disposizione normativa che interviene per sanare questa lacuna è la legge 240/2010 che ha dato delega al Governo di istituire un sistema di AQ confacente alle indicazioni europee. La legge prevede un ampio mandato al Governo in materia di interventi per la qualità e l’efficienza del sistema universitario e per “la previsione di un sistema di accreditamento periodico delle università” (Art. 5, comma 1, lett. a, l. 240/2010). Tale sistema deve essere basato sull’identificazione, da una parte, di criteri ex ante, utili allo sviluppo del sistema di accreditamento dei corsi e delle sedi, in modo che sia possibile la “verifica del possesso da parte degli atenei di idonei requisiti didattici, strutturali, organizzativi, di qualificazione dei docenti e delle attività di ricerca, nonché di sostenibilità economico-finanziaria” (Art. 5, comma 3, lett. a, l. 240/2013) e, dall’altra, di criteri ex post in grado di verificare “l’efficienza dei risultati conseguiti nell’ambito della didattica e della ricerca dalle singole università e dalle loro articolazioni interne” (Art. 5, comma 3, lett. b, l. 240/2013).

Sulla base della legge 240/2010 il Governo ha emanato nel gennaio 2012 il decreto legislativo 19/2012 in materia di “Valorizzazione dell’efficienza delle università e conseguente introduzione di meccanismi premiali della distribuzione di risorse pubbliche sulla base di criteri definiti ex ante anche mediante la previsione di un sistema di accreditamento periodico delle università”, che regolamenta:

- “l’introduzione di un sistema di accreditamento iniziale e periodico delle sedi e dei corsi di studio universitari;

- l’introduzione di un sistema di valutazione e di assicurazione della qualità, dell’efficienza e dell’efficacia della didattica e della ricerca;

- il potenziamento del sistema di autovalutazione della qualità e dell’efficacia delle attività didattiche e di ricerca delle università”.

Le procedure di valutazione sono quindi volte “a misurare l’efficienza e i risultati conseguiti nell’ambito della didattica e della ricerca dalle articolazioni interne in cui sono strutturate le università” (Art. 10, comma 1, d.l. 19/2012). Il decreto legge dispone poi, in particolare, che l’ANVUR trasformi “gli standard, le procedure e le linee guida adottate a livello europeo in parametri oggettivi, volti a misurare in ogni momento l’efficienza e l’efficacia della didattica e della ricerca messa in atto dai singoli atenei e a stimolare la competitività e la qualità degli stessi” (Art. 10, comma 3, d.l.19/2012). Oltre a ciò, nella definizione dei criteri, il legislatore determina che ANVUR si attenga ai seguenti principi:

- omogeneità degli indicatori su tutto il territorio nazionale;

- agevolazione delle tendenze di aggregazione dei corsi e delle strutture universitarie;

- diffusione dei risultati di ricerca;

- corrispondenza tra le linee di programmazione dell’ateneo e quelle del Ministero.

La struttura del sistema di valutazione disegnato dalla normativa è definita dall’ANVUR nei suoi aspetti operativi nel documento Autovalutazione, valutazione periodica e accreditamento del sistema universitario italiano del 19 dicembre 2012 (versione aggiornata al 28 gennaio 2013).

Nel documento, anzitutto, sono esposti gli obiettivi che il sistema AVA si pone e che possono essere così sintetizzati:

- fornire agli atenei un modello AQ e indirizzare il comportamento degli accademici;

- offrire agli atenei informazioni utili per orientare le proprie strategie;

- dotare i corsi di studio e le unità di ricerca di elementi comparativi per il miglioramento;

- fornire al MIUR informazioni per la programmazione del sistema universitario e per l’allocazione delle risorse;

- mantenere aggiornati gli studenti e il mondo del lavoro;

- dare ai cittadini informazioni affidabili e trasparenti in merito all’attività del sistema universitario.

È interessante notare come al centro del processo AVA vi sia il potenziamento dell’Autovalutazione, ritenuta la base per un corretto sistema di AQ, che non si limiti solo a valutare ex post, ma inneschi anche un processo virtuoso di miglioramento da parte degli atenei. Complessivamente i tre livelli su cui si basa il sistema di assicurazione della qualità sono (ANVUR, 2013):

- “il potenziamento delle attività di auto-valutazione, da parte delle singole istituzioni universitarie, della qualità e dell’efficacia delle attività didattiche e di ricerca attraverso i sistemi di Assicurazione della Qualità della formazione e della ricerca;

- il sistema di Valutazione Periodica dell’efficacia e dell’efficienza delle attività formative e di ricerca;

- il sistema di Accreditamento Iniziale e di Accreditamento Periodico delle Sedi e dei Corsi di Studio universitari”.

Si delinea così l’architettura del sistema di assicurazione della qualità strutturato in:

- un sistema di valutazione interna attivato in ciascuna università;

- un sistema nazionale di valutazione esterna delle università;

- un sistema di accreditamento delle sedi e dei corsi di studio delle singole università.

Occorre sottolineare come i processi previsti nel decreto AVA si applichino in modo indifferenziato a tutte le istituzioni universitarie italiane: sia gli atenei, statali e non statali (questi ultimi esclusi solo per quanto attiene alla distribuzione premiale del FFO), sia gli istituti universitari a ordinamento speciale e le università telematiche (con alcune eccezioni dovute alla natura delle stesse); rimangono invece escluse le istituzioni di Alta formazione artistica e culturale. Sono quindi soggetti alle procedure tutti i Corsi di laurea (triennali, magistrali e a ciclo Unico) e le scuole di specializzazione mentre per i Master di I e II livello l’ANVUR ha deciso di posticipare l’obbligatorietà della SUA (Scheda Unica Annuale, definita in seguito) e dell’AQ al secondo triennio di applicazione. Infine, il dottorato di ricerca è stato sottoposto a una regolazione differente e pertanto escluso dalle procedure AVA.

Nel prevedere la struttura del sistema AVA, l’ANVUR fornisce alcune definizioni dei concetti chiave con l’obiettivo di rendere univoca l’attribuzione di significato ad alcuni termini. Si tratta di uno sforzo importante, significativo al fine di comprendere l’impostazione concettuale alla base del sistema AVA. Ecco una sintesi di questo sistema di definizioni:

- Qualità. L’ANVUR intende con qualità “il grado in cui le caratteristiche del sistema di formazione e ricerca soddisfano ai requisiti ovvero anche il grado di vicinanza tra obiettivi prestabiliti e risultati ottenuti” (ANVUR, 2013). Si precisa quindi che gli obiettivi di ateneo devono essere stabiliti in coerenza con la domanda di formazione e le linee di programmazione ministeriale.

- Assicurazione di qualità (AQ). Essa è il centro del sistema AVA e in una “accezione nettamente preventiva” rappresenta “l’insieme delle attività messe in opera per produrre adeguata fiducia che gli obiettivi della qualità siano soddisfatti” (ANVUR, 2013). L’AQ è dunque la modalità mediante la quale le istituzioni realizzano la propria politica della qualità con “l’obiettivo prioritario di attivare processi di miglioramento continuo sia degli obiettivi sia degli strumenti che permettono di raggiungerli” (ANVUR, 2013).

- Accreditamento. Con questo termine si intende il processo in base al quale una «parte terza» accerta che l’istituzione sia in grado di svolgere i propri compiti. Attraverso l’Accreditamento “si dà innanzitutto garanzia agli utenti che le loro esigenze sono soddisfatte e che i loro diritti fondamentali sono tutelati da un’autorità competente” (ANVUR, 2013). Tale processo ha principalmente tre obiettivi: l’assicurazione verso gli stakeholders che l’istituzione soddisfi un requisito minimo di qualità, utilizzi in modo accurato le risorse pubbliche e che sia impegnata in un continuo miglioramento della qualità delle attività formative e di ricerca. L’Accreditamento è un atto ministeriale che innanzitutto autorizza o non autorizza (Accreditamento Iniziale) e in seguito conferma o revoca (Accreditamento Periodico) l’attività delle sedi e corsi di studio universitari.

- Riesame. L’ANVUR attribuisce a tale processo un ruolo chiave nel sistema di AQ. I responsabili del corso di studio, infatti, a intervalli prestabiliti, sono invitati a effettuare un controllo dell’adeguatezza e dell’efficacia della loro azione, “al fine di mettere in atto tutti gli opportuni interventi di correzione e miglioramento” (ANVUR, 2013).

Emerge, da queste definizioni, l’importanza del ruolo assegnato alle istituzioni, che sono chiamate sia a scegliere e definire gli obiettivi su cui fa perno il concetto di qualità inteso come rispondenza agli obiettivi assunti sia ad adoperarsi direttamente nell’AQ. Si coglie, inoltre, lo sforzo, specie nei meccanismi di accreditamento e dunque a livello centrale (Ministero e ANVUR), per garantire agli utenti il rispetto di alcune soglie minime di qualità e l’utilizzo oculato delle risorse pubbliche. Complessivamente affiora un’idea di valutazione che, a partire dalla volontà di accogliere nel sistema universitario italiano le sollecitazioni promosse a livello europeo, assume una configurazione ampi e attraversata da istanze differenti: da una parte, il miglioramento continuo e la responsabilizzazione delle istituzioni e, dall’altra, l’assicurazione in termini di accountability e value for money su più livelli (corso di studio, ateneo e sistema universitario). La volontà sembra quindi essere quella di saldare la tradizione precedente (standard minimi quantitativi) con istanze e strumenti moderni mutuati dalle ESG (valorizzazione delle istituzioni e verifiche tramite esperti). Contemporaneamente sembra esserci lo sforzo di coniugare la tradizione amministrativa nazionale - significativo in proposito il riferimento a criteri omogenei su tutte le sedi nazionali - a modelli e lessico sviluppati nell’ambito dei sistemi industriali di gestione della qualità (norme ISO), come dimostra l’uso frequente di termini quali riesame, politica della qualità e revisione. Il ruolo degli utenti rimane, però, sullo sfondo ed è soprattutto a livello centrale che si cerca di tutelarne le esigenze con l’imposizione di requisiti minimi standard. Estremamente significativo è il già riportato dettame del d.l.19/2012 (Art. 10, comma 3) che prevede che gli indicatori trasformino “gli standard, le procedure e le linee guida adottate a livello europeo in parametri oggettivi, volti a misurare in ogni momento l’efficienza e l’efficacia della didattica e della ricerca messa in atto dai singoli atenei e a stimolare la competitività e la qualità degli stessi” (ANVUR, 2013).

Il risultato complessivo è un sistema di ampio respiro sul piano concettuale, stratificato e di grande complessità, ma non esente da contraddizioni al suo interno.

3.3 Metodi

Il sistema di AQ determinato dal sistema AVA riguarda le attività didattiche e di ricerca delle università italiane. Esso è direttamente connesso alla procedura di accreditamento dei corsi di studio e delle sedi universitarie e si articola su tre livelli (corso di studio, dipartimento e ateneo), per ciascuno dei quali è prevista una serie di adempimenti.

AQ a livello di corso di studio (didattica). Per quanto attiene alla didattica, ogni corso di studio, in modo indifferenziato per ciclo (primo o secondo) e per disciplina, è tenuto a sviluppare attività di AQ. Nei primi mesi del 2013, per la prima volta, a tutti i corsi di laurea è stato chiesto di redigere un rapporto di riesame (entro febbraio 2013) e di compilare, in un secondo momento, (maggio – settembre 2013) una Scheda Unica Annuale del Corso di Studio (SUA-CdS). Rapporto di riesame e SUA-CdS rappresentano l’infrastruttura primaria su cui si basa il sistema di assicurazione di qualità a livello di corso di studio.

Prendiamo innanzitutto in considerazione il Rapporto di riesame annuale: si tratta di un processo finalizzato al miglioramento e alla verifica dell’adeguatezza e dell’efficacia della gestione del corso di studio. La procedura è effettuata annualmente sotto la guida del docente responsabile del CdS e prevede:

- l’esame dei miglioramenti intrapresi in passato (azioni preventive);

- l’esame dei punti di forza e debolezza del corso di studio sulla base dei dati quantitativi (ingressi, regolarità del percorso didattico, ingresso nel mondo del lavoro);

- interventi correttivi per il futuro adottati sulla scorta di quanto emerso.

In sostanza, si tratta di un momento annuale di valutazione dell’andamento del corso di studio finalizzato all’introduzione di miglioramenti per il successivo anno accademico.

A questo punto occorre chiarire quale sia il ruolo svolto dalla Scheda Unica Annuale del Corso di Studio (SUA-CdS) che il corso di studio è chiamato a elaborare e approvare a seguito del riesame, sempre con ricorrenza annuale. Essa risulta articolata in sei aree, organizzate in base a due specifici criteri.

Tre aree riguardano le finalità e l’organizzazione del corso di studio:

Area A. Contiene gli obiettivi della formazione con particolare attenzione alla consultazione delle parti sociali, agli obiettivi formativi e ai risultati di apprendimento attesi;

Area B. Riguarda gli elementi utili a comprendere l’esperienza dello studente per quel che riguarda la struttura del percorso formativo, le risorse a disposizione del corso di studio (docenti, infrastrutture, biblioteche), i servizi di supporto agli studenti e il livello di soddisfazione dei discenti;

Area C. Illustra i risultati della formazione sia in termini di dati di ingresso/regolarità/uscita, sia in termini di efficacia esterna (sbocchi professionali e gradimento delle imprese).

Tre aree riguardano, invece, il sistema di assicurazione della qualità e le procedure di accreditamento:

Area D. Descrive la struttura del corso di studio e della AQ esplicitando i dati relativi all’organizzazione e alle responsabilità nella conduzione del CdS, nella gestione della AQ e nel Riesame annuale. In particolare illustra la struttura organizzativa dal livello di ateneo fino a quella di singolo CdS e la configurazione della AQ del CdS.

Area E. Contiene gli indicatori per i processi di Accreditamento Iniziale e Periodico.

Area F. Descrive i Crediti Formativi Universitari (CFU) di ogni attività suddividendoli tra attività formative di base, caratterizzanti, affini e altre. Questa sezione consente di verificare la rispondenza del corso con la classe di laurea di riferimento.

Tavola 1 - Scheda Unica Annuale del Corso di Studio (SUA-CdS)

Presentazione del
Corso di Studio

Serie di indicatori di tipo anagrafici relativi al Corso di Studio

Informazioni
sull’Ateneo e sulle strutture didattiche

Serie di indicatori di tipo anagrafico sull’Ateneo e sulle strutture didattiche

Area A – Obiettivi della formazione

A 1 – Consultazione con le organizzazioni rappresentative del mondo della produzione, dei servizi e delle professioni

A 2 – Obiettivi formativi specifici del Corso e sbocchi occupazionali e professionali previsti per i laureati

A3 – Requisiti di ammissione

A4 – Risultati di apprendimento attesi

A5 – Prova finale

Area B – L’esperienza dello studente

Piano degli studi

B1 a – Descrizione del percorso formativo con il collegamento alle pagine web dell’Ateneo

B1 b – Descrizione dei metodi di accertamento dei risultati di apprendimento attesi

B2 – Calendario delle attività formative e date dalle prove si verifica dell’apprendimento

Ambiente di apprendimento

B3 - Docenti titolari di insegnamento

B4 – Infrastrutture

B4a – aule

B4b – laboratori e aule informatiche

B4c – sale studio

B4d – biblioteche

Servizi di contesto

B5 – Servizi di orientamento in ingresso e in itinere; di assistenza per attività di stage e periodo di formazione all’estero ecc.

Opinione degli studenti e dei laureati

B6 – Risultato dei questionari di gradimento degli studenti

B7 – Risultato dei questionari di gradimento dei laureati

Area C – Risultati della formazione

Dati di ingresso, percorso e uscita degli studenti

C1 – Dati di ingresso, di percorso e di uscita degli studenti

C2 – Efficacia esterna (statistiche di ingresso dei laureati nel mondo del lavoro)

C3 – Opinione enti e imprese con accordi di stage/tirocinio curriculare o extracurricolare

Area D – Organizzazione del Corso di Studio e della AQ
(Area ad accesso selettivo con password)

D1 – Struttura organizzativa e responsabilità a livello di Ateneo

D2 – Organizzazione e responsabilità della AQ del Corso di Studio

D3 – Programmazione dei lavori e scadenze di attuazione delle iniziative

D4 – Riesame annuale

Area E – Indicatori per l’Accreditamento e la Valutazione Periodica
(Area ad accesso selettivo con password)

E1 – Indicatori per l’Accreditamento Iniziale

E2 – Indicatori per l’Accreditamento Periodico

E3 – Indicatori per la Valutazione Periodica

Area F – Dati di riferimento alla Classe di Laurea/Laurea Magistrale

F1 – CFU delle attività formative di base

F2 – CFU delle attività caratterizzanti

F3 – CFU delle attività affini

F4 – CFU delle altre attività

Fonte: Allegato II ANVUR, 2013.

La scheda SUA-CdS rappresenta il cuore del sistema di AQ e, come illustrato, si articola secondo una struttura molto dettagliata che accoglie al suo interno contenuti con finalità differenti:

- guidare il percorso di progettazione, gestione e revisione del corso di studio da parte di chi ne ha la responsabilità;

- raccogliere le informazioni sull’evoluzione e l’andamento del corso di studio in termini di efficienza e di risultati del processo formativo;

- informare gli studenti e le famiglie su obiettivi, organizzazione e struttura del corso di studio;

- unificare tutte le informazioni di carattere amministrativo necessarie all’attivazione del corso di studio;

- consentire e agevolare le operazioni di valutazione esterna del corso di studio.

Il risultato è un documento complesso, di notevole lunghezza, necessariamente compilato da più persone (responsabili del corso di studio e uffici centrali di ateneo).

Nella fase di avvio del sistema di AQ, i corsi di studio (la maggioranza dei quali privi di precedenti esperienze di autovalutazione) si sono trovati ad attivare le procedure di AQ tra febbraio e maggio 2013. Nei fatti, pertanto, l’avvio del sistema AVA ha coinciso con la compilazione sia del rapporto di riesame sia della SUA-CdS: allo sguardo del personale accademico questi documenti hanno così rappresentato non solo il principale adempimento, ma anche l’immagine e l’essenza di tutto il processo di AQ.

Oltre all’assolvimento degli obblighi annuali richiamati in precedenza, il corso di laurea è chiamato a svolgere, con un orizzonte temporale maggiore (3 – 5 anni), un Rapporto di Riesame ciclico sul progetto formativo che accerti (i) la permanenza della validità degli obiettivi di formazione prefissati; (ii) l’adeguatezza delle figure professionali che si intende formare; (iii) la coerenza dei risultati di apprendimento a livello di singolo insegnamento e di corso di studio; (iv) l’efficacia del sistema di gestione del corso di studio.

AQ a livello di dipartimento (ricerca). Un secondo obiettivo del sistema di AQ è di tenere monitorate le condizioni di svolgimento delle attività di ricerca e di stabilirne gli obiettivi ponendo le condizioni, ove mancanti, per il raggiungimento degli stessi. Come per la didattica, anche per la ricerca il sistema di AQ si struttura su una Scheda Unica Annuale della Ricerca Dipartimentale denominata SUA-RD che deve essere compilata da ogni dipartimento entro il 31 dicembre di ciascun anno. La scheda specifica:

- gli obiettivi di ricerca del Dipartimento;

- la qualità e l’impatto della produzione scientifica;

- la responsabilità scientifica dei progetti nazionali e internazionali finanziati di comprovata rilevanza scientifica;

- il coordinamento di network internazionali di ricerca;

- i fondi per la ricerca disponibili nell’anno precedente;

- la direzione o la partecipazione a comitati editoriali di riviste o altri prodotti di riconosciuto prestigio;

- la partecipazione a comitati di programma di congressi internazionali;

- l’attribuzione di incarichi di insegnamento o fellowship ufficiali presso atenei e istituti di ricerca, esteri e internazionali, di alta qualificazione;

- la direzione o responsabilità scientifica/coordinamento di enti o istituti di ricerca;

- la partecipazione ad accademie aventi prestigio nel settore;

- il conseguimento di premi e riconoscimenti per l’attività scientifica;

- i risultati ottenuti in seguito a spin off;

- le attività proposte di formazione permanente;

- una breve analisi dei risultati ottenuti con la proposta di interventi migliorativi.

Le attività di AQ relative alla ricerca, dopo alcune sperimentazioni nell’a.a. 2013-14, avranno inizio dall’ a.a. 2014-15.

AQ a livello di ateneo. Il sistema AVA prevede che ogni ateneo si avvalga di procedure per dimostrare di possedere gli strumenti necessari per raggiungere gli obiettivi assunti nelle attività didattiche e di ricerca e per monitorare il loro conseguimento. Si tratta di un sistema dove “tutte le azioni dell’AQ devono essere regolate da una pianificazione, applicate sistematicamente, ed essere documentate e verificabili” (ANVUR, 2013). In ogni ateneo occorre pertanto:

- dotarsi di una politica della qualità;

- dotarsi di un’infrastruttura che consenta agli organi centrali di ateneo, tramite il Presidio della Qualità, di sovraintendere e regolare le attività di AQ per le attività didattiche e di ricerca;

- dotarsi, mediante il Nucleo di Valutazione, di meccanismi di sorveglianza dell’applicazione e dell’efficacia del sistema di AQ.

A differenza dei corsi di studio e, in parte, dei dipartimenti, non vi è un’indicazione delle procedure e degli ambiti che gli atenei devono implementare e sorvegliare. L’unica indicazione contenuta nei documenti dell’ANVUR riguarda le relazioni che, annualmente, il comitato paritetico e il Nucleo di Valutazione sono tenuti a effettuare.

Le commissioni paritetiche, sulla base di un monitoraggio annuale degli indicatori e dell’esame delle opinioni degli studenti, redigono annualmente una relazione in cui esprimono il proprio giudizio sui seguenti aspetti:

- attenzione del corso di studio alle prospettive occupazioni e di sviluppo professionale;

- adeguatezza dell’attività didattica e della sua organizzazione;

- adeguatezza dei metodi di accertamento;

- efficacia delle attività di riesame e degli interventi correttivi;

- effettivo utilizzo degli esiti della rilevazione delle opinioni degli studenti;

- pubblicità delle informazioni contenute nella scheda SUA-CdS.

La relazione del Nucleo di Valutazione tiene inoltre conto delle relazioni delle commissioni paritetiche e dei rapporti di riesame, e affronta i seguenti temi:

- efficacia del sistema AQ;

- efficacia dell’operato del Presidio della Qualità;

- effettivo funzionamento del sistema di AQ e rispetto di quanto previsto e programmato nelle sue articolazioni;

- presenza dei requisiti per l’accreditamento;

- accertamento dell’effettivo e coerente operare degli organi attivi nel processo di AQ a livello di corso di studio;

- verifica dei rapporti di riesame;

- raccomandazioni per il miglioramento.

Accreditamento esterno delle sedi e dei corsi di studio. La presenza di un sistema di AQ è il presupposto per l’accreditamento delle sedi e dei corsi di studio. L’accreditamento delle sedi universitarie e dei corsi di studio è attivo dall’ a.a. 2013-14 sulla base di adempimenti compiuti nel primo semestre 2013 (riesame e scheda SUA). L’accreditamento è concesso dal Ministero dell’Istruzione, dell’Università e della Ricerca e proposto dall’ANVUR[11].

Il processo di accreditamento si articola in una procedura di valutazione esterna, sotto la responsabilità dell’ANVUR, che prevede:

- una valutazione preliminare al fine del conseguimento dell’Accreditamento Iniziale da parte delle sedi e dei corsi di studio;

- una serie di valutazioni successive denominata Accreditamento Periodico (attiva dall’ a.a. 2013-14).

L’Accreditamento Iniziale è accordato alle sedi e ai corsi di studio sulla base della considerazione dei seguenti elementi:

- presenza della SUA-CdS e dei suoi contenuti;

- rispetto di requisiti minimi in termini di docenza (numero minimo di accademici assegnati al corso di laurea e caratteristiche dei docenti di riferimento), numerosità dei discenti nei corsi di studio (numero minimo e massimo), parcellizzazione delle attività didattiche, strutture (aule, laboratori, biblioteche, ecc.);

- requisiti organizzativi di sede (funzionalità di uffici e servizi a supporto dell’attività formativa come segreterie studenti, uffici stage/tirocini, job placement, ecc.);

- qualificazione dei docenti e della ricerca: la presenza di un’elevata produzione scientifica consente di incrementare l’offerta formativa della sede; invece, docenti privi di pubblicazioni negli ultimi 5 anni non sono computabili per il rispetto dei requisiti minimi;

- requisiti di sostenibilità economico-finanziaria: la presenza di spese di personale e spese di indebitamento elevate limitata la possibilità di attivare nuovi corsi di studio;

- evidenze in merito alla presenza e all’operato del sistema di AQ.

Una procedura più onerosa è stata predisposta per l’Accreditamento Iniziale delle sedi e dei corsi di studio di nuova attivazione. La procedura ha previsto, tra l’altro, la verifica dei requisiti di AQ da parte di una commissione di esperti (CEV), nominata dall’ANVUR.

Ottenuto l’Accreditamento Iniziale la sede e i relativi corsi di studio sono sottoposti, dall’ a.a. 2013-14, a un processo di accreditamento periodico. Se l’Accreditamento Iniziale centra la propria attenzione innanzitutto sull’attivazione delle procedure di AQ e sul rispetto di requisiti minimi, l’Accreditamento Periodico ha invece uno spettro più ampio e comprende:

1. la verifica della rispondenza delle sedi e dei corsi di studio ai requisiti per l’Accreditamento Iniziale;

2. la verifica dei requisiti per AQ a cura delle Commissioni di Esperti della Valutazione (CEV);

3. la presenza di un effettivo miglioramento delle attività didattiche mediante l’esame di indicatori e parametri della valutazione.

Accertato il mantenimento dei requisiti per l’accreditamento iniziale, le procedure di Accreditamento Periodico prevedono l’esame del sistema di AQ di ateneo e di un campione di corsi di studi. Durante le visite in loco le CEV verificano il rispetto di 7 requisiti (ulteriori requisiti sono previsti per i corsi a distanza):

- la presenza di un’effettiva politica della qualità a livello di ateneo;

- la capacità dell’ateneo di monitorare le politiche della qualità a livello di corso di studio;

- la presenza di azioni per il miglioramento continuo dei corsi di studio;

- la capacità dell’ateneo di assicurare la qualità dei corsi di studio;

- la presenza di un effettivo sistema di AQ nei corsi di studio esaminati a campione;

- la presenza di politiche per la qualità della ricerca;

- la sostenibilità della didattica erogata sulla base del numero di docenti disponibili incrementato fino al 20% sulla base dei risultati della VQR.

Tavola 2 - Requisiti per AQ

Requisito per AQ 1

L’Ateneo stabilisce, dichiara ed effettivamente persegue adeguate politiche volte a realizzare la propria visione della qualità della formazione [Se non presente è revocato l’Accreditamento della Sede]

Requisito per AQ 2

L’Ateneo sa in che misura le proprie politiche sono effettivamente realizzate dai CdS [Se non presente è revocato l’Accreditamento della Sede]

Requisito per AQ 3

L’Ateneo chiede ai CdS di praticare il miglioramento continuo della qualità, puntando verso risultati di sempre maggior valore [Se non presente è revocato l’accreditamento della Sede]

Requisito per AQ 4

L’Ateneo possiede un’effettiva organizzazione con poteri di decisione e di sorveglianza sulla qualità dei CdS, della formazione da loro messa a disposizione degli studenti e della ricerca [Se non presente è revocato l’Accreditamento della Sede]

Requisito per AQ 5

Il sistema di AQ è effettivamente applicato ed efficacemente in funzione nei CdS visitati a campione presso l’Ateneo [Se non presente è revocato l’Accreditamento al Corso di Studio]

Requisito per AQ 6

L’Ateneo dichiara e persegue effettivamente adeguate politiche per la qualità della ricerca, assicurando la loro effettiva realizzazione nelle strutture di ricerca.

Requisito per AQ 7

Il valore massimo di didattica erogabile è determinato dal numero di docenti presenti incrementato da un massimo del 30% di ore erogabile tramite affidamento. Il numero di ore a livello di ateneo è incrementato fino al 20% sulla base dei risultati della VQR

Fonte ANVUR, 2013 come integrato dal Decreto ministeriale 1059 del 23 dicembre 2013.

La valutazione esterna per l’Accreditamento Periodico, oltre a verificare i requisiti esposti nella tavola 2, accerta la rispondenza delle sedi e dei corsi di studio a ulteriori indicatori di Accreditamento Periodico che attengono alla valutazione dell’efficienza, della sostenibilità economico-finanziaria e dei risultati nella didattica, nella ricerca e nell’AQ delle università e che in qualche modo danno conto del miglioramento delle attività accademiche (tavola 3).

Tavola 3 - Indicatori e parametri per la Valutazione

Valutazione Periodica delle attività di ricerca e trasferimento tecnologico

1

Percentuale dei docenti che non hanno pubblicato negli ultimi 5 anni (inattivi)

2

Produzione scientifica per area degli ultimi 10 anni/docenti di ateneo

3

Numero di premi nazionali e internazionali

4

Attività di divulgazione scientifica e culturale

5

Fellow (o equivalenti) di società scientifiche

6

Rapporto numero di progetti in bandi competitivi/docenti dell’ateneo negli ultimi 10 anni

7

Percentuale di prodotti negli ultimi 5 anni con coautori internazionali

8

Numero medio di tesi di dottorato per docente

9

Numero medio di brevetti per docente negli ultimi 10 anni

10

Rapporto fatturato conto terzi e progetti di ricerca vinti in bandi competitivi/numero docenti negli ultimi 10 anni

11

Numero di spin off degli ultimi 10 anni

12

Numero di attività extra moenia collegate alle aree di ricerca (es. organizzazione di attività culturali o formative, gestione di musei e siti archeologici, organizzazione di convegni, ecc.)

13

Numero di mesi/uomo di docenti/ricercatori stranieri trascorsi in ateneo

14

Risultati VQR

Valutazione Periodica delle attività formative

1

Numero medio annuo CFU/studente

2

Percentuale di iscritti al II anno con un determinato numero di CFU (di norma 40)

3

Numero di CFU studenti iscritti al corso di studio da 2 anni/studenti iscritti

4

Tasso di laurea (percentuale di laureati all’interno della durata normale del corso di studio di I e II livello)

5

Tasso di abbandono dei corsi di laurea

6

Quota di studenti lavoratori

7

Quota studenti fuori corso (studenti iscritti al corso per un numero di anni superiore alla durata normale del corso di studio)

8

Quota studenti inattivi

9

Tempo medio per il conseguimento del titolo

10

Rapporto docenti/studenti per aree formative omogenee (Tabella 2, allegato C, d.m. 17/2010)

11

Percentuale di corsi di studio con test in ingresso

12

Rapporto tra numero di CFU acquisiti estero/studenti iscritti

13

Rapporto studenti in mobilità internazionale per più di tre mesi/studenti iscritti

14

Rapporto studenti con più di 15 CFU acquisiti all’estero/studenti iscritti

15

Docenti in mobilità internazionale (mesi/uomo in entrata e in uscita)

16

Corsi di dottorato internazionali

17

Studenti iscritti con titolo per l’accesso non italiano/studenti iscritti

18

Fondi di ateneo (non Erasmus) per la mobilità internazionale

19

Corsi e insegnamenti in lingua veicolare

20

Rapporto tra studenti provenienti da altro ateneo/studenti laureati presso l’ateneo iscritti ai corsi di laurea magistrali (in alternativa a punto 17)

21

Domande degli studenti (Allegati V e VI bis, scheda di rilevazione n. 1 – domande da 5 a 10)

22

Risultati del processo di Assicurazione di Qualità

Indicatore di sostenibilità economica finanziaria

ISEF=A/B

A = 0,82 *(FFO + Fondo di programmazione triennale + Contribuzione netta studenti - Fitti passivi)

B = Spese di personale + Oneri ammortamento

Fonte: Allegati VII e VIII ANVUR, 2013.

L’Accreditamento Periodico si conclude con un giudizio sul sistema di AQ articolato in «pienamente positivo», «soddisfacente», «con riserva» e «insoddisfacente». Il giudizio è formulato dall’ANVUR, sulla base delle visite condotte dalle CEV, a seconda della rispondenza ai requisiti di accreditamento e agli indicatori per la valutazione periodica. In presenza di un giudizio «con riserva» l’Accreditamento Periodico è condizionato e dovrà essere successivamente valutato il superamento delle criticità riscontrate. Il giudizio «insoddisfacente» comporta invece la revoca dell’accreditamento all’ateneo (in presenza di criticità importanti sui requisiti 1-4 della tavola 2) o al corso di studio (criticità importante sul requisito 5 della tavola 2). L’Accreditamento Periodico «pienamente positivo» o «soddisfacente» avrà la durata di cinque anni per le sedi universitarie[12]. Il periodo di validità dell’Accreditamento Periodico condizionato varierà in relazione ai fattori che lo hanno determinato.

L’esito dell’Accreditamento Periodico influirà anche sulla successiva applicazione degli indicatori di valutazione periodica: chi ha superato l’accreditamento periodico in modo «pienamente positivo» potrà, infatti, beneficiare di un fattore correttivo che dovrebbe essere connesso alla ripartizione della quota premiale del FFO.

Visite in loco. Un elemento centrale del sistema di accreditamento esterno sono le visite in loco. Le visite sono previste durante le fasi di accreditamento periodico e sono programmate dall’ANVUR come segue:

- ogni cinque anni si svolge una visita istituzionale negli atenei a cura delle Commissioni di Esperti della Valutazione (CEV). Durante le visite è esaminato l’impianto del sistema di AQ di ateneo (verificando tra l’altro i requisiti di cui alla tavola 2) e sono condotte verifiche su una minoranza di corsi di studio scelti anche in accordo con l’ateneo.

- ogni anno, sono condotte alcune visite di corsi di studio a campione a prescindere dalla programmazione delle visite connesse alla procedura di accreditamento periodico.

Ulteriori disposizioni. L’ANVUR ha disposto che dall’ a.a. 2013/14 sia attivata una rilevazione obbligatoria dell’opinione degli studenti frequentanti, degli studenti non frequentanti, dei laureandi, dei laureati e dei docenti del corso. Oggetto della rilevazione, che avverrà sulla base di questionari standardizzati, sarà la qualità della didattica e dei servizi.

L’ANVUR ha inoltre comunicato che si riserva di fornire indicazioni in merito all’utilizzo dei risultati delle rilevazioni anche ai fini “della quantificazione della quota premiale del FFO da assegnare agli Atenei” (ANVUR, 2013).

Scadenze temporali del sistema AVA. Di seguito si ordinano cronologicamente le principali scadenze periodiche previste dal sistema AVA:

- fine novembre, rapporto di riesame dei corsi di studio (annuale)[13];

- fine dicembre, relazioni delle Commissioni paritetiche (annuale);

- fine dicembre, redazione SUA-RD (annuale);

- fine aprile, relazione del Nucleo di Valutazione (annuale);

- fine maggio (alcuni adempimenti si protraggono in settembre), stesura SUA-CdS (annuale);

- 15 giugno, accreditamento iniziale delle sedi e dei corsi di studio (una tantum);

- accreditamento periodico dei corsi di studio (ogni 3 anni);

- accreditamento periodico delle sedi (ogni 5 anni).

3.4 Organi

Il sistema di AQ coinvolge una pluralità di soggetti e organi a livello di corso di studio, di ateneo e di sistema universitario. Rispetto al passato in sistema è notevolmente più articolato come illustrato dalla tavola 4.

Tavola 4 - Organi coinvolti nel processo di AQ
prima e dopo l’avvio di AVA[14]

Il corso di studio. Il corso di studio è il luogo dove trova applicazione il sistema di AQ. Il responsabile del corso di studio coordina le attività di AQ e stende la Scheda SUA-CdS e il rapporto annuale di riesame. Questi documenti sono approvati dagli organi che hanno la responsabilità di approvare progettazione e attivazione del CdS.

Dipartimento. Sviluppa le procedure di AQ per la ricerca e annualmente redige la Scheda Unica Annuale della Ricerca Dipartimentale (SUA-RD), che è poi approvata dal consiglio di dipartimento.

La commissione paritetica docenti-studenti. La commissione è un organo paritetico, nel quale siedono in numero uguale studenti e docenti, che esprime pareri sul progetto di un corso di studio, sulle modalità di svolgimento della didattica e sull’efficacia del sistema di AQ. La commissione è istituita per ogni Dipartimento, struttura di raccordo o altra articolazione interna e ha il compito di:

- effettuare proposte al Nucleo di Valutazione per il miglioramento della qualità e dell’efficacia delle strutture didattiche;

- promuovere attività divulgativa delle politiche di qualità dell’ateneo nei confronti degli studenti;

- monitorare gli indicatori che misurano il grado di raggiungimento degli obiettivi della didattica.

Il principale adempimento a essa affidato è quello di predisporre una relazione annuale da trasmettere al Presidio della Qualità e al Nucleo di Valutazione.

Il Presidio della Qualità di Ateneo. Il Presidio della Qualità è un organo interno all’ateneo che assume un ruolo centrale nell’AQ. Non vi sono indicazioni vincolanti in merito alla composizione e all’assetto di questo organo le cui caratteristiche, pertanto, possono variare sulla base della numerosità e della complessità delle attività formative e di ricerca dell’ateneo. Più che un vero e proprio organo il presidio della qualità si configura, in qualche modo, come il meccanismo di coordinamento organizzativo che associa e guida l’operato dei diversi attori interni all’ateneo con responsabilità sulla programmazione e gestione della didattica.

Il Presidio opera per quanto attiene sia alla didattica sia alla ricerca, organizzando e verificando il contenuto delle informazioni delle SUA-CdS, dei rapporti di riesame e della SUA-RD.

I compiti del Presidio per quanto attiene alla didattica sono i seguenti:

- organizzare lo svolgimento delle procedure di AQ nell’ateneo;

- verificare lo svolgimento di attività di autovalutazione adeguate in ciascun corso di studio;

- implementare strumenti comuni per l’AQ;

- supportare i responsabili dei corsi di studio e i direttori di dipartimento nelle attività di AQ.

Il Nucleo di Valutazione Interna. I compiti che il sistema AVA affida al Nucleo di Valutazione (NdV) sono decisamente numerosi:

- valutare l’efficacia complessiva della gestione in AQ della didattica e della ricerca;

- accertare se l’organizzazione e l’attività del Presidio della Qualità siano strutturate in modo efficace per implementare l’AQ;

- accertare se l’università sia in grado di assicurare quanto previsto e programmato dai corsi di studio e dai dipartimenti;

- verificare la persistenza dei requisiti quantitativi e qualitativi per l’Accreditamento Iniziale e Periodico dei corsi di studio e delle sedi;

- verificare se gli organi di governo dei corsi di studio e dell’ateneo tengano conto dell’attività del Presidio della Qualità, delle valutazioni e delle proposte avanzate dalla Commissione Paritetica Docenti-Studenti;

- verificare che i Rapporti di Riesame delle attività di formazione siano redatti in modo corretto e utilizzati per identificare e rimuovere tutti gli ostacoli al buon andamento delle attività di formazione;

- formulare raccomandazioni volte a migliorare la qualità dell’attività didattica e di ricerca dell’ateneo.

Nonostante la sua natura di organo interno (pur essendo composto da una maggioranza di esterni la loro nomina è interna) i compiti assegnati al Nucleo non attengono al solo miglioramento; esso svolge, infatti, un’importante funzione di supporto all’ANVUR nella valutazione dei criteri e degli indicatori di accreditamento.

L’ANVUR. L’Agenzia ricopre un ruolo centrale in tutti i processi AVA. Essa, infatti, coordina e attua tutto il processo di AQ, a partire dalla definizione dei criteri e degli indicatori fino al monitoraggio e alla verifica degli stessi. Per quanto riguarda le procedure di Accreditamento Iniziale e Periodico, sia delle sedi sia dei corsi di studio, l’ANVUR:

- stabilisce il programma per la procedura di Accreditamento Iniziale;

- definisce gli indicatori e i criteri e li comunica attraverso il proprio sito istituzionale;

- effettua attività di monitoraggio sull’applicazione degli indicatori stabiliti.

Per fare ciò si avvale anche dell’utilizzo:

- di esperti della valutazione, sia nella fase di identificazione dei criteri e degli indicatori per l’Accreditamento Iniziale, sia, sotto forma di Commissioni (Commissioni di Esperti della Valutazione - CEV), per il controllo in loco del possesso dei requisiti;

- dei Nuclei di Valutazione che, su indicazione della stessa, forniscono ogni quinquennio una relazione sull’applicazione dei criteri per la sede[15].

In particolare, l’ANVUR, attraverso le CEV, annualmente verifica:

- i corsi di studio che evidenziano situazioni di criticità rispetto ai requisiti di accreditamento, anche in base a quanto evidenziato dai NdV;

- i corsi di studio scelti a campione nell’ambito delle procedure di accreditamento periodico delle sedi;

- i corsi di studio segnalati dal MIUR.

Inoltre l’ANVUR definisce i criteri e gli indicatori per la valutazione periodica dell’efficienza, della sostenibilità economica e finanziaria delle attività e dei risultati conseguiti dalle singole università nell’ambito della didattica e della ricerca per l’AQ. Su questi criteri essa effettua anche attività di monitoraggio.

Annualmente, infine, l’ANVUR trasmette al MIUR entro il 31 luglio i risultati della valutazione periodica condotta sulla base (Art 5, comma 1, d.m. 47/2013):

- della verifica dell’efficienza, della sostenibilità economico-finanziaria delle attività e dei risultati conseguiti nell’ambito delle attività di didattica e ricerca;

- dell’esito delle visite in loco dei CEV;

- dei contenuti della relazione annuale dei NdV, trasmessa entro il 30 aprile di ogni anno;

- delle informazioni contenute nelle SUA-CdS dell’anno accademico precedente con i relativi Rapporti di Riesame;

- delle informazioni contenute nelle SUA-RD dell’anno accademico precedente;

- delle risultanze dell’attività di monitoraggio e di controllo della qualità dell’attività didattica e di ricerca.

Il Ministero. Il Ministero dell’Istruzione, dell’Università e della Ricerca ricopre il ruolo di indirizzo in tutti i processi relazionandosi direttamente con l’ANVUR. Esso indica “obiettivi e indirizzi strategici per il sistema e le sue componenti e, tramite l’ANVUR per quanto di sua competenza, ne verifica e valuta i risultati secondo criteri di qualità, trasparenza e promozione del merito, anche sulla base delle migliori esperienze diffuse a livello internazionale, garantendo una distribuzione delle risorse pubbliche coerente con gli obiettivi, gli indirizzi e le attività svolte da ciascun ateneo, nel rispetto del principio della coesione nazionale, nonché con la valutazione dei risultati conseguiti” (Art. 1, comma 4, l. 240/2010).

In particolare, il Ministero:

- adotta i criteri per l’accreditamento iniziale e periodico su proposta dell’ANVUR;

- sulla base del parere dell’ANVUR, concede o nega l’accreditamento sia iniziale sia periodico della sede e dei corsi di studio;

- chiede, qualora ravvisi elementi per una valutazione diversa da quella dell’ANVUR, un nuovo esame della valutazione sia per l’ateneo sia per i corsi di studio;

- adotta i criteri proposti dall’ANVUR per la valutazione periodica dell’efficienza, della sostenibilità economica e finanziaria delle attività e dei risultati conseguiti dalle singole università nell’ambito della didattica e della ricerca per l’AQ;

- decide i fattori di moltiplicazione dei risultati in base alle proposte dell’ANVUR;

- determina la percentuale dello stanziamento previsto per il Fondo di Finanziamento Ordinario delle università da ripartire tra gli atenei in relazione ai risultati conseguiti nella didattica e nella ricerca;

- su parere dell’ANVUR, seleziona gli atenei che hanno ottenuto i migliori risultati e attribuisce, con decreto, gli incentivi sulla base delle risorse disponibili;

- riceve dai NdV la relazione indicante l’eventuale decadenza dei requisiti minimi di sede o di CdS.

3.5 Utilizzo

Occorreranno alcuni anni prima che sia possibile acquisire un quadro rappresentativo in merito agli utilizzi dei risultati di valutazione.

Limitatamente al 2013 è possibile prendere atto dei seguenti risultati:

- nella primavera 2013 i corsi di laurea hanno compilato il riesame del sistema qualità e la scheda SUA-CdS;

- nel giugno 2013, 89 atenei e 4359 corsi di laurea hanno ottenuto, a seguito della valutazione dell’ANVUR, l’accreditamento da parte del MIUR;

- con l’ a.a. 2013-14 si sono avviate le procedure inerenti l’Accreditamento Periodico.

Il sistema AVA sembra pertanto avviato, anche se alcune sue parti importanti, come le visite negli atenei, devono ancora diventare operative.

Il principale risultato raggiunto è certamente di tipo conoscitivo. Nell’ a.a. 2012-13 l’ANVUR ha organizzato oltre 40 incontri nelle università per illustrare il sistema AVA e gli adempimenti a esso connessi. Nello stesso periodo, all’interno degli atenei un numero consistente di persone, con responsabilità e funzioni diverse, ha lavorato agli adempimenti inerenti l’AQ. Considerando il numero dei corsi di laurea, i componenti dei presidi di qualità, i componenti delle commissioni paritetiche e dei Nuclei di Valutazione, è possibile stimare per difetto il coinvolgimento diretto di almeno 5.000 accademici nelle procedure previste dall’AVA.

Peraltro, i risultati ottenuti in chiave di maggiore conoscenza sono depotenziati dalla circostanza che i principali documenti del sistema di AQ, tra cui la scheda Sua e la relazione del Nucleo di Valutazione, non sono pubblici.

Non appaiono, invece, riscontrabili conseguenze rilevanti di garanzia, nel senso di attivazione/mancata attivazione di corsi di studio o atenei. Infatti, non si ha notizia di alcuna sede, né di alcun corso di laurea a cui sia stato negato l’Accreditamento iniziale. L’ANVUR si è limitata a comunicare nell’ottobre del 2013 di aver proposto al Ministero, a seguito della valutazione condotta, il non accreditamento per 19 dei 92 corsi di nuova attivazione. Le informazioni in proposito sono, tuttavia, frammentarie. Non stupisce, pertanto, che gli esiti del processo di accreditamento non abbiano avuto nel 2013 nessuna conseguenza in termini di allocazione del FFO.

Anche nella direzione del miglioramento non appaiono al momento risultati tangibili. Benché tutti i corsi di laurea abbiano nella primavera 2013 compilato il documento di riesame e la scheda SUA-CdS, il successivo richiamo (settembre 2013) dell’ANVUR a dotarsi di una politica di qualità di ateneo mette in evidenza la profonda differenza tra adempimento (inteso come mera compilazione dei documenti richiesti) e effettiva implementazione del sistema di AQ. Come già ricordato, infatti, il sistema di AQ è in ultima istanza la modalità con cui si attua la politica della qualità nell’ottica della soddisfazione degli obiettivi prefissati dall’istituzione. In questo senso, la mancata definizione della politica della qualità condanna le procedure di AQ all’inefficacia o, per lo meno, all’irrilevanza. In generale, negli atenei è prevalso uno sforzo diretto all’adempimento in un’ottica amministrativa delle richieste dell’ANVUR, tanto che nell’ottobre 2013 il presidente del CONVUI (Coordinamento Nuclei di Valutazione delle Università Italiane) rileva con amarezza come, almeno nei primi mesi del 2013, “l’introduzione del sistema AVA è stata percepita dal mondo universitario come un ulteriore aggravio di natura burocratica piuttosto che come una virtuosa applicazione della nuova cultura della valutazione’” (Squarzoni, 2013).

L’ambito in cui il sistema AVA sta trovando un’applicazione effettiva e di diretto impatto sul funzionamento delle attività didattiche è quello del rispetto dei requisiti minimi quantitativi che legano la possibilità di attivare o proseguire iniziative didattiche alla numerosità e alle caratteristiche dei docenti a esso assegnati. Questo meccanismo, che è stato uno degli assi portanti dell’attività del CNVSU nello scorso decennio, risulta tuttora il principale elemento di regolazione dell’offerta formativa degli atenei. Peraltro, la definizione dei requisiti minimi di docenza, non più a livello di ateneo e di facoltà, ma di corso di laurea, ha ulteriormente amplificato la rilevanza di questi parametri standard nel condizionare le scelte in materia di programmazione didattica[16].

Nonostante sia certamente prematuro tracciare un primo bilancio di quali siano stati gli utilizzi effettivi delle procedure di AQ del sistema AVA nelle università, occorre constatare che, allo stato attuale, il sistema sembra pericolosamente esposto a uno scivolamento verso esigenze, da un lato, di legittimazione e, dall’altro, di forte accentramento. L’avvio dell’AVA non è, infatti, a oggi coinciso con l’apertura di una fase di analisi e progettazione in merito all’offerta didattica degli atenei, finendo tutt’al più per rafforzare meccanismi preesistenti di regolazione dell’offerta formativa mediante standard minimi.

3.6 Esperienze a confronto

Le Relazioni Annuali dei Nuclei di Valutazione, redatte nell’aprile 2013, consentono di verificare come gli atenei abbiano affrontato il tema dell’AQ nei primi mesi di avvio del sistema AVA. Un esame comparato delle relazioni di tre atenei generalisti dell’Italia settentrionale (per ragioni di riservatezza vi si farà riferimento con gli pseudonimi di Atenei Alfa, Beta e Gamma) consente di acquisire una prima panoramica su quali processi l’avvio delle procedure AVA abbia generato, quali attori siano stati chiamati ad agire e quali difficoltà siano emerse in itinere. L’esame dell’operato di questi tre atenei, benché non assicuri alcuna rappresentatività dei risultati, offre qualche spunto per comprendere in quale direzione il sistema AVA stia muovendo i primi passi.

L’analisi sinottica dei tre documenti segue lo schema suggerito dall’ANVUR per articolare i rapporti del Nucleo di Valutazione soffermandosi, in relazione al sistema di AQ, sui seguenti punti:

1. caratteristiche e funzioni del Presidio della Qualità (PdQ);

2. caratteristiche e funzioni delle commissioni paritetiche;

3. caratteristiche e funzioni del Nucleo di Valutazione;

4. descrizione e valutazione dell’organizzazione dei corsi di studio;

5. descrizione e valutazione delle modalità e dei risultati della rilevazione dell’opinione degli studenti frequentanti e dei laureandi.

Il Presidio della Qualità ha caratteristiche differenti nei tre atenei. L’Ateneo Alfa ha costituito un PdQ di 41 membri, tra i quali sono presenti esponenti del Senato Accademico, Direttori di Scuole, CdS e di Dipartimento. L’Ateneo Beta, invece, presenta un Presidio composto da 7 persone che è guidato dal Prorettore Vicario con delega alla didattica ed è composto dal delegato di ateneo per l’AVA, da 4 docenti esperti di valutazione e dal dirigente a capo della divisione didattica. Ancora diversa è la composizione del PdQ dell’Ateneo Gamma: in questo caso troviamo 8 membri, tra i quali vi sono 4 docenti già membri del Gruppo degli esperti della qualità della didattica (organismo attivo in ateneo da alcuni anni con funzioni di coordinamento e di verifica della qualità della didattica) e 4 scelti tra i membri dell’Osservatorio della Ricerca, organo collegiale rappresentativo delle aree scientifico-disciplinari presenti in ateneo.

Non mancano nelle relazioni spunti critici sull’attuale assetto del Presidio e sulla necessità di definire meglio i rapporti con il Nucleo di Valutazione. Il Nucleo dell’Ateneo Alfa pone in evidenza il fatto che “le relazioni tra Nucleo di Valutazione e PdQ richiedono un periodo di monitoraggio e di messa a punto perché ANVUR assegna al Nucleo un ruolo di controllore di secondo livello dell’operato del PdQ. Questo implica la definizione di un sistema di regole condiviso che definisca le modalità di relazione tra i due organismi e consenta al Nucleo di svolgere la sua funzione di controllo e al PdQ di operare come organo tecnico nell’ambito delle funzioni che gli sono state attribuite” (Relazione del NdV dell’Ateneo Alfa, 2013). Lo stesso Nucleo riscontra come il PdQ sia diventato un organo più politico che tecnico.

Presso l’Ateneo Gamma preesistevano, invece, due organi addetti alla qualità, uno dedicato alla didattica e uno alla ricerca, che nel loro operato si avvalevano di indicatori e rilevazioni periodiche messe a disposizione dal sistema informativo dell’ateneo. Il PdQ di questa università si è quindi costituito sulla base delle preesistenti esperienze che il NdV non ha mancato di sottolineare: “Il Presidio di qualità si inserisce in una realtà nella quale, fin dal 2010, ha operato una Gruppo di Lavoro denominato Quality Assurance che ha definito il modello di valutazione interna dei Corsi di studio, portando a sistema un impianto che si conferma oggi in linea con gli standard europei e coerente con le indicazioni dell’ANVUR” (Relazione del NdV dell’Ateneo Gamma, 2013).

Un secondo elemento preso in esame nelle relazioni è relativo alle Commissioni Paritetiche. Nell’Ateneo Beta esse “operano nell’ambito di ciascun Dipartimento referente principale o responsabile, ovvero di ciascun Collegio didattico interdipartimentale e comprendono, per ciascuna componente, un numero di membri non inferiore al numero dei corsi di studio che fanno capo al Dipartimento o al Collegio didattico interdipartimentale, e comunque non inferiore a quattro” (Relazione del NdV dell’Ateneo Beta, 2013). Le funzioni delle commissioni sono ben riassunte dalla relazione del Nucleo dell’Ateneo Gamma, dove si legge che “tra le funzioni, la Commissione ha il compito di monitorare, con appositi indicatori di valutazione, l’offerta formativa, la qualità della didattica e delle attività di servizio agli studenti; formula pareri dell’istituzione, attivazione, modifica e soppressione dell’offerta formativa; nell’ambito del processo di riesame dei corsi di studio, valuta se al Riesame annuale conseguano efficaci interventi correttivi sui Corsi di Studio negli anni successivi, e che, tra gli altri, i questionari relativi alla soddisfazione degli studenti siano efficacemente gestiti, analizzati, utilizzati” (Relazione del NdV dell’Ateneo Gamma, 2013).

L’Ateneo Alfa, invece, mostra una particolarità, poiché ha assegnato alle Commissioni l’onere di redigere il documento di riesame che sarà in seguito approvato dagli organi competenti. Il NdV dell’ateneo riscontra in proposito come alla commissione paritetica spetti il compito di esprimere pareri e raccomandazioni piuttosto che di stendere il documento centrale per la gestione del sistema di AQ. Nella sua relazione il Nucleo dell’Ateneo Alfa, pur prendendo atto delle ragioni contingenti che hanno portato a questa scelta, “invita l’ateneo per il futuro, in vista del ripetersi della procedura di riesame, a valutare l’opportunità di distinguere maggiormente le funzioni in materia di quality assurance delle commissioni paritetiche da quelle degli organi di governo del corso di studio” (Relazione del NdV dell’Ateneo Alfa, 2013).

Un terzo aspetto preso in esame nelle relazioni del Nucleo di Valutazione riguarda le funzioni del Nucleo rispetto al sistema AVA. In tutte le relazioni esaminate emerge un disagio per l’assenza di chiarezza nei compiti attribuiti al Nucleo in relazione all’operato del PdQ e dell’ANVUR. Il Nucleo di Valutazione dell’Ateneo Beta afferma in proposito: “il contributo del Nucleo richiesto da AVA non è ancora completamente chiaro e sembra propendere verso una funzione di certificatore interno della AQ, piuttosto che verso la funzione di valutazione dei risultati effettivi di qualità raggiunti”. Anche il NdV dell’Ateneo Alfa manifesta il proprio disagio per il sommarsi presso il Nucleo di competenze non ben definite e di natura differente, interna ed esterne, accademica e amministrativa (Relazione del NdV dell’Ateneo Alfa, 2013).

L’esame dell’organizzazione dei corsi di studio mette in evidenza comportamenti molto eterogenei negli atenei in ordine alle quattro dimensioni che l’ANVUR ha chiesto agli atenei di valutare (per gruppi omogenei di CdS):

- il radicamento nel territorio (relazioni con altri soggetti istituzionali, educativi, socio-economici, professionali, culturali, ecc.);

- la coerenza degli obiettivi formativi dichiarati con le esigenze del sistema professionale di riferimento;

- l’adeguatezza delle risorse di docenza e tecnico-amministrative impegnate;

- l’adeguatezza della dotazione infrastrutturale e tecnologica dedicata.

Il Nucleo di Valutazione dell’Ateneo Gamma ha riportato degli stralci del verbale di una seduta del NdV nel corso della quale, richiamando alcune norme e indicazioni dell’ANVUR, si conclude che “la sua consistenza numerica e l’insieme delle competenze dei suoi componenti” (Relazione del NdV dell’Ateneo Gamma, 2013) non gli permettono una valutazione puntuale, estesa a tutti i CdS, nel merito di ciascuna richiesta relativa alle indicazioni dell’ANVUR. L’Ateneo Gamma, mediante la relazione, esprime quindi forti perplessità rispetto alla fattibilità della richiesta effettuata dall’ANVUR.

I NdV degli Atenei Alfa e Beta, invece, rispondono alle richieste dell’ANVUR in modo differente. L’Ateneo Beta, in particolare, interpretando alla lettera le indicazioni dell’ANVUR, elabora una rassegna delle attività molto approfondita per ciascun raggruppamento, evidenziandone i punti di forza e debolezza. L’ateneo si avvale, d’altronde, di una pregressa attività di autovalutazione e valutazione dei corsi di laurea triennali che consente al Nucleo di Valutazione di avere una solida base a cui rifarsi, in termini di dati e di procedure valutative. Infine, l’Ateneo Alfa risponde alle richieste dell’ANVUR illustrando i punti di forza e di debolezza nel suo complesso, non esimendosi dal dare giudizi, anche poco positivi, su taluni aspetti. Per esempio, in merito all’internazionalizzazione dell’ateneo, il Nucleo di Valutazione afferma: “in generale va sottolineata la scarsa efficacia dei servizi di mobilità internazionale e la poca partecipazione degli studenti ai programmi internazionali” (Relazione del NdV dell’Ateneo Alfa, 2013).

L’ultimo punto preso in esame attiene alle modalità e i risultati della rilevazione dell’opinione degli studenti frequentanti e dei laureandi. L’Ateneo Beta utilizza dei questionari cartacei per la rilevazione dell’opinione degli studenti frequentanti. Questi sono somministrati da studenti, assunti con contratti di 150 ore, che compiono la rilevazione dei dati distribuendo i questionari in corsi dopo il raggiungimento della soglia dei 2/3 delle lezioni. Alcune facoltà hanno attivato nell’a.a. 2012-13, in via sperimentale, la somministrazione online dei questionari. I risultati delle rilevazioni sono fatti pervenire a ciascun docente e ai responsabili dei CdS. Per quanto riguarda la diffusione dei risultati del singolo insegnamento ai discenti, essa avviene con regole differenti e limitatamente ad alcune facoltà. Infine, i laureati compilano un questionario unico alla consegna della domanda di laurea. Il Nucleo nota alcuni punti di debolezza riguardo, in particolare, alla modalità di raccolta cartacea, che esclude di fatto tutti gli studenti non frequentati (raggiunti invece nella rilevazione online) e che comporta, inoltre, costi relativamente alti; inoltre rileva la mancanza di “una policy generalizzata di Ateneo circa la loro pubblicizzazione e discussione” (Relazione del NdV dell’Ateneo Beta, 2013).

L’Ateneo Alfa, dall’a.a. 2010/11, ha reso telematica la compilazione dei questionari sulla didattica. Alcune Facoltà prima e ora alcune Scuole hanno reso obbligatoria la compilazione del questionario, che può essere riempito online in una finestra di 10-30 giorni dopo il superamento dei 2/3 del corso. Dall’a.a, 2011-12 è stato poi attivato un questionario online per i non frequentanti con un numero di domande ridotto. I risultati sono immediatamente disponibili, al termine della rilevazione, ai docenti, ai responsabili del CdS e ai presidi di Facoltà. Per quanto riguarda i laureati, l’Ateneo Alfa da qualche anno ha affidato la rilevazione dei dati al consorzio AlmaLaurea, che cura la raccolta dei dati e l’elaborazione dei rispettivi report. Il NdV rileva che “di frequente la presidenza sembrerebbe adottare un atteggiamento attivo nel discutere le criticità emerse con gli organismi didattici di facoltà e nel suggerire possibili soluzioni” (Relazione del NdV dell’Ateneo Alfa, 2013). Poco frequentemente, però, i risultati sembrano essere utilizzati come elementi per l’adozione di provvedimenti formali in sede di Consiglio di Facoltà. È da rilevare il fatto che nell’ateneo siano in atto dei provvedimenti per rendere obbligatoria la compilazione dei questionari in fase di iscrizione all’esame.

L’Ateneo Gamma, dal secondo semestre dell’a.a. 2010/11, ha iniziato a collaborare con il Consorzio AlmaLaurea per quel che riguarda la rilevazione delle opinioni degli studenti frequentanti. I dati, raccolti tramite questionari cartacei e aggregati per ateneo, facoltà e CdS, sono poi pubblicati sul sito web istituzionale; tale sezione non è protetta da password ed è quindi visibile a tutte le persone interessate. I dati disaggregati a livello di insegnamento, invece, sono visibili ai docenti titolari del corso e ai responsabili di ciascun CdS. Il NdV non riscontra che esista un loro utilizzo per procedure interne di riorganizzazione o di gestione dell’attività didattica. Sembrano avere un maggiore peso, invece, i questionari per i laureati, che sono utilizzati dall’ateneo come elemento utile alla anche distribuzione di risorse premiali. Il Nucleo, infine, esprime soddisfazione per i risultati conseguiti con la rilevazione dell’opinione degli studenti, suggerendo ad alcune Facoltà di adoperare modifiche organizzative per venire incontro alle criticità emerse nei questionari stessi.

A conclusione dell’analisi delle Relazioni dei NdV, emerge chiaramente come gli atenei esaminati abbiano implementato le procedure previste dal sistema AVA, mantenendo ampi margini di autonomia nell’attivazione concreta dei processi, al punto che lo sviluppo delle attività di AQ risente sensibilmente delle caratteristiche pregresse degli atenei.

Un aspetto comune che emerge nelle tre relazioni è il timore che le pratiche connesse al sistema AVA si limitino a generare un carico amministrativo senza produrre effettivi miglioramenti. Il NdV dell’Ateneo Alfa evidenzia come “l’AQ e in generale la politica della qualità vengano visti ancora troppo spesso nell’ateneo come un inutile carico burocratico. Il Nucleo raccomanda quindi che l’ateneo comunichi sia al suo interno che all’esterno, attraverso l’uso di parametri semplici, chiari e trasparenti, cosa si sta facendo in questo senso e perché lo si sta facendo” (Relazione del NdV dell’Ateneo Alfa, 2013). Anche l’Ateneo Beta evidenzia come il processo di AQ rischi di non essere efficace per la “percezione (o sfiducia) ancora presente di un appesantimento burocratico che grava soprattutto sulle strutture didattiche e su pochi uffici centrali già sottoposti a consistente mole di lavoro” (Relazione del NdV dell’Ateneo Beta, 2013).

3.7 Coerenza del sistema di valutazione

Quanto illustrato consente di prendere positivamente atto dell’avvio di un sistema di AQ nel sistema universitario italiano. Lo sforzo richiesto all’ANVUR e agli atenei è stato rilevante. Nel corso dell’a.a. 2012/13 sono stati avviati e attuati gli adempimenti connessi all’autovalutazione e all’Accreditamento Iniziale. Peraltro, è importante considerare come l’avvio della procedura AVA sia avvenuta in contemporanea con altre due importanti iniziative valutative di respiro nazionale: l’Abilitazione Scientifica Nazionale e la VQR che hanno entrambe impegnato a fondo l’ANVUR, gli atenei e il personale accademico.

Nel rimandare al prossimo capitolo le considerazioni complessive sul sistema AVA, si vuole ora apprezzarne la coerenza complessiva. Questo tentativo di analisi presenta evidenti limiti: il sistema, infatti, non risulta ancora completamente attivo e alcuni aspetti di primaria importanza, come gli utilizzi, possono pertanto essere stimati solo in via preliminare, mentre altri, come l’effettuazione delle visite esterne, non possono ancora essere valutati.

Pur sulla base di queste limitazione è possibile individuare quali elementi di potenziale criticità e, pertanto, di attenzione:

- la presenza di una concezione molto ampia, non priva di elementi di contraddizione;

- l’impostazione centralizzata e rigida del sistema di autovalutazione e valutazione, che sembra favorire un approccio in chiave di adempimento piuttosto che di miglioramento ed è indotta tanto da disposizioni legislative quanto dalle interpretazioni e le direttive dell’ANVUR;

- il debole coinvolgimento degli atenei nella definizione e nell’attuazione delle procedure AVA, nonostante proprio a essi, mediante l’operato del Presidio della Qualità, sia affidata la promozione della cultura della qualità. A questo proposito appare discutibile la scelta di avviare le procedure di AQ tramite l’invito rivolto ai corsi di studio a compilare il documento di riesame e la SUA-CdS, in assenza della definizione degli obiettivi di AQ a livello di ateneo;

- il ruolo del Presidio della Qualità per l’assenza di chiarezza in merito alle relazioni che esso deve stabilire con il vertice dell’ateneo e con il Nucleo di Valutazione. In particolare, non risulta chiaro se il Presidio della Qualità rappresenti un tavolo di lavoro, un meccanismo di coordinamento organizzativo finalizzato ad attuare le strategie dell’ateneo per la didattica, oppure rappresenti un organo in qualche modo distinto dal vertice di ateneo[17];

- il ruolo del Nucleo di Valutazione per cui rischia di riproporsi la contraddizione, già sperimentata con il CNVSU, di un organo interno al quale sono attribuite funzioni non solo di controllore di secondo livello dell’operato dell’ateneo, ma anche di vero e proprio rappresentante dell’ANVUR negli atenei;

- la presenza di utilizzi degli output della valutazione, nel breve periodo di osservazione, molto limitati. In particolare, sembra emergere un duplice contrasto: da un lato, tra l’idea alla base del sistema AVA - orientato a garantire la qualità della didattica spingendosi fino a influenzare il finanziamento degli atenei - e l’esito concreto della procedura di Accreditamento Iniziale che ha visto l’attivazione di tutti i corsi di studio preesistenti; dall’altro, tra la volontà di promuovere attività di miglioramento continuo e il ruolo centrale che assumono gli standard minimi quantitativi;

- lo scivolamento delle attività di AQ verso l’espletamento di procedure amministrative e la conformità agli standard interpretata semplicemente in chiave di adempimento e non come attivazione di iniziative direttamente connesse al miglioramento dei processi di apprendimento dei discenti.

Torna all'Indice

CAPITOLO 4
RACCOMANDAZIONI PER L’IMPLEMENTAZIONE
DELL’ASSICURAZIONE DELLA QUALITÀ NELLE UNIVERSITÀ ITALIANE

4.1 Principi guida per l’AQ

In conclusione, a partire da un confronto del sistema AVA con le linee guida ESG, si formulano alcune raccomandazioni per l’implementazione dell’AQ nel sistema universitario italiano e si propongono alcune indicazioni operative per il miglioramento del sistema AVA. Prima di procedere si ritiene opportuno richiamare alcuni principi guida per l’AQ e, pertanto, per l’implementazione e il miglioramento di AVA, così come emergono dall’analisi condotta nel capitolo2 con riferimento ai sistemi di AQ europei.

Il carattere europeo del processo di AQ. È opportuno anteporre a ogni considerazione sul sistema AVA la constatazione che questo sistema, per quanto non privo di limiti, rappresenti la prima, e ad oggi l’unica, risposta italiana all’esigenza di AQ connessa al processo di creazione dell’European Higher Education Area (EHEA). È pertanto importante considerare come AVA sia il presupposto per avere atenei in grado di confrontarsi e cooperare con istituzioni universitarie europee. In questa logica ogni proposta di miglioramento del sistema AVA deve essere saldamente ancorata alle ESG.

L’AQ è un processo dinamico. Non deve spaventare l’idea di introdurre delle correzioni e dei cambiamenti al sistema AVA. Le esperienze delle nazioni europee che hanno maggiore consuetudine con i sistemi di AQ mostrano frequenti cambiamenti anche di ampia portata. È opportuno abituarsi a concepire i processi di AQ, e in definitiva la stessa qualità dei processi accademici, come qualcosa per nulla statico ma invece in continua evoluzione nella ricerca di un permanente adeguamento a una realtà - l’insegnamento universitario - per sua natura in perenne divenire.

Valutazione come strumento e non come fine. In Italia troppo spesso si è attribuito alla valutazione un carattere dirimente, capace autonomamente di indirizzare lo sviluppo dei sistemi universitari e di governare i comportamenti degli atenei. La valutazione finisce così per smarrire la propria funzione strumentale al miglioramento dell’università e diviene invece un elemento di legittimazione utile a nascondere le difficoltà che emergono nell’impostare politiche pubbliche in materia di istruzione terziaria. Nei sistemi universitari europei esaminati, soprattutto in Inghilterra, la valutazione è invece uno strumento utile per il perseguimento di politiche definite preventivamente e autonomamente dal decisore politico. In Italia occorre distinguere in maniera più netta le responsabilità proprie del Ministero (formulazione delle politiche) e quelle dell’ANVUR (valutazione) superando l’attuale disordinata sovrapposizione e integrazione di competenze. Spetta al Ministero, nell’ambito dell’autonomia delle università, delineare le caratteristiche del sistema universitario in termini di numero e caratteristiche delle istituzioni e dei corsi di laurea. All’interno di un quadro così definito, l’ANVUR deve poi assicurare che gli atenei rispettino i requisiti posti e si adoperino per il miglioramento delle attività didattiche. Il forte ricorso a decreti ministeriali nel definire il funzionamento, anche a livello tecnico, del sistema AVA costringe a una continua interazione tra MIUR e ANVUR che, inevitabilmente, confonde i piani e deresponsabilizza entrambi i soggetti[18].

Promuovere un’attenzione multidisciplinare ai processi di AQ. Se nei primi mesi del sistema AVA è stato utile attingere soluzioni elaborate in precedenza da aree disciplinari con maggiore tradizione in termini di assicurazione della qualità, per il futuro è importante assicurare un maggiore pluralismo dei saperi e delle competenze coinvolte nella definizione dei meccanismi di AQ. In questa linea è necessario evitare ogni assimilazione del sistema di AQ ai sistemi di qualità previsti dalle norme ISO 9000, salvaguardando anche a livello simbolico e lessicale l’autonomia dei sistemi di qualità sviluppati negli atenei.

4.2 Il sistema AVA a confronto con gli standard europei

A fronte dell’adozione di un sistema nazionale di AQ in Italia, pare opportuno confrontare AVA con gli Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) definiti dall’ENQA (versione 2009)[19]. Le stesse ESG chiariscono che gli standard non devono essere interpretati come prescrittivi o inalterabili, quindi non si tratta di misurare pedissequamente la rispondenza del modello italiano alle disposizioni europee ma, piuttosto, di appurare se e in quale misura i principi concordati a livello europeo trovino spazio nel sistema AVA.

Nella tavola 5 si confronta il sistema AVA con gli standard europei che riguardano l’assicurazione interna di qualità delle università.

Tavola 5 – Il sistema AVA a confronto con le ESG: assicurazione interna

PRINCIPI ESG
(tratto da ENQA, 2009)

RISPONDENZA AVA

ASSICURAZIONE INTERNA

Linee di indirizzo e procedure per l’assicurazione della qualità: le istituzioni dovrebbero formulare chiare politiche e procedure per l’assicurazione della qualità e degli standard dei propri corsi e titoli di studio.

Esse dovrebbero, altresì, impegnarsi esplicitamente per sviluppare una cultura che riconosca l’importanza della qualità e della sua assicurazione. A tal fine, dovrebbero progettare e porre in essere strategie per il continuo miglioramento della qualità. Strategie, politiche e procedure devono essere formalizzate e rese note al pubblico. Esse devono, inoltre, prevedere il coinvolgimento degli studenti e delle altre parti interessate.

A livello nazionale sono state emanate e rese pubbliche dettagliate procedure per l’assicurazione della qualità.Ampia attenzione è stata riservata alla diffusione della cultura della qualità mediante incontri dell’ANVUR con le università, promozione di best practice e generale disponibilità al dialogo da parte dell’ANVUR.
Altrettanta attenzione è stata riservata alla promozione del miglioramento della qualità.
Manca, tuttavia, ogni riferimento a politiche e procedure di ateneo. Il sistema AVA, infatti, concentra la propria attenzione sul corso di studio. Viceversa, le istituzioni non sono state direttamente stimolate a definire e formulare politiche per la qualità, né sono state coinvolte nella definizione delle procedure di AQ. Almeno in una fase iniziale lo sforzo maggiore è stato, infatti, richiesto a livello di corsi di studio. In tutto il sistema universitario sono state compilate migliaia di documenti del riesame e di schede SUA-CdS senza che, tuttavia, fosse richiesta alcuna riflessione strutturata a livello di ateneo.

Approvazione, monitoraggio e revisione periodica di corsi e titoli di studio: le istituzioni dovrebbero prevedere un meccanismo formale per l’approvazione, la revisione periodica e il monitoraggio dei loro corsi di studio e dei titoli rilasciati.

Il punto è pienamente soddisfatto dalla procedura AVA, che tuttavia dispone centralmente i meccanismi per l’approvazione, la revisione periodica e il monitoraggio dei corsi di studio. Le ESG richiedono, invece, un protagonismo delle istituzioni nella definizione delle procedure.

Verifica del profitto degli studenti: gli studenti dovrebbero essere valutati usando criteri, regole e procedimenti resi pubblici e applicati in modo coerente.

Il sistema AVA si sofferma su questo punto soprattutto in relazione all’individuazione dei risultati di apprendimento attesi (descrittori di Dublino). Nonostante la scheda SUA-CdS richieda di descrivere i metodi di accertamento, risulta ancora embrionale lo sforzo per:

- avere criteri chiari e pubblici per l’assegnazione dei voti;

- assicurare la consapevolezza del personale incaricato di effettuare le verifiche;

- stimolare la collegialità nell’attribuzione dei giudizi;

- codificare le procedure connesse alle verifiche.

Assicurazione della qualità dei docenti: le istituzioni dovrebbero accertare che i docenti siano qualificati e competenti. Inoltre, i docenti dovrebbero essere disponibili a sottoporsi a valutazioni esterne con relativi rapporti.

L’assicurazione della qualità dei docenti è affidata al rispetto di criteri quali numero di docenti coinvolti e coerenza tra settore scientifico del docente e del corso di studio. Un limite è inoltre previsto per la presenza di docenti inattivi nelle attività di ricerca.

Non è posta alcuna attenzione alla qualificazione e alla competenza del docente in chiave strettamente didattica, né alcuno stimolo per potenziare le capacità di insegnamento e per valorizzare le competenze didattiche.

Di nuovo si riscontra che, mentre le ESG affidano l’assicurazione agli atenei, il sistema AVA si preoccupa di verificare centralmente questi requisiti.

Nessuna indicazione è presente nel sistema AVA in merito a valutazioni esterne dei docenti.

Risorse didattiche e sostegno agli studenti: le istituzioni dovrebbero garantire che le risorse messe a disposizione degli studenti siano adeguate e appropriate al corso di studio offerto.

Il sistema in atto, per quanto gestito a livello nazionale e non di ateneo, garantisce l’adeguatezza e appropriatezza delle risorse disponibili.

Sistemi informativi: le istituzioni devono assicurare la raccolta, l’analisi e l’utilizzo delle informazioni necessarie per l’efficace gestione dei propri corsi di studio e delle altre attività svolte.

Il punto è soddisfatto dalla presenza della scheda SUA-CdS che, tramite una procedura nazionale, permette di raccogliere e archiviare la raccolta di una notevole mole di informazioni. Il rapporto di riesame dovrebbe dare evidenza del loro utilizzo per l’efficace gestione dei propri corsi di studio e delle altre attività svolte.

Pubblicità delle informazioni: le istituzioni dovrebbero pubblicare regolarmente informazioni aggiornate, imparziali e oggettive, di carattere sia quantitativo sia qualitativo, sui corsi di studio e i titoli offerti.

La medesima procedura descritta al punto precedente consente in linea di principio di soddisfare questa richiesta. Di fatto, però, le schede SUA-CdS non sono disponibili al pubblico.

L’esame degli standard ESG per l’assicurazione interna della qualità mette in luce il fatto che il sistema AVA abbia una struttura articolata e strutturata in grado di rispondere a gran parte delle linee guida europee. Accanto a una sua generale conformità agli standard emerge, tuttavia, anche un’importante differenza. Mentre nelle ESG “le istituzioni di istruzione superiore hanno la responsabilità primaria per la qualità dei servizi offerti e per la sua assicurazione” (ENQA, 2009), nel sistema AVA i soggetti principali dell’assicurazione della qualità sono, da una parte, i corsi di studio e, dall’altra, l’ANVUR, mentre le istituzioni sono relegate a un ruolo marginale. Soprattutto pare attualmente poco sollecitata una loro responsabilizzazione diretta nel definire linee d’indirizzo, procedure per l’assicurazione della qualità e meccanismi per il riesame.

È possibile che tale sbilanciamento sia attenuato dall’avvio delle procedure di Accreditamento Periodico, che prevedono diversi adempimenti a livello di ateneo. Rimane, tuttavia, un’impostazione di fondo centrata sul corso di studio piuttosto che sull’ateneo e, parallelamente, su un sistema AQ nazionale molto pervadente e dettagliato che, direttamente, si assume l’onere di definire le procedure di AQ interne e di dare evidenza in merito all’adeguatezza della qualità dei docenti (requisiti minimi quantitativi), della verifica del profitto degli studenti (descrittori di Dublino), delle risorse didattiche, del sostegno agli studenti (requisiti minimi quantitativi), dei sistemi informativi e della pubblicità delle informazioni.

Si tratta di un orientamento (verso i corso di laurea piuttosto che verso l’istituzione) che ha implicazioni estese e molto rilevanti. Almeno due devono essere considerate immediatamente. Una di ordine operativo, poiché comporta il confrontarsi con oltre 4300 corsi di laurea invece che con meno di 100 atenei, aspetto che in presenza di un agenzia nazionale di valutazione con risorse esigue diventa particolarmente rilevante. Una seconda di ordine metodologico, poiché finisce per avvalorare la tendenza (già presente nelle esperienze di valutazione della didattica promosse dal CNVSU) per cui la qualità dei corsi di laurea può essere determinata e verificata centralmente, sulla base di indicatori e parametri standard, piuttosto che essere riscontrata nella considerazione delle caratteristiche specifiche del corso di studio, degli obiettivi che si prefigge, della sua utenza e dell’ambito socio-territoriale al quale si rivolge e delle risorse disponibili (aspetti questi che inevitabilmente possono essere rilevati e verificati solo a livello di ateneo).

La debole responsabilizzazione delle istituzioni nel processo di AQ è rafforzata dalla scelta di avviare il processo AVA con la richiesta di compilare rapporti di riesame e la scheda SUA-CdS senza stimolare una riflessione preliminare a livello di ateneo. Inoltre, la struttura standardizzata dei rapporti di riesame e di schede SUA-CdS non ha favorito l’integrazione nel sistema AVA delle eventuali preesistenti procedure di ateneo per l’AQ.

Accanto a questa differenza fondamentale rispetto alle ESG, il confronto con il sistema AVA mette in evidenza tre punti dove il sistema di AQ italiano è sottodimensionato rispetto alle richieste europee:

- la qualificazione del personale accademico in termini didattici, cioè la capacità di assicurare che il personale impegnato nelle attività didattiche, oltre alla “piena conoscenza e comprensione della materiale”, possieda “le competenze e l’esperienza necessarie a trasmettere con efficacia il proprio sapere agli studenti in una varietà di contesti formativi, ricevendo poi riscontri sulla propria attività” (ENQA, 2009). In questo senso, l’attenzione alla qualificazione del personale accademico è ancora marginale, come dimostrato dall’assenza di indicazioni e stimoli per la promozione delle competenze connesse all’insegnamento. La presenza nelle procedure AVA di sistemi di customer satisfaction e la richiesta che gli esiti siano discussi rappresentano certamente elementi importanti per rispondere a questa esigenza; tuttavia, prevale un approccio difensivo teso a limitare le problematiche piuttosto che un’attenzione preventiva mirata a incrementare e sostenere le capacità di insegnamento;

- la verifica del profitto degli studenti in modo che questa avvenga in “modo professionale e tenendo conto delle vaste conoscenze esistenti sulle varie tipologie di test e di esame” (ENQA, 2009). Mentre emerge uno sforzo rilevante nel codificare i risultati di apprendimento attesi (descrittori di Dublino), è ancora embrionale lo sforzo per avere criteri chiari e pubblici per l’assegnazione dei voti, assicurare la consapevolezza del personale incaricato di effettuare le verifiche, stimolare la collegialità nell’attribuzione dei giudizi, codificare le procedure connesse alle verifiche. Nonostante la scheda SUA-CdS richieda di descrivere i metodi di accertamento, non risulta nel sistema AVA alcuna indicazione per promuovere l’attenzione per questa materia nei corsi di studio;

- un’ultima considerazione riguarda la pubblicità delle informazioni inerenti al sistema AQ. Secondo le raccomandazioni ENQA le istituzioni hanno la responsabilità di rendere disponibili informazioni sul sistema di AQ “accurate, imparziali, obiettive e facilmente accessibili” (ENQA, 2009). Nel modello AVA quest’obiettivo sarebbe dovuto essere raggiunto con la pubblicazione delle schede SUA-CdS che, tuttavia, a oggi non sono pubbliche.

Un confronto analogo a quello effettuato in precedenza, può essere condotto rispetto agli standard europei che riguardano l’assicurazione esterna di qualità.

Tavola 6 – Il sistema AVA a confronto con le ESG: assicurazione esterna

Principi ESG

(tratto da ENQA, 2009)

Rispondenza AVA

ASSICURAZIONE ESTERNA

Considerazione e utilizzo delle procedure per l’assicurazione interna della qualità: le procedure per l’assicurazione esterna della qualità dovrebbero prendere in considerazione l’efficacia dei processi di assicurazione interna della qualità

In presenza di un sistema di AQ fortemente accentrato che definisce a livello nazionale le pratiche di AQ da attivare negli atenei, la richiesta delle ESG è formalmente rispettata ma, nei fatti, è svilita poiché le procedure sono definite in modo dettagliato a livello centrale.

Definizione dei processi esterni di assicurazione della qualità: i responsabili dei processi di assicurazione esterna della qualità dovrebbero, prima di definire i processi stessi, determinarne le finalità e gli obiettivi e divulgarli insieme alla descrizione delle procedure da adottare.

Il sistema AVA determina e divulga finalità e obiettivi. L’azione di divulgazione condotta dall’ANVUR si è utilmente avvalsa di diversi incontri negli atenei.

Le università sono state coinvolte solo marginalmente nella costruzione del sistema AVA. Nessuno studio preliminare è stato eseguito sugli oneri connessi all’implementazione del sistema.

Criteri decisionali: ogni decisione formale presa a seguito di un’attività esterna di assicurazione della qualità deve basarsi su criteri espliciti, noti al pubblico e applicati in modo coerente.

Non vi sono ancora evidenze in proposito, tuttavia l’impostazione del sistema, molto dettagliata e attenta agli aspetti formali, fa ritenere che questo punto sarà rispettato. Lacunosa, per ora, la pubblicità dei documenti e delle decisioni assunte.

Adeguatezza delle procedure: tutti i processi esterni di assicurazione della qualità dovrebbero essere progettati in modo tale da rispondere pienamente alle finalità e agli obiettivi per essi stabiliti.

Il sistema adottato è coerente e ben strutturato. Le richieste delle ESG in termini di qualificazione e formazione degli esperti sono rispettate.

In modo analogo, il sistema AVA adotta un metodo di verifica basato su autovalutazione/visita in loco/rapporto preliminare/pubblicazione del rapporto conclusivo/follow-up e ulteriore verifica come previsto dalle ESG.

Il sistema AVA è, però, lontano da considerare le politiche istituzionali di miglioramento quali elemento fondamentale dell’assicurazione della qualità.

Stesura dei rapporti: i rapporti dovrebbero essere pubblici ed essere redatti in uno stile chiaro e di facile lettura per il pubblico cui sono rivolti. I lettori dovrebbero poter comprendere senza difficoltà le decisioni, le valutazioni positive e le raccomandazioni in essi contenute.

La struttura dei documenti (schede SUA-CdS) è pensata anzitutto per un uso autorizzativo. I documenti sono molto dettagliati e con molte parti difficilmente comprensibili per gli utenti non specialisti.

Le schede SUA-CdS, inoltre, non sono attualmente pubbliche.

Procedure di follow-up: i processi di assicurazione della qualità che includono raccomandazioni a favore di successive azioni, o che richiedono piani di azione, devono prevedere opportune procedure di follow-up da attuare in modo coerente.

Sono previste procedure di follow-up che, dato il recente avvio della procedura AVA, a oggi non sono ancora attive.

Verifiche periodiche: l’assicurazione esterna della qualità delle istituzioni e/o dei corsi di studio deve essere proposta ciclicamente. È opportuno definire con chiarezza e rendere note al pubblico con debito anticipo la frequenza dei controlli e le procedure di valutazione adottate.

Il modello AVA adottato risponde a queste esigenze. Per i motivi già ricordati non sono ancora disponibili evidenze in proposito.

Analisi sistemiche: le agenzie di assicurazione della qualità devono periodicamente produrre rapporti di sintesi in cui sono descritti e analizzati i risultati delle proprie attività e le valutazioni effettuate.

A oggi non è attivato alcun momento/rapporto di sintesi sulla procedura AVA che, tuttavia, non è ancora completamente avviata.

Anche in relazione agli standard per l’assicurazione esterna della qualità emerge la generale validità di AVA in termini di rispondenza alle raccomandazioni ENQA. L’impianto di AVA, pur con i limiti dovuti alla fase attuale di avvio delle procedure, risulta rispondere o essere potenzialmente in grado di rispondere alle linee guida ESG in ordine a definizione dei processi esterni, definizione dei criteri decisionali, adeguatezza delle procedure, stesura dei rapporti, procedure di follow-up e verifiche periodiche. In particolare, il sistema AVA è conforme alle linee guida europee in relazione alle procedure esterne di AQ prevedendo:

- iniziative per la selezione e formazione degli esperti (valutatori esterni);

- possibile coinvolgimento di esperti internazionali;

- coinvolgimento degli studenti;

- adozione di una procedura articolata con autovalutazione/visita in loco/rapporto preliminare/pubblicazione del rapporto conclusivo/follow-up e ulteriore verifica;

- attenzione alle politiche di miglioramento continuo.

Come già riscontrato a proposito degli standard per l’assicurazione interna di qualità, accanto a una sostanziale rispondenza alle ESG emerge un’anomalia di fondo. Il sistema di AQ italiano è, infatti, in maniera preponderante definito a livello centrale contraddicendo così inevitabilmente uno dei capisaldi delle ESG, secondo cui “le procedure per l’assicurazione interna della qualità costituiscono una base eccellente per i processi di valutazione esterna” (ENQA, 2009).

In stretta connessione con quest’anomalia, si rileva la forte rigidità del sistema AVA nel determinare la profondità e l’ampiezza della valutazione esterna. Sulla base delle ESG “qualora un’istituzione sia in grado di dimostrare l’efficacia dei propri processi interni di assicurazione della qualità e ove tali processi comprovino adeguatamente il livello qualitativo dell’istituzione e il suo rispetto degli standard prestabiliti, i processi esterni di valutazione potranno risultare meno approfonditi che altrove”. Nel sistema AVA, nonostante sia prevista una diversa tempificazione nelle procedure di accreditamento periodico dipendente dal conseguimento di un accreditamento pienamente positivo o soddisfacente piuttosto che condizionato, non è prevista una diversa modulazione dello sforzo valutativo a seconda della maturità del sistema oggetto di valutazione. Manca, in buona sostanza, qualsiasi considerazione in chiave di risk management tesa a concentrare la valutazione negli ambiti maggiormente a rischio.

Almeno due elementi testimoniano l’assenza di attenzione del sistema AVA per le istituzioni. In base alle ESG, infatti, “i metodi esterni di assicurazione della qualità dovrebbero essere progettati e sviluppati con la partecipazione delle principali parti interessate, tra cui le istituzioni di istruzione superiore” (ENQA, 2009); le procedure AVA invece, pur costruite in un clima di dialogo e attenzione con la comunità accademica, si sviluppano senza alcun coinvolgimento diretto delle istituzioni nelle fasi di progettazione e definizione del modello di valutazione. In stretta connessione con quanto appena rilevato, si può notare come le procedure AVA non raccolgano l’indicazione ESG di attivare “uno studio preliminare per accertare che le procedure adottate siano adeguate e non interferiscano più del dovuto con la normale attività delle istituzioni stesse” (ENQA, 2009). In sostanza, è del tutto ignorato da parte di AVA l’onere organizzativo e amministrativo che le procedure di AQ impongono agli atenei. Un’analisi di questo tipo (eventualmente promossa da ANVUR), tuttavia, sarebbe stata oltremodo opportuna, data la scelta di adottare un sistema AQ molto articolato e dettagliato.

Un’altra debolezza del sistema AVA è la sua debole connessione con le politiche nazionali in materia di università. Manca, infatti, a livello macro una precisa collocazione della procedura AVA nelle politiche del governo per l’università. Questa lacuna non è peraltro imputabile al sistema AVA - o tanto meno all’ANVUR - ma piuttosto all’assenza a livello nazionale di policy di lungo periodo per il sistema universitario, la cui gestione è, a oggi, l’esito della stratificazione di interventi legislativi assunti in tempi e con finalità diverse piuttosto che l’implementazione di linee strategiche di lungo periodo.

Un ultimo elemento di debolezza del sistema AVA in relazione alle linee guida europee riguarda la pubblicità dei rapporti e la loro stesura “in uno stile chiaro e di facile lettura” (ENQA, 2009). Oltre a quanto già illustrato in ordine alla pubblicità della SUA-CdS, emergono criticità connesse alla struttura delle informazioni. A questo proposito le ESG suggeriscono che i rapporti, destinati a gruppi di lettori diversi tra loro, riservino “grande attenzione per la struttura, il contenuto, lo stile ed il tono utilizzati” e prevedano “un preambolo che illustra al lettore non specialista gli scopi della valutazione, il percorso seguito ed i criteri decisionali adottati”, consentendo al lettore di commentare l’utilità del rapporto stesso. La Scheda Sua-CdS si presenta, invece, lunga e di difficile lettura, certamente inadatta a suscitare l’interesse di studenti e famiglie. Contrariamente alle indicazioni ESG la scheda si apre con una sezione “Cenni storici sul CdS” che certamente non è di immediato e primario interesse per la maggior parte dei lettori esterni all’accademia. Lo stile del documento è, inoltre, prevalentemente amministrativo e riporta informazioni connesse ai processi amministrativi sottesi alla procedura AVA di modesto interesse per i lettori esterni. È quindi da rilevare una generale mancanza di riflessione sulle modalità più opportune per comunicare le informazioni sul corso di studio agli utenti (anzitutto studenti e famiglie). In questo modo AVA perde tra l’altro uno dei principali potenziali benefici che la scelta di centrare il sistema di AQ sui singoli corsi di studio offre: rendere disponibili dati per singolo corso di studio. Paradossalmente, proprio l’adozione di un modello articolato sul singolo corso di studio comporta un ingente carico amministrativo e documentale periodico, soffocando così le potenzialità del sistema AVA di produrre informazioni semplici e comprensibili per studenti e stakeholders.

Una terza sezione delle ESG è dedicata agli Standard e linee guida europei per le agenzie di assicurazione esterna della qualità. Non è compito del Rapporto soffermarsi su questa materia, tuttavia è significativo riscontrare come le ESG prevedano che le agenzie debbano “disporre di risorse, sia umane che finanziarie, adeguate e rapportate alla propria attività, che consentano loro di organizzare e gestire uno o più processi di assicurazione esterna della qualità in modo efficace ed efficiente”. Attualmente l’ANVUR dispone, per operare sulle tre procedure valutative principali (AVA, VQR e ASN), di un organico di 18 unità e di una dotazione finanziaria annuale pari a 5 milioni di euro. Nazioni europee di dimensioni analoghe all’Italia hanno dotato le proprie agenzie nazionali di risorse notevolmente superiori: la francese AERES (che si occupa sia di didattica sia di ricerca) dispone di 70 unità amministrative e di un bilancio di 16 milioni di euro, l’inglese QAA (attiva solo sulla didattica) si avvale di 130 dipendenti e un bilancio di 12 milioni di sterline. Un sistema nazionale di AQ impostato sulla base delle direttive europee richiede certamente la gestione sincrona di molteplici attività e capacità operative di coordinamento rilevanti. Con l’avvio delle verifiche esterne negli atenei occorrerà monitorare la capacità di ANVUR, con le risorse attualmente presenti, di far fronte a un impianto valutativo vasto e articolato. Nei Paesi Bassi il NVO (che si occupa anche delle Fiandre) ha un bilancio di 6 milioni di euro e 50 unità di personale. Se si volesse garantire all’ANVUR le stesse risorse, considerando le maggiori dimensioni del sistema universitario italiano, l’agenzia italiana andrebbe dotata di almeno 250 unità di personale e un bilancio di 25 milioni. Si noti tra l’altro che: (a) NVO si avvale di un’agenzia esterna (che ha proprio personale e collaboratori) per le procedure connesse all’accreditamento dei corsi di studio; (b) ANVUR ha una missione istituzionale certamente più ampia di NVO.

4.3 Uno sguardo complessivo al sistema AVA

Nel formulare un bilancio sull’avvio delle procedure di AQ in Italia sulla base del modello AVA occorre anzitutto riconoscere che l’operato del MIUR e dell’ANVUR consente oggi, per la prima volta, di disporre di un sistema di autovalutazione, valutazione e accreditamento in linea con le direttive europee.

L’avvio del sistema AVA rappresenta un’evoluzione rilevante e positiva rispetto ai precedenti sistemi di valutazione attivati dal CNVSU e primariamente orientati alla garanzia mediante la raccolta e l’analisi di dati statistici e la verifica di parametri quantitativi. Non c’è dubbio che nella procedura AVA trovino finalmente riconoscimento le istanze che, a livello europeo, sono ritenute imprescindibili per l’AQ come l’orientamento al miglioramento e la presenza di verifiche esterne.

A fronte di un percorso importante e positivo, l’analisi condotta nel capitolo terzo e il confronto puntuale con le ESG proposto nel precedente paragrafo mostra come il sistema AVA presenti una forte centralizzazione e riservi un’attenzione ancora modesta alla funzione delle istituzioni nelle procedure di AQ. Si ritrova in questa scelta una continuità forte con il modello precedente adottato dal CNVSU, che si basava sulla verifica del possesso da parte dei corsi di studio di standard nazionali in assenza di spazi di autonomia a livello di ateneo. Non a caso, il rispetto di standard quantitativi minimi fissati centralmente e validi per tutti i corsi di studio, a prescindere dalle loro peculiarità, è un elemento caratteristico delle valutazioni promosse sia dal CNVSU sia dal sistema AVA. Deve far riflettere che, nonostante l’attivazione di un ampio sistema di AQ, almeno nelle fasi attuali proprio i requisiti minimi, declinati a livello di corso di studio, siano l’elemento del sistema AVA che sta avendo conseguenze maggiori nell’adeguamento e nella trasformazione dell’offerta didattica degli atenei. D’altra parte, il richiamo alle precedenti esperienze di valutazione del CNVSU e alla tradizione amministrativa nazionale è molto chiaro ed esplicito: il decreto legislativo 19/2012 (Art. 10, comma 3) prevede che gli indicatori trasformino “gli standard, le procedure e le linee guida adottate a livello europeo in parametri oggettivi, volti a misurare in ogni momento l’efficienza e l’efficacia della didattica e della ricerca messa in atto dai singoli atenei e a stimolare la competitività e la qualità degli stessi”.

Nell’ambito di una generale rispondenza alle linee guida ENQA, i punti del sistema AVA che, dal confronto con le ESG, sono caratterizzati da maggior debolezza sono:

- la qualificazione del personale docente in termini didattici;

- la verifica del profitto degli studenti;

- la poca attenzione alla leggibilità dei rapporti e dei documenti inerenti alle procedure di AQ da parte del personale non accademico.

Il confronto con le esperienze di assicurazione della qualità presenti in alcune nazioni europee, pur mettendo in luce il comune riferimento alle ESG, consente di individuare alcune discrepanze in relazione alle linee evolutive:

- anzitutto, la mancata valorizzazione da parte del sistema AVA dell’istituzione quale primario attore dell’assicurazione della qualità, come avviene invece nelle nazioni precedentemente individuate;

- a fronte di una diffusa tendenza all’alleggerimento dei sistemi di valutazione nazionali - sia attraverso la limitazione degli adempimenti amministrativi, sia grazie ad attenuazioni delle procedure per le istituzioni che dimostrino di presidiare con attenzione il tema della quality assurance - il sistema AVA adotta procedure di valutazione fortemente standardizzate, periodiche e molto dettagliate, che di certo non si configurano come leggere. Significativa in proposito è la mancata analisi preliminare dell’onere organizzativo e amministrativo che le procedure di AQ possono indurre;

- lo sforzo per creare condizioni informative favorevoli per una considerazione consapevole dei corsi di laurea da parte dei diversi stakeholders è contrastato dalla struttura pesante e standardizzata delle procedure di valutazione e dalla loro scarsa trasparenza, a partire dalla scheda SUA-CdS.

Detto questo, le linee di evoluzione dell’intero processo sembrano potersi rafforzare con l’istituzionalizzazione e il consolidamento negli anni dei sistemi di valutazione ed è pertanto presumibile e auspicabile che le procedure AVA potranno accoglierle sempre meglio in futuro. Il passaggio dall’accreditamento iniziale all’accreditamento periodico con l’avvio delle visite in loco delle CEV rappresenta certamente uno snodo importante, che contribuisce ad attenuare almeno in parte alcune delle criticità evidenziate. Criticità che sono connesse all’esigenza di far decollare in breve tempo un sistema di AQ capace di portare gli atenei italiani nel solco delle direttive europee.

È tuttavia altrettanto vero che:

- vi era forse la possibilità da parte del sistema universitario italiano, che si dotava per la prima volta di un sistema di assicurazione nazionale, di fare tesoro delle esperienze estere adottando soluzioni metodologiche più avanzate;

- nonostante il sistema AVA rappresenti un notevole passo in avanti dal punto di vista metodologico, rimane un’impostazione di base imperniata sull’uniformazione a parametri (norme o standard minimi) fissati centralmente.

In questo quadro, la minaccia più marcata cui sembra esposto il sistema AVA è quella, parzialmente segnalata dai rapporti del Nucleo di Valutazione degli atenei esaminati e dal CONVUI, di un progressivo scivolamento delle attività di AQ verso l’espletamento di procedure amministrative. Sarebbe, invece, auspicabile, sfruttando l’inizio delle procedure di accreditamento periodico e l’avvio delle verifiche esterne, l’attivazione di iniziative direttamente connesse al miglioramento dei processi di apprendimento dei discenti, in assenza delle quali si rischia di ritrovarsi in un orizzonte non nuovo per i sistemi di valutazione della didattica nell’università italiana e, pertanto, da considerare e prevenire con grande attenzione.

4.4 Cinque raccomandazioni per il miglioramento del sistema AVA

L’esame condotto consente di formulare alcune raccomandazioni con lo scopo di migliorare il processo di AQ recentemente avviato in Italia. Queste raccomandazioni hanno come principale interlocutore il MIUR e l’ANVUR e si pongono l’obiettivo di suggerire come il sistema AVA possa evolvere superando i limiti manifestati nei primi mesi di implementazione.

Centralità dello studente. Le università sono sempre meno proprietà di comunità disciplinari che tramandano al loro interno il sapere e sempre più luoghi dove si soddisfano i bisogni di apprendimento dei discenti. Gli studenti rappresentano il punto focale dei processi di insegnamento (Hénard e Roseveare, 2012). A fronte del rischio che il sistema di AQ scivoli verso l’adozione di procedure solo debolmente connesse ai processi di apprendimento, occorre uno sforzo per orientare la valutazione sugli studenti e sui risultati del percorso formativo. Oltre che soffermarsi sugli input del processo didattico (quantità e caratteristiche del personale docente e dei discenti, presenza di infrastrutture adeguate) occorre orientare l’attenzione sull’esperienza e sul rendimento degli studenti, sulle competenze acquisite e sugli sbocchi occupazionali. Non si tratta semplicemente di transitare da una valutazione ex ante o procedurale a una valutazione ex post o di risultato, ma di centrare il sistema di AQ sullo studente e sulla capacità delle attività didattiche di favorire l’apprendimento e la costruzione di competenze utili e durature. In questa direttrice un elemento che deve trovare maggiore attenzione è la qualificazione del personale accademico in termini di capacità didattiche riconoscendo che la conoscenza di una disciplina non garantisce il possesso delle competenze per trasmetterla con efficacia agli studenti. È opportuno che il sistema di AQ richieda evidenza della qualificazione come insegnanti degli accademici e delle iniziative attivate qualora questa risulti lacunosa[20]. Un secondo aspetto che deve trovare attenzione è la verifica del profitto degli studenti, curando maggiormente il momento dell’assegnazione dei voti che dovrebbe seguire criteri collegiali, ben ponderati e comunicati preventivamente. Maggiore considerazione va anche data alla verifica della proporzione tra carico didattico e tempi assegnati: non sono tollerabili corsi di laurea dove solo il 10-15% dei laureati risulti in corso. Il sistema di AQ dovrebbe stimolare l’attenzione alle esigenze degli studenti assicurandosi che le attività didattiche siano anzitutto costruite intorno alle potenzialità dello studente[21] verificando la coerenza del piano di studi con gli obiettivi formativi assunti. Un ulteriore aspetto che deve trovare maggiore attenzione è la condizione occupazionale dei laureati (pur risentendo il dato di inevitabili limitazioni ad esempio connesse alla presenza di contesti territoriali differenti). Oltre all’esame del dato puntuale le informazioni sugli sbocchi occupazionali dovrebbero informare e stimolare la discussione sull’adeguatezza del piano di studi, troppo spesso subordinato esclusivamente a logiche e equilibri accademici.

Informazione agli studenti e agli stakeholders. Occorre informare gli studenti e gli utenti in merito ai risultati delle procedure di AQ. Attualmente i principali documenti del sistema di AQ non sono pubblici e comunque presentano una struttura e un linguaggio difficilmente comprensibile per gli studenti, le famiglie e gli altri stakeholders. È necessario che i documenti prodotti e gli esiti della valutazione siano più trasparenti, facilmente accessibili e comprensibili dagli studenti. Una delle problematiche storiche dei sistemi di AQ è la loro irrilevanza ai fini dei comportamenti e delle scelte degli studenti (Turri, 2014). Per evitare questa deriva è necessario curare la stesura di documenti e referti dei processi di AQ redatti con uno stile chiaro e di facile comprensione per il pubblico al quale sono rivolti. Se l’utilizzo del web offre crescenti potenzialità in questo ambito occorre tuttavia porsi fin dalla fase di progettazione dei sistemi di AQ il tema della diffusione della comunicazione e della rilevanza dei risultati valutativi. In questa ottica, piuttosto che supporre che i documenti del AQ siano intellegibili e utili per studenti e stakeholders (come il sistema AVA presume), è probabilmente più efficace identificare poche semplici informazioni chiave a livello di corso di studio da diffondere appositamente. In generale, quello dell’informazione è un aspetto centrale per un sistema di AQ: è oltremodo necessario che i documenti prodotti e gli esiti della valutazione siano anzitutto strutturati per essere comprensibili e accessibili. Occorre non dimenticare che è proprio per rassicurare gli utenti, gli stakeholders e in ultima istanza i contribuenti che nasce l’esigenza di AQ della didattica.

Attenzione al pluralismo dell’offerta formativa. Questo punto è strettamente connesso a quanto richiamato nel precedente. Il sistema di AQ dovrebbe evitare di indurre soluzioni didattiche standardizzate e uniformi e invece stimolare l’attenzione alle specificità presenti tra l’offerta formativa per quanto attiene ai diversi cicli (triennali, magistrali, a ciclo unico, professionalizzanti,…), per quanto concerne le specificità disciplinari (che ad esempio comportano un differente utilizzo di laboratori o esercitazioni) e in relazione alle diverse tipologie di studenti. L’attuale sistema di AQ essendo centrato sul rispetto di standard tende invece a uniformare l’esperienza didattica (Turri, 2014) ignorando le differenze presenti tra i corsi di laurea e tra gli studenti. La cartina di tornasole di questo orientamento è la difficoltà ad accettare le differenze e le diversità che caratterizzano gli studenti e la loro preparazione iniziale con la presenza di un vero e proprio scollamento tra lo studente atteso (quello intorno al quale è costruito il corso di laurea) e lo studente reale (quello che invece lo frequenta). Pur non volendo perdere alcuni elementi di omogeneità, sembra discutibile la scelta di AVA di adottare procedure, schemi e addirittura questionari identici e indifferenziati per tutti i corsi di laurea, di laurea magistrale e di laurea magistrale a ciclo unico a prescindere dalle loro differenze e dal grado di professionalizzazione che si impongono di raggiungere[22]. È facile concordare che una laurea triennale per le professioni sanitarie, una laurea magistrale a ciclo unico in giurisprudenza e una laurea magistrale in fisica delle particelle, accanto ad alcuni elementi in comune, richiedano procedure e attenzioni in termini di AQ differenti. In modo analogo, neodiplomati, studenti lavoratori, studenti adulti, studenti stranieri hanno necessità di attenzioni e supporto diversi. È importante che il sistema di AQ si prenda carico delle differenze esistenti in una logica di pluralismo dell’offerta formativa. Proprio sulla base di un’attenta considerazione delle caratteristiche dei discenti è possibile verificare l’adeguatezza delle iniziative didattiche promosse. Un corso di laurea con un numero considerevole di studenti lavoratori dovrà curare con particolare attenzione la distribuzione delle lezioni nell’arco della settimana, la presenza (anche via web) di materiali e iniziative di supporto specifiche per gli studenti non frequentati, accanto alla valorizzazione delle esperienze professionali pregresse. Viceversa, un corso di laurea con frequenza obbligatoria dovrà avere maggiore cura nell’attivare iniziative di apprendimento interattive, nel curare il layout degli spazi dedicati alla didattica, nel valorizzare le esercitazioni e nel favorire momenti di contatto e scambio con il mondo del lavoro.

Riconoscimento della responsabilità primaria delle istituzioni nella promozione della qualità. In linea con quanto previsto dalle ESG e superando definitivamente l’approccio tradizionale burocratico dell’università italiana che ha il proprio perno sul rapporto tra autorità ministeriali e singoli accademici, occorre riconoscere agli atenei una funzione centrale nei processi di definizione dell’offerta formativa e pertanto di AQ. È a livello di ateneo che deve essere definita, sulla base delle competenze accademiche presenti e delle proposte dei dipartimenti, l’offerta formativa superando l’attuale processo bottom up, che vede le coalizioni accademiche più influenti proporre iniziative didattiche con il solo limite di rispettare i vincoli imposti dalla normativa tecnica nazionale senza alcuna considerazione strategica a livello di ateneo. Il processo di approvazione, monitoraggio e revisione dei corsi di studio deve avere come primario protagonista l’ateneo sulla base di una riflessione strategica approfondita. Attualmente invece l’AQ rischia di essere sbilanciata a livello di corso di studio (con il riesame e la scheda SUA) e a livello governativo (con la verifica esterna di quanto proposto), finendo per rilegare a ruoli notarili gli organi di ateneo. Le indicazioni normative contenute nei decreti ministeriali connessi ad AVA, molto analitiche e minuziose, prescrivendo in dettaglio le procedure da seguire, la documentazione del processo di assicurazione di qualità e i questionari da somministrare in diversi momenti della vita accademica, assecondano la storica ritrosia dei vertici accademici a governare l’offerta formativa depauperando gli spazi di autonomia a livello di ateneo. È in sede di ateneo, nella fisiologica tensione tra accademici, dipartimenti e istituzioni, che occorre sviluppare idee, metodologie e modalità operative per assicurare la qualità dei corsi di studio partendo dal principio che gli atenei hanno la responsabilità primaria per la qualità delle attività didattiche. In questa chiave le procedure di valutazione esterna della qualità acquisiscono un potenziale di analisi nuovo e rilevante, poiché non si limitano a riscontrare l’adeguatezza di procedure fissate a livello ministeriale, ma chiedono alle istituzioni di dimostrare la qualità della didattica erogata.

Alleggerimento dei sistemi di AQ in una logica di risk management. In questa direzione, sulla base delle esperienze internazionali esaminate e della differente esperienza in termini di AQ degli atenei italiani, si suggerisce di impostare adempimenti e obblighi modulari proporzionati alla capacità dell’ateneo di fornire evidenze in merito alla qualità delle proprie attività didattiche. Occorre a questo proposito che le attività di AQ esterna adottino una logica di risk management che concentri le valutazioni in quegli ambiti che presentano maggiore esposizione al rischio di bassa qualità. Ciò senza privarsi di alcune verifiche di ampio spettro, ma prevedendo intensità differenti di verifica per istituzioni, discipline e iniziative didattiche secondo la loro storia, dell’esito di precedenti valutazioni e dell’esposizione al rischio. Questa esigenza è peraltro strettamente connessa alle poche risorse che ANVUR possiede (in termini di personale dipendente) e può attivare (in termini di esperti valutatori). Poiché le verifiche in loco potranno raggiungere solo su un arco temporale pluriennale (a oggi quinquennale) gli atenei e solo una frazione dei corsi di studio sarà oggetto di valutazione in loco appare opportuno concentrare tali valutazioni laddove sono maggiori i rischi. In questo senso appare superabile l’obbligo per tutti i corsi di studio di stendere articolati documenti di AQ annualmente (riesame e scheda SUA) [23]. Laddove non vi siano particolari problematiche appare più utile prevedere scadenze pluriennali che peraltro consentirebbero di avere a disposizioni dati più robusti e significative e limitarsi annualmente ad un monitoraggio di alcuni indicatori.

4.5 Una proposta operativa: autonomia, responsabilità e trasparenza

Le raccomandazioni formulate possono trovare una declinazione operativa in una revisione del sistema AVA che sposti il focus dell’assicurazione esterna di qualità dal corso di studio all’istituzione università e che adotti nelle attività di valutazione una logica di risk-assessment, dove l’intensità della valutazione è parametrata alle caratteristiche dell’oggetto sottoposto a valutazione e alle capacità operative degli organi di valutazione.

Si tratta di una proposta che si inserisce nel solco del preesistente sistema AVA in un’ottica incrementale, compatibile, al meno in parte, con la distinzione tra procedure di accreditamento iniziale e periodico attualmente previste.

Tavola 7 - Raccomandazioni per l’implementazione dell’AQ nelle università italiane

Invece di accreditare migliaia di corsi di studio si propone di concentrare le procedure di accreditamento sugli atenei verificando la loro capacità, in quanto istituzioni autonome, di assicurare la qualità della didattica erogata[24]. Ciò consentirebbe all’ANVUR di avere un numero più contenuto di soggetti valutati (da circa 4300 corsi di laurea a meno di 100 atenei) con cui avviare processi di valutazione ripetuti. La riduzione del numero degli interlocutori renderebbe possibile, ove necessario, programmare visite in loco con una frequenza maggiore di quella quinquennale attualmente prevista. Come disposto dalle ESG, la periodicità e l’estensione delle visite potrebbe essere legata alla robustezza dei sistemi di AQ interna cosi come risultanti dalle visite condotte. Nelle visite in loco, come attualmente già previsto, oltre a verificare il funzionamento del sistema di AQ sarebbero esaminati alcuni corsi di studio adottando, però non una logica campionaria, ma basandosi su analisi preventiva di risk management e concentrando lo sforzo valutativo laddove si ha motivo di credere possano esserci situazioni critiche. Molta rilevanza dovrebbe essere data all’attivazione di processi di follow-up tempificati e documentati tesi ad accertare il superamento delle criticità riscontrate. Inoltre periodicamente si potrebbero lanciare campagne per sensibilizzare gli atenei a specifici aspetti dell’AQ inerenti all’esperienza di apprendimento dello studente. Ad esempio, potrebbero essere lanciate campagne di attenzione a temi quali la qualificazione in termini didattici del personale accademico, le modalità di verifica del profitto degli studenti, la riduzione degli abbandoni. L’operato degli atenei su questi temi sarebbe autonomo salvo essere oggetto di esame durante le visite in loco.

La garanzia della qualità dei corsi di studio sarebbe affidata in modo primario alla responsabilità degli atenei, come previsto dalle norme ESG. Verrebbero limitati gli adempimenti annuali documentali di AQ a livello di corso di studio: il riesame e la scheda SUA dovrebbero essere compilati solo in occasione delle visite in loco e salvo differente disposizione dell’ateneo (ad esempio per i corsi di studio problematici). Questa soluzione eviterebbe lo scivolamento delle procedure di AQ verso adempimenti amministrativi e favorirebbe invece lo sviluppo di competenze professionali interne e di autonome procedure di AQ negli atenei valorizzando esperienze pregresse e specificità locali e favorendo una differenziazione dei corsi di laurea.

Al fine di assicurare, in un’ottica di garanzia e di accountability, il rispetto di alcune condizioni basilari di qualità i corsi di studio sarebbero monitorati centralmente attraverso pochi «indicatori sentinella» centrati sullo studente e capaci di segnalare la presenza di situazioni problematiche (numero di immatricolati, abbandoni, tasso laureati in corso, laureati senza occupazione, coerenza degli sbocchi lavorativi, soddisfazione discenti, …). Il monitoraggio di questo cruscotto di indicatori sentinella avverrebbe annualmente per tutti i corsi di studio e potrebbe nei fatti rappresenterebbe uno zoccolo di AQ su cui poi innestare procedure valutative meno vincolate e standardizzate e proprio per questo più approfondite e efficaci. Gli indicatori sentinella, che peraltro non darebbero seguito ad alcun automatismo in termini di accreditamento, sarebbero uno strumento sia per la valutazione esterna, che sulla base dei loro risultati potrebbe programmare e orientare le visite in loco, sia per la valutazione interna poiché rappresenterebbero un elemento per stimolare a livello di ateneo l’applicazione di procedure di AQ più o meno stringenti.

Un apposito sito web, studiato per essere facilmente comprensibile per studenti e stakeholders, dovrebbe fornire informazioni sintetiche sullo stato dell’AQ negli atenei e riportare il posizionamento del corso di studio (su base nazionale e in riferimento ai corsi della medesima classe di laurea) per quanto attiene gli indicatori sentinella.

Il modello proposto pertanto non indebolisce l’attenzione sul corso di studio ma viceversa, valorizzando lo schema di valutazione su due livelli (nazionale e locale) e adottando una logica di risk management, concentra lo sforzo valutativo laddove sono maggiori i problemi. Chi ha esperienza con i processi di AQ sa che in ogni ateneo i corsi di studio con problematiche consistenti sono una minoranza mentre la grande maggioranza ha bisogno di stimoli al miglioramento. Il sistema ipotizzato stimola l’ateneo valutato mediante gli indicatori sentinella a incoraggiare il miglioramento dei corsi di studio in un orizzonte pluriennale e concentra l’attenzione della valutazione esterna sui corsi di studio che palesano situazioni di bassa qualità. L’attenzione ai corsi di studio e al processo didattico sarebbe garantita:

- anzitutto dalle procedure interne di assicurazione di qualità;

- dalle visite in loco che avrebbero come primo compito la considerazione dell’efficacia dei processi interni di AQ;

- dall’effettuazione di verifiche nei corsi di studio durante le visite in loco programmate sulla base del monitoraggio preventivo da parte di ANVUR degli indicatori sentinella;

- da accurati processi di follow-up che accertino puntualmente l’efficacia degli interventi effettuati dagli atenei a seguito di precedenti segnalazioni;

- dalle campagne periodiche promosse centralmente per stimolare aspetti di AQ connessi all’esperienza di apprendimento dello studente.

Poiché già sperimentato in altri sistemi nazionali, il modello di valutazione basato sull’accreditamento degli atenei è certamente compatibile con le ESG. Inoltre, la sua attivazione potrebbe essere graduale. Il passaggio al nuovo sistema (con accreditamento delle sedi invece dei corsi di laurea) potrebbe essere concesso solo a quegli atenei che dimostrino di essere in grado di assicurare condizioni minime di qualità per i propri corsi di studio.

Tavola 8 – Proposta operativa per il miglioramento di AVA

Torna all'Indice

BIBLIOGRAFIA

AAVV (2003), Manuale Operativo per l’Accreditamento delle Sedi Operative, Regione Piemonte, Delibera n. 74 -10240 dell’1 agosto 2003.

AAVV (2012), The European Higher Education Area in 2012: Bologna Process Implementation Report, disponibile su http://eacea.ec.europa.eu/education/eurydice (ultimo accesso al 14.10.2013).

Adelman C. (1997), “Judging Quality in Higher education: Towards Bureaucratic Conformity”, in Reforms in Higher Education, edited by Keith Watson, Celia Modgil, and Sohan Modgil, London.

AlmaLaurea (2013), Condizione occupazionale dei laureati. XV indagine, disponibile su www.almalaurea.it/universita/occupazione (ultimo accesso al 16.10.2013).

ANVUR (2013), Autovalutazione, valutazione periodica e accreditamento del sistema universitario italiano. Nuova versione documento finale, disponibile su www.anvur.org (ultimo accesso al 16.10.2013).

BIS Department for Business, Innovation and Skills (2011), Higher Education: Students at the Heart of the System, disponibile su www.gov.uk/government/publications/higher-education-students-at-the-heart-of-the-system (ultimo accesso al 16.10.2013).

Boffo S., Moscati R. (1998), “Evaluation in the Italian Higher Educational System: Many Tribes, Many Territories… Many Godfathers”, in European Journal of Education, vol. 33, n. 3.

Boffo S., Dubois P., Moscati R. (2006), Il governo dell’università, Guerini e Associati, Milano.

Brennan J., Bellingham L. (2013), Quality Assurance in UK Higher Education, disponibile su www.fga.it/note-e-contributi/tutte-le-note/dettaglio/article/la-valutazione-delluniversita-il-caso-del-regno-unito-389.html#.Ulw-hVPgzdk (ultimo accesso al 16.10.2013).

Brennan J., Williams R. (2004), “Accreditation and Related Regulatory Matters in the UK”, in Stefanie S., Westerheijden, D. F., Accreditation and Evaluation in The European Higher Education Area, Springer, Dordrecht.

Bressan M. et al. (2008), Caratteristiche e dimensione del VTR, in Reale E. (a cura di), La valutazione della ricerca pubblica. Un’analisi della valutazione triennale della ricerca, Franco Angeli, Milano.

Brown R. (2004), Quality Assurance in Higher Education. The UK Experience since 1992, RoutledgeFalmer, London.

Browne (2010), Browne Report - Securing a Sustainable Future for Higher Education, disponibile su www.delni.gov.uk/index/publications/pubs-higher-education/browne-report-student-fees.htm (ultimo accesso al 16.10.2013).

Capano G. (2008), “Looking for Serendipity: The Problematical Reform of Government within Italy’s Universities”, in Higher Education, vol. 55, issue 4, pp 481-504.

Capano G. (2010), “A Sisyphean Task. Evaluation and Institutional Accountability in Italian Higher Education”, in Higher Education Policy, (2010) 23, pp. 39–62.

Capano G. (2011), “La via finanziaria di riforma dell’istruzione”, in Gualmini E., Pasotti E. (a cura di), Politica in Italia. I fatti dell’anno e le interpretazioni, il Mulino, Bologna.

Chevaillier T. (1998), “Moving Away From Central Planning: Using Contracts to Steer Higher Education in France”, in European Journal of Education, 33(1).

Chevaillier T. (2004), “The Changing Role of the State in French Higher Education: From Curriculum Control to Programme Accreditation”, in Stefanie S., Westerheijden, D. F., Accreditation and Evaluation in The European Higher Education Area, Springer, Dordrecht.

Chevaillier T. (2013), Evaluation in French Higher Education: History, Policy and Debates, disponibile su www.fga.it/note-e-contributi/tutte-le-note/dettaglio/article/la-valutazione-delluniversita-il-caso-della-francia-408.html#.UlxJY1Pgzdk (ultimo accesso al 16.10.2013).

CIVR (2004), “Valutazione triennale della ricerca (VTR). Bando di partecipazione all’esercizio 2001-2003”, disponibile su https://civr.cineca.it (ultimo accesso al 16.10.2013).

Clark B.R. (1977), Academic Power in Italy: Bureaucracy and Oligarchy in a National University System, University of Chicago Press, Chicago.

CNVSU (2002), L’evoluzione del sistema di valutazione. Atenei 5-6, disponibile su
www.cnvsu.it.

de Weert E., Boezerooy P. (2007), Higher Education in the Netherlands. Country Report, CHEPS, disponibile su www.utwente.nl/mb/cheps/publications/Publications%202007/2007countryreportnl.pdf (ultimo accesso al 16.10.2013).

Deem R., Hillyard S., Reed M., (2007), Knowledge, Higher Education and the New Managerialism: The Changing Management of UK Universities, Oxford University Press, Oxford.

Dente B. (2006), I Nuclei di Valutazione dell’Università. Una ricerca promossa dal CNVSU, disponibile su www.vsu.it (ultimo accesso al 16.10.2013).

ENQA (2009), Principi fondamentali ESG, disponibile su http://enqa.eu/ (ultimo accesso al 16.10.2013).

ENQA (2011) External Review Report of the French Evaluation Agency for Research and Higher Education (AERES) disponibile su http://enqa.eu/files/Review Report of AERES.pdf (ultimo accesso al 16.10.2013).

ENQA (2012) Report to Ministers Responsible for Higher Education in the EHEA, disponibile su www.ehea.info/Uploads/%281%29/ENQA_report_EHEA_ministers_FINAL.pdf (ultimo accesso al 16.10.2013).

Espeland W.N., Sauder M. (2007), “Rankings and Reactivity: How Public Measures Recreate Social Worlds”, in American Journal of Sociology, vol. 113, n. 1, pp. 1-40.

Hénard, F. , Roseveare, D. ( 2012) Fostering Quality Teaching in Higher Education: Policies and Practices. An IMHE Guide for Higher Education Institutions. Parigi: OECD

Hopbach, A. (2013) Revision of the ESG: The Draft Initial Proposal ENQA General Assembly, Vilnius, October 29-30, 2013. Disponibile su http://enqa.eu (ultimo accesso al 23.12.2013).

Hood C. (2007), “Public Service Management by Numbers: Why Does It Vary? Where Has It Come From? What Are the Gaps and the Puzzles?”, in Public Money and Management, vol. 27, issue 2, pp. 95-102

Kogan M., Hanney S. (2000), Reforming Higher Education, Higher Education Policy Series 50, Jessica Kingsley Publishers, London & Philadelphia.

Lechleiter H. (2012), “Discussing ‘Quality’ and ‘Trust’: An Analysis of the EQAF 2011 Contributions”, in Bollaert L. et al. (a cura di), Quality and Trust: at the Heart of What We Do. A Selection of Papers From the 6th European Quality Assurance Forum, European University Association, Brussels.

Maassen P., van Vught F. (1994), “Alternative Models of Governmental Steering in Higher Education. An Analysis of Steering Models and Policy-instruments in Five Countries”, in Goedegebuure L., van Vught F., Comparative Policy Studies in Higher Education, LEMMA, Utrecht.

Minelli E., Rebora G., Turri M., Huisman J. (2006) “The Impact of Research and Teaching Evaluation in Universities: Comparing an Italian and a Dutch Case”, in Quality in Higher Education, vol. 12, n. 2.

Molas-Gallart J. (2012), “Research Governance and the Role of Evaluation: A Comparative Study”, in American Journal of Evaluation, vol. 33, issue 4, December 2012

Moscati R. (2001). “Italian University Professors in Transition”, in Higher Education, vol. 41, n. 1-2, March 2001, pp. 103-129.

Musselin C., Paradeise C. (2009), “France: From Incremental Transitions to Institutional Change”, in Paradise C, Reale E, Bleiklie I., Ferlie E., University Governance: Western European Comparative Perspectives, Springer, Dordrecht.

Newton J. (2012), Is Quality Assurance Leading to Enhancement? Keynote speech, EQAF, Tallinn.

OVSU (1998), “University Funding Mechanisms and Related Issues”, Doc. 3, disponibile su www.vsu.it (ultimo accesso al 16.10.2013).

Parry G. (2001), “Reform of Higher Education in the United Kingdom”, in Nolan B. C., Public Sector Reform: International Perspectives, Palgrave, London.

Patton M. (1997), Utilization-Focused Evaluation, Sage, Thousand Oaks.

Poti B.M. (2011), “La Politique universitaire en France à travers les changement dans les composantes du financement public: relations et effets”, in 11ème Congrès de l’AFSP (Association Française de Science Politique) 2011 – Section Thématique 24- Universités et recherche face à la réforme- August 31st- Sept 2nd 2011 – Strasbourg (France).

QAA (2013), Higher Education Review: A Handbook for Providers, disponibile su www.qaa.ac.uk/ (ultimo accesso al 16.10.2013).

Rauhvargers A. (2009), “Recognition and Qualifications Frameworks”, in Assessment in Education: Principles, Policy & Practice, 16(1).

Rebora G. (1999), La valutazione dei risultati nelle amministrazioni pubbliche, Guerini e Associati, Milano.

Rebora G. (2013), Nessuno mi può giudicare? L’Università italiana davanti alla valutazione, Guerini e Associati, Milano.

Rebora G., Turri M. (2009), “Governance in Higher Education: An Analysis of the Italian Experience”, in Huisman J. (ed.), International Perspectives on the Governance of Higher Education. Alternative Frameworks for Coordination, Routledge, New York.

Rebora G., Turri M. (2013), The UK and Italian Research Assessment Exercises Face to Face. Research Policy, disponibile su http://dx.doi.org/10.1016/j.respol.2013.06.009 (ultimo accesso al 16.10.2013).

Squarzoni A. (2013), AVA, SUA-CdS e Riesame: criticità e raccomandazioni. CONVUI, Coordinamento Nuclei di Valutazione delle Università Italiane, Documento interno.

Stame N. (1998), L’esperienza della valutazione, SEAM, Roma.

Stefani E. (2006), Qualità nell’università, Franco Angeli, Milano.

Turri M. (2002), “Le esperienze di valutazione nelle università italiane: un’analisi critica”, in Minelli E., Rebora G., Turri M., Il valore dell’università. La valutazione della didattica, della ricerca, dei servizi negli atenei. Proposte operative e di metodo, Guerini e Associati, Milano.

Turri M. (2003), “Lo stato dell’arte, limiti ed evoluzione nella valutazione a livello di sistema e di singolo ateneo”, in Azienda Pubblica, n. 5-6.

Turri M. (2005), La valutazione dell’Università. Un’analisi dell’impatto istituzionale e organizzativo, Guerini e Associati, Milano.

Turri M. (2007), “I fattori di crisi dei controlli nel caso delle Università”, in G. Rebora (a cura di), La crisi dei controlli: imprese e istituzioni a confronto, Pearson Education Italia, Milano.

Vedung E. (1997), Public Policy and Program Evaluation, Transaction Publishers, New Brunswick, New Jersey.

Torna all'Indice

NOTE

[1] Il presente capitolo propone, con revisioni e con ampi aggiornamenti, i contenuti di altri scritti dell’autore, citati in bibliografia.

[2] EUA, ESIB, EURASHE.

[3] Per approfondimenti si veda il materiale disponibile presso il sito web Fondazione CRUI http://www.fondazionecrui.it/pubblicazioni/Pagine/CampusOne/default.aspx

[4] Il presupposto è il Decreto della regione Piemonte n. 166 del 25/5/2001 in materia di accreditamento delle sedi formative, scaturito in seguito all’Accordo Stato Regioni 18/2/2000. Per maggiori informazioni si veda AAVV (2003).

[5] Maggiori informazioni possono essere reperite presso il sito web di AlmaLaurea http://www.almalaurea.it/universita/pubblicazioni

[6] Dove non diversamente specificato i contenuti del presente paragrafo sono una rielaborazione di quanto reperito sui siti web istituzionali di QAA, National Student Survey, HEFCE e ENQA.

[7] Nel novembre del 2012 HEFCE ha inviato una lettera di indirizzo alla QAA dove invita l’agenzia a utilizzare “a more risk-based approach to quality assurance” (http://www.hefce.ac.uk/whatwedo/lt/qa/qadevelopments/ ). Tra le raccomandazioni del HEFCE: (a) ridurre il carico amministrativo e concentrare gli sforzi valutativi dove più necessari; (b) adattare le procedure di verifica alle caratteristiche degli atenei evitando soluzioni standardizzate (one size fits all approach); (c) coinvolgere gli studenti nel processo di AQ; (d) assicurare che il miglioramento continui ad essere il cuore del processo di AQ; (e) assicurare la trasparenza delle attività di AQ.

[8] Dove non diversamente specificato i contenuti del presente paragrafo sono una rielaborazione di quanto reperito sui siti web istituzionali di NVAO, QANU, ENQA e EQAR. Molte informazioni sono state reperite nei documenti di valutazione condotti dall’EQAR su NVAO (anno 2007 e anno 2012) e QANU (anno 2010).

[9]Per approfondimenti si veda NVAO Strategy 2013 – 2016 disponibile al sito web nvao.com

[10] Dove non diversamente specificato i contenuti del presente paragrafo sono una rielaborazione di quanto reperito sui siti web istituzionali di AERES, ENQA e EQAR. Molte informazioni sono state reperite nei documenti di valutazione condotti dall’EQAR su AERES (2010). Il paragrafo si giova inoltre di un’intervista condotta dall’autore con il presidente dell’AERES nel luglio del 2013.

[11] Decreto Legislativo 27 gennaio 2012 n. 19 prevede che il Ministro, con proprio decreto, su conforme parere dell’ANVUR, conceda o neghi l’accreditamento. Il Ministero, qualora ravvisi elementi che possano indurre a una valutazione diversa da quella dell’ANVUR, può chiedere, il riesame della valutazione. L’ANVUR si deve esprimere entro 30 giorni.

[12] L’accreditamento per i corsi di studio ha durata di tre anni. La disposizione risulta, tuttavia, poco coerente con la disposizione inerente l’accreditamento di sede (quinquennale) e di difficile attuazione visto che i corsi di studio saranno principalmente oggetto di valutazione durante la visita di accreditamento di sede. In merito alla suddivisione di competenze tra MIUR e ANVUR nel rilascio dell’accreditamento si veda la nota 11.

[13] Per l’ a.a. 2013-14 è stato spostato al gennaio 2014.

[14] Altri organi hanno funzioni nel processo di definizione dell’offerta formativa. Tra questi il CUN (consiglio universitario nazionale). L’illustrazione si riferisce ai soli organi connessi al sistema di AQ.

[15] È prevista una relazione triennale anche per i corsi di studio. Non è ancora chiara la differenza tra queste relazioni del Nucleo di valutazione e la relazione annuale sullo stato dell’AQ che il Nucleo di Valutazione predispone entro il 30 aprile.

[16] La situazione è in parte attenuata a seguito del Decreto Ministeriale n. 1059 del 23 dicembre 2013 che ha alleggerito i requisiti di accreditamento (in termini di numero minimo di docenti) rivedendo i contenuti del Decreto Ministeriale n. 47 del 2013.

[17] Si ritiene che la prima soluzione (meccanismo di coordinamento organizzativo) sia l’unica percorribile. Peraltro, in questa accezione la presenza di differenze nella composizione e negli assetti del presidio della qualità è un elemento fisiologico in considerazione delle differenze dimensionali e organizzative degli atenei.

[18] Un esempio è la facoltà di concedere o negare l’accreditamento dei corsi di laurea che risulta nei fatti contesa tra Ministero e ANVUR.

[19] La conferenza di Bucarest dei ministri dell’Università del EHEA del 2012 ha avviato un processo di revisione delle ESG che si concluderà con l’adozione della versione aggiornata della ESG durante la conferenza di Yerevan nel 2015. Le nuove linee guida riprendono le precedenti e continuano ad avere come fulcro la responsabilità primaria delle istituzioni nel processo di AQ. Molta enfasi è riservata alla centralità degli studenti e del processo di apprendimento e all’indipendenza delle agenzie di valutazione (Hopbach, 2013).

[20] Come ribadito al convegno “What works” Conference on Fostering quality teaching in H.E. (Higher Education): How to maximise the added value of the student experience? tenutosi a Parigi nei primi mesi del 2014 la qualità dell’insegnamento è funzione dalla capacità dei docenti di essere non solo esperti disciplinari, ma anche esperti nelle metodologie didattiche e di impegnarsi fortemente affinché l’attività didattica non scada in una routine ripetitiva (si ringrazia Giunio Luzzatto per la segnalazione).
In alcuni settori disciplinari è consolidata l’abitudine da parte di coloro che si trovano all’inizio della carriera universitaria di seguire corsi di formazione sulle tecniche e modalità di insegnamento. Alcuni atenei hanno vere e proprie unità per la promozione delle competenze didattiche tra il personale docente (ad esempio il centro BETA Education & Teaching Alliance dell’università Bocconi www.unibocconi.it/wps/wcm/connect/Bocconi/SitoPubblico_IT/Albero+di+navigazione/Home/Docenti/BETA+-+Bocconi+Education+and+Teaching+Alliance/). Oltre a quelle volontarie potrebbero essere previste delle iniziative obbligatorie per quei docenti con rendimenti didattici non soddisfacenti sulla base della valutazione degli studenti frequentati e della distribuzione dei voti assegnati agli studenti.

[21] In nessun modo una considerazione maggiore dello studente e delle sue caratteristiche è in contrasto con la presenza di livelli di conoscenza minima per accedere e terminare con successo il percorso di studi. È anzi vero il contrario, solo una conoscenza approfondita dei discenti consente di assicurare a essi un percorso di apprendimento rigoroso in quanto adeguato alle loro condizioni. In questa ottica andrebbe potenziato l’orientamento in ingresso e l’accertamento preliminare delle conoscenze.

[22] Le riflessioni più recenti sulla didattica universitaria mettono in evidenza che è essenziale garantire l’allineamento e la coerenza tra soluzioni didattiche e esigenze di apprendimento: soluzioni che in un contesto sono appropriate risultano irrilevanti se applicate a un’altra istituzione o a un altro dipartimento della stessa istituzione (Hénard e Roseveare, 2012).

[23] Attualmente la scheda SUA ha assorbito alcuni adempimenti amministrativi necessari per l’istituzione e l’attivazione dei corsi di studio. Vi sono tuttavia modalità più efficienti per gestire a livello di ateneo eventuali processi amministrativi annuali.

[24] Questa soluzione, come illustrato nel capitolo 2, è prevista, pur con modalità operative differenti, in Inghilterra e in Olanda. Anche in Germania dal 2007 è prevista la possibilità per gli atenei di scegliere se chiedere l’accreditamento dei singoli corso di studio oppure se sottoporre a valutazione il proprio sistema di assicurazione interna di qualità, ottenendo così l’accreditamento di tutti i corsi di studio in esso operanti. L’accreditamento di ateneo (system accreditation) è stato attivato per alleggerire le procedure valutative e il carico amministrativo connesso e per consentire maggiore autonomia nelle procedure di AQ per le istituzioni in linea con le raccomandazioni europee. Per maggiori informazioni si veda
http://www.akkreditierungsrat.de

Torna all'Indice