laletteraturaenoi.it

 Cari lettori e lettrici, la redazione di LN si prende una pausa estiva per tutto il mese di agosto. Durante questo mese, ripubblicheremo alcuni articoli già usciti nel corso dell’anno. Ci rivediamo a settembre.

Traduzione di Daniele Lo Vetere

Questo articolo è uscito su Europhysicsnews. The magazine of the European Physical Society, n. 48, 4 2017. L’autore è un accademico norvegese con grande esperienza nel settore dell’educazione scientifica e con incarichi presso enti internazionali che si occupano di educazione. L’abbiamo tradotto per il nostro blog perché il suo interesse esula da quello specifico dell’insegnamento della scienza. È un prezioso contributo alla critica alle politiche internazionali dell’educazione basate su rilevazioni degli apprendimenti, classifiche, pressioni esplicite ed implicite alla riforma dei sistemi scolastici nazionali. Ringraziamo l’autore per averci concesso la pubblicazione.

Il programma PISA (Programme for International Student Assessment, Programma per la valutazione internazionale degli studenti) è stato introdotto dall’OCSE (Organizzazione per la cooperazione e lo sviluppo economico) nel 2000 e da allora ha cambiato drasticamente in tutto il mondo sia i dibattiti sull’educazione che le politiche in quest’ambito. Benché scienziati ed educatori possano apprezzare la logica che sta dietro il quadro concettuale della valutazione PISA, dovrebbero anche comprendere il più ampio contesto sociale e ideologico di questo programma.

Il programma PISA deve essere inteso come fenomeno sociale e progetto politico, sostanzialmente uno strumento di potere profumatamente finanziato che ha costantemente accresciuto la propria influenza sul discorso e sulle politiche educative nelle 70 nazioni che attualmente vi partecipano. Il dibattito sull’educazione è diventato globale e la corsa a migliorare il piazzamento nelle classifiche PISA è diventato un’assoluta priorità in molti paesi.

 Mentre non si fornisce alcun feedback agli studenti, agli insegnanti, alle scuole, per i governi il test PISA rappresenta un’alta posta in gioco. Essi vengono messi sotto accusa per un punteggio basso e sono veloci nell’approfittare degli onori quando i risultati migliorano. Posizionamenti percepiti come cattivi spesso producono crisi o panico e i governi sono sollecitati a fare “qualcosa” per migliorare il loro punteggio. Ma il programma PISA, per come è concepito, non è in grado di dirci nulla sulle cause e gli effetti. Per migliorare i risultati nel test PISA vengono spesso attuate riforme scolastiche approssimative. I curricoli nazionali, i valori e le priorità culturali vengono messi da parte.

Molte delle riforme che vengono legittimate dal test PISA possono essere descritte come New Public management e politiche neoliberali. Le parole chiave in queste riforme sono la standardizzazione dei curricoli, più test, fiducia nella competizione, privatizzazione e libera scelta della scuola.

Uno standard globale per tutte le scuole?

Gli studi internazionali sono importanti e possono aiutarci a vedere l’educazione del nostro paese in prospettiva. Studi del genere, anche sui risultati degli studenti in scienze e matematica, ci sono familiari da più di 60 anni. L’acronimo TIMSS (Trends in Mathematics and Science Studies) è noto e ha fornito dati interessanti per diversi decenni. Questo studio è descrittivo ed analitico e valuta conoscenze e abilità tradizionali il più possibile vicine ai curricoli scolastici. Il TIMSS è stato gestito principalmente da istituzioni accademiche e non ha agende politiche o educative. I ricercatori del TIMSS hanno in generale cercato di trarre conclusioni causalmente fondate e di fornire raccomandazioni, ma questo programma ha influenzato tanto lo sviluppo di politiche quanto i dibatti pubblici in molti paesi.

La scena è drasticamente cambiata nel 2000, quando è entrata in scena l’OCSE con il suo programma PISA. Fin dalla prima pubblicazione nel 2001, i risultati del PISA sono diventati una sorta di “standard d’eccellenza” della qualità dell’educazione: una singola misurazione per la qualità dell’intero sistema scolastico. Un rapporto dell’OCSE sull’impatto del PISA sulle decisioni politiche afferma orgogliosamente «il programma PISA è ormai considerato in tutto il mondo uno strumento affidabile per valutare in modo standardizzato le performance degli studenti e i risultati del PISA hanno avuto un’influenza sulle politiche di riforma nella maggior parte dei paesi/economie che vi partecipano».[i]

Allo stesso modo, Andreas Schleicher, direttore del PISA e di recente anche del Consiglio direttivo per l’Educazione e le Competenze dell’OCSE, in una conferenza TED inizia la sua presentazione affermando che il programma PISA è «davvero la storia di come le comparazioni internazionali hanno globalizzato il campo dell’educazione che di solito consideriamo un tema riservato alle politiche nazionali».[ii]

Che cosa sostengono di misurare i test PISA?

Come viene presentato il programma PISA e cosa sostiene di misurare? L’affermazione che segue è già del 1999, prima che avesse luogo la prima rilevazione PISA (2000):

quanto i giovani adulti sono pronti ad affrontare le sfide del futuro? Sono in grado di analizzare, argomentare e comunicare le proprie idee in modo efficace? Sono in grado di continuare ad apprendere per tutta la vita?[iii]

Se questi obiettivi fossero stati formulati come ipotesi di un progetto di ricerca basato su un test di due ore con studenti di 15 anni, il progetto sarebbe stato certamente respinto come troppo ambizioso e irrealistico. Eppure, queste parole sono state ripetute esattamente in tutti i successivi rapporti PISA.

Sostanzialmente i creatori del programma PISA sostengono di aver identificato le abilità e competenze essenziali necessarie per la vita futura, per tutti i giovani in apprendimento, indipendentemente dalla nazione, dalla cultura, dalla storia, dalla natura.

Così, sebbene il programma PISA affermi esplicitamente di non valutare le conoscenze scolastiche e che il proprio test è indipendente dai curricoli nazionali, i suoi risultati sono interpretati dai funzionari dell’OCSE e da quanti prendono decisioni politiche in tutto il mondo come valide misurazioni della qualità e dell’efficienza dei sistemi scolastici nazionali.

Il test PISA è anonimo e i risultati non sono restituiti agli studenti, ai loro insegnanti, né tanto meno alle scuole. I risultati sono riferiti solo al “livello di sistema”, di norma il livello nazionale. Quando i risultati sono pubblicati all’inizio di dicembre, ogni tre anni, la maggiore attenzione va al posizionamento dei paesi rispetto alla media. Il modo in cui i media riportano i risultati ricorda quello degli eventi sportivi. Se si cerca su Google il termine “PISA” e “shock, scandalo, crisi”, si ottengono risultati da tutto il mondo.

Il contesto della scienza a scuola

In molte nazioni, la scienza è parte del curricolo scolastico durante tutti gli anni della scuola dell’obbligo. Gli scienziati dovrebbero sempre ricordare che il principale obiettivo dell’insegnamento della scienza a scuola in questi anni non è il reclutamento dei futuri scienziati. A questo livello la scienza dovrebbe contribuire a più ampi obiettivi, ideali e valori che il paese ha per il proprio sistema scolastico pubblico, dando basi per la vita futura e per lo sviluppo di ciascun individuo. A scuola questa materia dovrebbe aprire gli occhi ai giovani nell’apprezzare la scienza e nel capire quanto essa sia importante per la cultura, per la nostra visione del mondo e per affrontare le sfide del futuro. Mentre la scienza come disciplina accademica deve essere universale e indipendente dalla cultura, la scienza come materia scolastica deve essere parte della cultura e deve essere fondata sugli interessi dello studente.

Per gli studenti più giovani, l’interesse, il piacere e l’impegno in attività connesse alla scienza dovrebbero essere più importanti del raggiungimento di alti punteggi nei test. È probabile che un atteggiamento positivo duri più a lungo del contenuto effettivo della conoscenza che viene insegnata. Esperienze positive nella materia scolastica per alcuni studenti possono significare l’inizio di una carriera in ambito scientifico, per altri un duraturo atteggiamento positivo nei confronti della scienza. Un insegnamento orientato ai test e alle classifiche potrebbe essere controproducente, sia per il potenziale futuro scienziato che per tutti gli altri.

I test internazionali devono essere neutrali nei confronti dei diversi contesti culturali, se vogliono misurare un costrutto valido per tutto il mondo. Il processo di selezione delle domande del test PISA assicura effettivamente che nessuna cultura o paese sia favorito. Le domande che nella sperimentazione non “funzionano” vengono eliminate. Così, mentre gli insegnanti di scienze e di altre materie discutono di un insegnamento “basato sul contesto”, i test come il PISA devono evitare proprio quelle domande che non sono legate al contesto, al fine di garantire una “rilevazione corretta”. Ecco perché, se gli alti piazzamenti nei test internazionali standardizzati diventano una priorità per le autorità nazionali, si rischia di mancare un obiettivo chiave: mostrare l’importanza della scienza e stimolare l’interesse e la curiosità verso di essa.

Il potere del test PISA

Il test PISA è gestito dall’OCSE, un’organizzazione che è “di proprietà” dei suoi stati membri, le nazioni più industrializzate del mondo, che la governano e la finanziano. Il primo compito dell’OCSE è promuovere la crescita economica e lo sviluppo in un’economia mondiale basata sul libero mercato. Negli ultimi decenni, l’importanza delle risorse umane e dell’educazione è diventata un tema rilevante per l’attività dell’OCSE, e il PISA è diventato il progetto-chiave in questo contesto. Mentre l’OCSE ha solo 34 membri, il numero totale delle nazioni e delle economie che prendono parte al programma PISA ha quasi raggiunto le 70.

Dalla prima rilevazione, il programma PISA ha esteso le proprie ambizioni, il proprio raggio d’azione e i propri obiettivi. Mentre il programma PISA è per quindicenni, sono stato lanciati anche un “PISA per adulti” (PIAAC) e un “PISA per lo sviluppo”, diretto a stabilire quali siano le competenze necessarie ai giovani dei paesi in via di sviluppo. Vien sviluppato anche un “test PISA per le scuole” nella forma di prodotto commerciale. Questo test consente alle scuole e ai distretti scolastici di confrontarsi fra loro e con i paesi che sono risultati “vincitori”, ricorrendo a una misurazione “sul modello PISA”. Sono allo studio anche piani per misurare aspetti della fase prescolare e dell’infanzia.

In breve: l’OCSE ora fornisce indicatori, numeri e classificazioni dai primi anni dell’infanzia fino all’età della pensione che i paesi possono (e lo fanno!) usare per modellare le loro politiche sul contesto globale.

Questo lavoro è certamente di grande valore. Ma le statistiche non si limitano a  descrivere la realtà, ma la definiscono e le danno forma.

La media del punteggio di un paese nel test PISA è usato per stabilire la qualità dell’intero sistema scolastico e il punteggio per dollaro è usato come indicatore dell’efficienza del sistema scolastico.

Mentre l’OCSE non ha un formale potere politico, esercita la propria influenza con rapporti, documenti di policies, e consigli di esperti. Quest’influenza è chiamata “soft power”, “governance fondata sui numeri e sulle comparazioni”, e c’è un’abbondante e dettagliata letteratura su come l’OCSE eserciti il proprio potere per definire la realtà globale[iv].   

In molti paesi sono stati introdotti nuovi curricoli a causa di uno “shock da PISA” (ad es. Norvegia, Danimarca, Svezia, Germania e Giappone). In molti paesi sono stati introdotti nuovi standard nazionali e nuovi test obbligatori. Alcuni di questi sono direttamente influenzati dai documenti PISA, come si dice con orgoglio in un esauriente rapporto della stessa OCSE.[v] 

L’alleanza tra programma PISA e interessi commerciali

La lotta per migliori risultati nei test è anche al servizio di interessi commerciali. Ci sono aziende che producono test e materiali di insegnamento che si pensa possano migliorare i risultati e scuole che fanno notevoli profitti preparando gli studenti per ottenere punteggi più alti nei test. Il maggior appaltatore del programma PISA è ETS, un istituto di valutazione e misurazione no-profit con sede negli USA. Ma è una cosa forse più importante il fatto che che l’azienda di prodotti educativi più ampia al mondo, la Pearson, sia stata coinvolta nel test PISA del 2015 e abbia vinto la gara d’appalto per preparare i quadri di riferimento di quello del 2018. Il comunicato stampa congiunto di PISA e Pearson spiega:

Pearson, azienda leader nel settore dell’apprendimento, oggi annuncia di aver vinto l’appalto dell’Organizzazione per la Cooperazione e lo Sviluppo economico (OCSE) per sviluppare i quadri di riferimento del test PISA 2018. […] I quadri di riferimento definiscono che cosa sarà misurato nel test PISA del 2018, come verranno comunicati i risultati e quale approccio sarà scelto per lo sviluppo dei test e dei questionari.[vi]

Il partenariato con l’OCSE-PISA è anche uno strategico cavallo di Troia nel mercato globale dell’educazione per Pearson, che ha «40.000 dipendenti in più di 70 paesi». Insieme all’OCSE, Pearson produce anche il «Learning Curve» (La curva dell’apprendimento), una classifica di paesi elaborata su un insieme di indicatori basati su test. Il capo del programma PISA, Andreas Schleicher, siede nel comitato consultivo del «Learning Curve». Queste classifiche ottengono copertura mediatica e producono ulteriore ansia tra i politici. Il risultato è altra pressione a fare “qualcosa” per scalare le classifiche.

I punteggi PISA: aspetti problematici ed errori

Se si guarda ai punteggi medi effettivi nel test PISA, si nota che la maggior parte dei paesi OCSE si colloca nel gruppo mediano, con differenze poco significative nel punteggio. Se fosse una gara di ciclismo, si direbbe che la maggior parte dei paesi si è ritrovata nel “plotone”, il gruppo più numeroso a metà tra la testa e la coda, ottenendo lo stesso tempo. In effetti, cambiamenti anche minimi nel punteggio totale possono far scivolare un paese di 10 o 20 posizioni. Inoltre gli errori nei risultati del test PISA pubblicati sono significativi. Alcuni di questi sono errori di campionatura. A questi si aggiungono errori di valutazione dei punteggi pubblicati basati sui risultati nei test. Il punteggio nazionale nel test PISA e altri parametri della popolazione sono calcolati usando una tecnica piuttosto elaborata, l’analisi di Rasch e la IRT (Item response theory). Le presupposizioni intorno alle proprietà dei dati che sono alla base dell’uso di queste tecniche sono contestate da diversi esperti di psicometria. In effetti il metodo è stato profondamente modificato nell’ultima rilevazione PISA, provocando sensibili cambiamenti nei punteggi di alcuni paesi. Questi aspetti problematici e fonti di possibili errori non sono adeguatamente comunicati dai rapporti PISA.

Alcuni esperti in psicometria hanno criticato il test PISA per aver minimizzato la natura problematica dei calcoli e la mancanza di trasparenza sulle fonti di errore e sugli aspetti problematici della metodologia. Altri hanno criticato i rapporti PISA per aver tratto conclusioni infondate e hanno spinto l’OCSE ad «avere un approccio più misurato nel diffondere e interpretare i risultati PISA»[vii]. Alcuni studiosi usano parole ancora più dure, sostenendo che il programma PISA è «una storia di errori e arroganza».[viii]

PISA: interessanti conclusioni

Mentre i punteggi nel test PISA e il posizionamento dei paesi ricevono grandi attenzioni, altri risultati passano più o meno inosservati. Ecco alcuni risultati problematici ma interessanti:

• denaro e risorse spesi per l’educazione non sembrano essere chiaramente correlati ai punteggi nel test PISA
• La dimensione delle classi non è correlata al punteggio nel test PISA
• I punteggi PISA hanno una correlazione negativa con investimenti nell’insegnamento e uso di TIC (tecnologie dell’informazione e della comunicazione)
• I punteggi PISA nelle scienze non sembrano essere correlati al tempo dedicato a questa materia a scuola
• C’è un’evidente correlazione negativa tra il punteggio nel test PISA di un paese e il costrutto “interesse verso la scienza”. Per esempio la Finlandia ha ottenuto il miglior risultato in scienze nel test PISA 2006 ed è al fondo dell’indice di interesse verso la scienza (cfr. fig. 1 e 2).
• I “vincitori” nel test PISA (Giappone, Corea, Taiwan, Shangai, Finlandia) fanno un uso molto scarso di metodologie di insegnamento “inquiry-based”, che sono consigliate sia dall’Unione europea (2007)[ix] che dall’ICSU (International Council for Science).[x] L’IBSE (Inquiry-based Science Education) è anche il concetto chiave di Horizon 2020 per ottenere finanziamenti per la ricerca e lo sviluppo nell’educazione scientifica.
• Anche per le variazioni all’interno di uno stesso paese, la conclusione di PISA è che «in nessun sistema educativo gli studenti che hanno familiarità con un insegnamento inquiry-based ottengono punteggi più alti nelle scienze».[xi]
• Gli esperimenti giocano un ruolo cruciale nella scienza e l’hanno sempre giocato nel suo insegnamento ad ogni livello. Ma per quanto riguarda il programma PISA l’ultimo rapporto afferma che «le attività collegate con gli esperimenti e il lavoro in laboratorio hanno la più forte correlazione negativa con le performance nelle scienze».[xii]

Che “si creda” o no nel programma PISA, questi risultati così interessanti devono essere presi sul serio e discussi.

[i]                 S. BREAKSPEAR, The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance, OECD Education Working Papers, n. 71, a. 2012, OECD Publishing. http://dx.doi.org/10.1787/5k9fdfqffr28-en.

[ii]                A. SCLEICHER, Use data to build better schools. TEDGlobal, 2013; http://www.ted.com/talks/andreas_schleicher_use_data_to_build_better_schools?language=en.

[iii]               OCSE, 1999, p. 7.

[iv]               Si può vedere, ad esempio, H. D. MEYER – A. BENAVOT (a cura di), PISA, Power and Policy: the emergence of global educational governance, Oxford: Symposium Books, 2013.

[v]                S. BREAKSPEAR, cit.

[vi]               OCSE e PEARSON, 2014

[vii]              L. RUTKOWSKI – D. RUTKOWSKI, A Call for a More Measured Approach to Reporting and Interpreting PISA Results. Educational Researcher, Vol. 45 No. 4, pp. 252–257, 2016.

[viii]             H.D. MEYER, OECD’s PISA: a Tale of Flaws and Hubris. TeachersCollege Record (online (www.tcrecord.org/content.asp?contentid=17371), 2013.

[ix]               EU (2007), Science Education Now: A renewed pedagogy for the future of Europe, (The Rocard report), European Commission, Brussels: EC.

[x]                ICSU (2011). Report of the ICSU Ad-hoc Review Panel on Science Education. Paris: International Council for Science

[xi]               OECD (2016). PISA 2015 Results (Volume II): Policies and Practices for Successful Schools. Paris: OECD Publishing, p. 36.

[xii]              Ivi, p. 71.

{module Articoli correlati}