Misiune

BRIO Adviser s-a născut din nevoia de a informa stakeholderii din România despre dovezile științifice care fundamentează diferite intervenții în educație. Suntem ferm convinși că toți aceștia – părinți, profesori, elevi, consultanți, dezvoltatori de politici educaționale, politicieni – vor beneficia de pe urma informării corecte cu privire la valoarea diverselor intervenții educaționale.

Educația este intervenție

În mod cert, educația este prin definiție o intervenție: obiectivul său este acela de a produce creștere într-unul sau mai multe din aspectele considerate importante ca rezultat al educației, de exemplu în cunoașterea unui domeniu, în competența operării într-un registru, în notele școlare, în realizarea academică, în starea de bine etc. Pentru a atinge acest deziderat, educatorii au la dispoziție intervenții punctuale. Există un număr mare de astfel de „intervenții educaționale” – metode, tehnici care ar putea avea impact asupra rezultatelor învățării. De exemplu, atunci când un profesor dă elevilor teme pentru acasă, presupunerea pe baza căreia operează este aceea că temele duc la o dezvoltare a competenței; cu alte cuvinte, acei copii care vor rezolva temele primite vor fi mai buni decât acei copii care nu au primit teme, sau care nu le-au rezolvat. Sau, la nivelul școlii, atunci când un director reduce numărul de elevi dintr-o clasă, operează pe baza presupunerii că în clasele cu un număr de elevi mai redus, procesul de învățare va fi mai eficient decât în clasele cu un număr mai mare de elevi.

Intervenții bazate pe dovezi științifice

O întrebare justificată este însă aceea privind eficiența acestor intervenții. Nu toate intervențiile sunt eficiente în aceeași măsură. Aceste aspecte au fost studiate în mod extensiv, astfel că azi avem o înțelegere destul de clară despre cât de eficientă este o anumită intervenție – cât de mare este probabilitatea de a produce schimbarea dorită. Intervențiile pentru care există dovezi științifice robuste ale eficienței sunt numite „intervenții bazate pe dovezi” (”evidence-based interventions”). În educație, ca și în alte domenii, există opinii fără fundament științific. Un număr mare de ”consultanți” și de ”specialiști” promovează intervenții care sunt bazate mai degrabă pe argumente ideologice decât pe dovezi robuste, derivate din studii de specialitate. Sunt promovate uneori ca standarde de bună practică intervenții care sunt de fapt demonstrate ca ineficiente, sau sunt preferate intervenții cu impact mic în locul intervențiilor cu impact masiv. Simpla cunoaștere a dovezilor științifice asociate cu o intervenție de către un părinte sau alt stakeholder așază discuția pe baze lucide.

Intervențiile educaționale analizate în BRIO Adviser

BRIO Adviser analizează literatura de specialitate internațională și națională, pentru a ajunge la concluzii robuste cu privire la valoarea intervențiilor educaționale. Pentru moment au fost identificate aproximativ 100 de astfel de tehnici și metode – toate sunt în analiză și vor fi adăugate treptat în această secțiune.

Cum și ce analizează BRIO Adviser

Pentru fiecare intervenție, analiza este realizată de o echipă formată din cel puțin 3 specialiști în aceste domenii. Baza de analiză este exclusiv literatura științifică reputată, reprezentată de meta-analize și articole de review publicate în fluxul științific internațional de mare impact (Web of Science); acolo unde nu există încă meta-analize sau articole de review influente, sunt căutate studii empirice punctuale, de preferat studii experimentale (controlate) centrate pe eficiența sau eficacitatea respectivei intervenții.

Dimensiunile de analiză

Fiecare intervenție este analizată luând în calcul 5 dimensiuni:

• Impact. Impactul intervenției este o estimare a gradului de eficiență, i.e., generează schimbare. Impactul este tratat din punct de vedere statistic sub forma unui indice de putere a efectului (effect size) numit coeficientul d (Cohen’s d) dar poate fi de asemenea înțeles sub forma numărului de luni de avans pe care le are un elev care a trecut prin intervenție față de un copil care nu a trecut prin respectiva intervenție.
• Cost. Costul se referă la nivelul resursei financiare necesar pentru a obține schimbarea scontată pentru un copil.
• Dovezi științifice. Dovezile științifice se referă la cantitatea și calitatea studiilor științifice care sprijină scorul oferit la dimensiunea ”Impact”.
• Scalabilitate. Scalabilitatea se referă la ușurința cu care intervenția poate fi generalizată la un număr mare de elevi, clase sau școli, fără resurse suplimentare. Dacă o intervenție are același cost pe participant atât când este aplicată unui singur elev cât și pentru 10.000 de elevi, intervenția este nescalabilă.
• Ușurința implementării. Unele intervenții sunt de principiu ușor de implementat – nu necesită efort deosebit și pot fi incluse în actul educațional „din mers”. Altele, în schimb, trebuie tratate ca proiecte de sine stătătoare, necesitând resursă umană calificată, care uneori trebuie formată cu un consum financiar și de timp, sau necesitând multe ședințe de implementare pentru obținerea unui efect acceptabil, sau necesită costuri suplimentare de deplasare sau dotare etc. Ușurința implementării tratează intervenția ca un proiect și estimează dificultatea de implementare a acestui proiect.

 

Fiecare intervenție este analizată pentru fiecare dintre aceste 5 dimensiuni în mod independent de cel puțin 3 specialiști calificați, care ulterior ajung asupra unui consens de notare, pe o scală de 5 puncte. Ancorele acestor scale sunt prezentate mai jos.

 

Impact

Scor	Caracterizare	Descriere
1	impact nesemnificativ	Mărime a efectului foarte slabă (d < .20), echivalentă cu mai puțin de 1 lună de avantaj la 12 luni de intervenție.
2	impact scăzut	Mărime a efectului slabă (.20 < d < .40), echivalentă cu aproximativ 1 lună de avantaj la 12 luni de intervenție.
3	impact mediu	Mărime a efectului medie (.40 < d < .60), echivalentă cu aproximativ 1-2 luni de avantaj la 12 luni de intervenție.
4	impact puternic	Mărime a efectului mare (.60 < d < .80), echivalentă cu aproximativ 3-4 luni de avantaj la 12 luni de intervenție.
5	impact foarte puternic	Mărime a efectului foarte mare (d > .80), echivalentă cu mai mult de 4 luni de avantaj la 12 luni de intervenție.

 

Cost

Scor	Caracterizare	Descriere
1	costuri foarte scăzute	Sub 100 EUR pe membru al grupului țintă.
2	costuri scăzute	Între 101-500 EUR pe membru al grupului țintă.
3	costuri medii	Între 500-700 EUR pe membru al grupului țintă.
4	costuri ridicate	Între 700-2000 EUR pe membru al grupului țintă.
5	costuri foarte ridicate	Peste 2000 EUR pe membru al grupului țintă.

 

Dovezi științifice

Scor	Caracterizare	Descriere
1	dovezi științifice neconvingătoare	Intervențiile cu dovezi insuficiente sunt intervențiile care nu pot considerate ca fiind validate științific întrucât numărul studiilor care le demonstrează validitatea este foarte mic, sau acestea sunt studii cu limite majore (de exemplu, un număr mic de elevi implicați, o arie mică de acoperire, un design de cercetare rudimentar etc.). În favoarea acestor intervenții există mai puțin de 10 studii punctuale care tratează validitatea lor sau studiile provin dintr-un singur context sau nu sunt realizate în mod independent. Totodată există puncte critice pentru intervenție care sunt combătute și disputate în literatura de specialitate. Pentru a evidenția utilitatea intervenției, este nevoie de dovezi statistice, măsurători periodice, pre și post intervenție, care încă nu au fost realizate în mod credibil. Intervenția poate fi etichetată ca fiind „controversată” dacă aplicațiile unui indicator oferă rezultate contradictorii, sau dacă intervenția pare eficientă dar dovezile rezultatelor nu sunt cuantificabile sau sunt prea reduse ca volum.
2	dovezi științifice puține	O intervenție cu dovezi slabe este o intervenție care din punctul de vedere al dovezilor de validare științifică, este fie insuficient studiată, fie are rezultate contradictorii sau ridică semne de întrebare, sau înregistrează critici convingătoare. Pentru ca o intervenție să fie clasată în această categorie sunt necesare studii comparative concurente, cel puțin cvasi-experimentale (dar longitudinale și cu implicarea unor grupuri de control). Există mai puțin de 25 de studii punctuale care tratează validitatea intervenției sau, dacă există mai multe studii, acestea provin din contexte foarte similare între ele, sau sunt realizate de cercetători care nu sunt independenți de cei care propun intervenția. Există evidența contrară, adică puncte importante asupra cărora nu există consens.
3	dovezi științifice moderate	O intervenție cu dovezi moderate este o intervenție pentru care există unele dovezi științifice privind nivelul de validitate, însă aceste dovezi sunt relativ restrânse ca număr, ca putere sau amploare a studiilor, sau în ceea ce privește situațiile și contextele evaluate. Indicatorul este considerat „modest” dacă sunt îndeplinite condițiile pentru ceea ce putem denumi „intervenții probabil eficace”. Pentru un astfel de studiu există mai puțin de 50 de studii punctuale care tratează validitatea intervenției, sau aceste studii nu provin din contexte suficient de diferențiate sau independente de cei care propun intervenția și există puncte de evidență contrară, adică unele puncte asupra cărora nu există consens. De regulă, în astfel de cazuri utilitatea intervenției devine evidentă atunci când se folosește împreună cu metode alternative sau auxiliare, într-un proces de învățare cu o anumită desfășurare, deși se pot găsi dovezi ale utilității acesteia și în conteste independente de o anumită rută formală de desfășurare.
4	dovezi științifice puternice	O intervenție cu dovezi puternice este o intervenție validată științific, dar care deși a fost validată într-un număr mare de studii, ori nu a fost rezumată într-o meta-analiză de studii experimentale, ori aceste studii au efecte variabile și nu reușesc să contureze ideea unui impact incontestabil. Există dovezi ale utilității intervenției în cel puțin o meta-analiză privind validitatea intervenției și există cel puțin 50 de studii punctuale provenind din contexte diferite, care evaluează valoarea intervenției. De asemenea, evidența contrară, dacă există, este redusă ca impact sau credibilitate. Aspectele contrare identificate în studiile privitoare la această intervenție sunt marginale și puțin relevante. Utilitatea intervenției este evidentă în majoritatea cazurilor fără să fie necesare modificări sau adaptări ale acesteia.
5	dovezi științifice foarte puternice	O intervenție cu dovezi foarte puternice este o intervenție validată științific în studii robuste de nivel meta-analitic, cu efecte invariabil coerente în situații și contexte diverse. Pentru a evidenția efectul pozitiv al acesteia, există cel puțin o meta-analiză de studii experimentale sau mai multe meta-analize de studii cross-sectionale și există câteva zeci de studii punctuale provenind din contexte diferite, care sunt în consens privind valoarea intervenției. De regulă, numărul elevilor pe care a fost aplicată și testată intervenția este de ordinul zecilor de mii (în virtutea unui număr mare de studii, fiecare cu câte un eșantion convingător). Nu există studii care să ofere semne de întrebare privind validitatea intervenției (counter-evidence).

 

Scalabilitate

Scor	Caracterizare	Descriere
1	scalabilă cu mare dificultate	Intervenția nu este deloc scalabilă sau necesită pentru scalare resurse care exced costul intervenției în sine, ori resurse nerezonabile (dincolo de nivelul la care vreodată ar putea fi disponibile în sistem). De exemplu, intervenția nu poate fi reprodusă exact așa cum a fost implementată la nici o alta unitate, pentru că este complet personalizată. Sau, intervenția ar necesita pentru scalare trainingul unor specialiști, la costuri care exced costurile intervenției în sine.
2	scalabilă cu dificultate	Intervenția este scalabilaă doar cu costuri relativ ridicate. Presupune costuri suplimentare de recrutare sau formare pentru specialiști, sau de investiție în infrastructură, care exced în medie pe membru al grupului țintă 50% din valoarea intervenției efective pentru acel membru al grupului țintă.
3	scalabilă cu eforturi medii	Intervenția este scalabilă într-o măsură relativ redusă. Presupune costuri suplimentare de recrutare sau formare pentru specialiști, sau de investiție în infrastructură, care exced în medie pe membru al grupului țintă 25% din valoarea intervenției efective pentru acel membru al grupului țintă.
4	scalabilă cu ușurință	Intervenția este scalabila într-o mare măsură, însă presupune costuri suplimentare pentru gestionarea aplicării la scara mai largă. De exemplu, poate să presupună unele costuri suplimentare de formare pentru specialiști, sau de investiție în infrastructură. Ca indicator principial numeric, acest nivel presupune ca eforturile de aplicare națională pe membru al grupului țintă sunt plasate între 10 si 25% din valoarea intervenției efective pentru acel membru al grupului țintă.
5	scalabilă cu mare ușurință	Intervenția este complet și perfect scalabilă fără resurse suplimentare. Intervenția poate fi aplicată la întreaga populație națională țintită, fără investiții suplimentare (dincolo de cele legate de intervenția efectivă), de exemplu, formare suplimentară a profesorilor sau a unor specialiști externi și fără investiție suplimentară în infrastructură. Ca indicator principial numeric, acest nivel presupune ca eforturile de aplicare națională nu exced pe membru al grupului țintă 10% din valoarea intervenției efective pentru acel membru al grupului țintă.

 

Ușurința implementării

Scor	Caracterizare	Descriere
1	greu de implementat	Intervenția este dificil de implementat chiar și în condiții de alocare a resurselor necesare; de exemplu necesită resursă umană calificată care trebuie întâi formată, sau durează mult timp sau necesită repetare constantă etc. Un proiect de implementare a unei asemenea intervenții ar fi considerat "foarte dificil" de un consultant de proiect.
2	relativ dificil de implementat	Intervenția este mai degrabă dificil de implementat. Un proiect de implementare a unei asemenea intervenții ar fi considerat "destul de dificil" de un consultant de proiect.
3	implementabila cu ușurință medie	Intervenția este implementabilă, dar un proiect de implementare a unei asemenea intervenții ar fi considerat "de dificultate medie" de un consultant de proiect.
4	relativ ușor de implementat	Intervenția este implementabilă cu ușurință; un proiect de implementare a unei asemenea intervenții ar fi considerat "de dificultate redusă" de un consultant de proiect.
5	foarte ușor de implementat	Intervenția este implementabilă cu foarte mare ușurință; un proiect de implementare a unei asemenea intervenții nu ar necesita tratarea ca proiect separat.