Čo sme zistili pri sledovaní dopadu vzdelávacích projektov

V uplynulom roku sme sa zamerali na 5 vybraných projektov, víťazov druhého ročníka Ceny Generácia 3.0, a zisťovali sme u nich mieru účinnosti a potenciál šíriteľnosti. Prečítajte si, čo sme zistili a čo všetko sme sa v tomto procese naučili.

Základná škola na Dubovej 1 v Bratislave je inkluzívnou školou, ktorá inšpiruje k zmene. Dôraz kladie na individuálny prístup, rozvoj mäkkých zručností a tímovú prácu. Portál Lepšia geografia ponúka učiteľom stovky vzdelávacích aktivít, vďaka ktorým sa z geografie môže stať najobľúbenejší predmet na škole. Ako však vieme, či tieto unikátne prístupy fungujú?

Keď sa púšťame do realizácie projektu, je dôležité, aby sme verili v zmysel svojej práce. Ako však pripomína Laura Gassner Otting z organizácie Agora for Good: „Nádej nie je stratégia.“ Už pri štarte by sme preto mali myslieť na to, ako zbierať a vyhodnocovať relevantné dáta, a výsledky zohľadniť pri plánovaní ďalších krokov. Keď opakovane postupujeme nesprávne, nie sme iba neefektívni, v skutočnosti môžeme aj škodiť (napr. tým, že nechtiac stojíme v ceste funkčným riešeniam).

Dobrý pocit preto nestačí – od dojmov sa musíme posunúť k sledovaniu dopadu (z angl. impact measurement). Napriek tomu, že ide o komplexný proces, ktorý je finančne náročný a vyžaduje si expertízu, v Nadácii Pontis sme presvedčení, že je to jediná cesta, ak chceme efektívne meniť vzdelávací systém na Slovensku.

Ako sledujeme dopad

Päť inovatívnych vzdelávacích projektov, ktoré v máji 2018 získali Cenu Generácia 3.0, sme prepojili s odborníkmi na výskum vo vzdelávaní. Martin Kuruc z Pedagogickej fakulty UK, Romana Kanovská z NÚCEM, Lucia Kováčová z Inštitútu pre dobre spravovanú spoločnosť a Zuzana Petrová a Lukáš Vaško z Trnavskej univerzity sledovali počas školského roka 2018/2019 dopad projektov na študentov. (Výskum sa opieral o logickú rámcovú maticu vypracovanú v spolupráci s konzultantom a evaluátorom Andrejom Salnerom z Basta Digital.)

Výskumníci vo vzdelávaní overujú účinnosť inovatívnych prístupov, ktoré šírime do škôl. (Foto: Tomáš Halász)

Cieľom bolo predovšetkým zistiť, či sú vzdelávacie prístupy účinné, či ich možno s ohľadom na náklady a výnosy odporučiť šíriť do ďalších škôl, a aké faktory tomu pomáhajú/bránia. Výskumníci zisťovali, z akých teoretických podkladov projekty vychádzajú a či existujú podobné prístupy doma alebo zahraničí, kde už evaluácia prebehla. Zároveň mali posúdiť, či je prístup možné zhodnotiť v priebehu školského roka, nastaviť spoľahlivé metódy zberu dát a prípadne zrealizovať krátkodobý výskum.

Je to jednoduché, ale len na prvý pohľad

Získať odpoveď na zdanlivo jednoduchú otázku – či konkrétny prístup vedie k želanému výsledku, je beh na dlhú trať a nedá sa urobiť bez dôkladného posúdenia viacerých faktorov.

Pozrime sa napríklad na Slovenskú debatnú asociáciu. Ak chceme zistiť, či má debatérstvo priamy vplyv na zvyšovanie kritického myslenia u študentov, musíme zohľadniť typ školy, región, sociálnu situáciu a vhodne zložiť sledované skupiny. Do úvahy treba brať aj ďalšie faktory, ktoré môžu vplývať na rozvoj kritického myslenia – klasické vyučovanie, rodina a okolie, mimoškolské vzdelávacie aktivity atď. V neposlednom rade musí výskum prebehnúť na dostatočne veľkej vzorke a zahrnúť aj kontrolnú skupinu. Situáciu nám komplikuje aj samotná definícia kritického myslenia, ktorá nie je jednoznačná.

Projekty, ktoré cielia na zmenu postojov či hodnotového nastavenia žiakov a učiteľov, prípadne sa pokúšajú o komplexnú zmenu školy (ZŠ Dubová), sa hodnotia ešte ťažšie. Získať spoľahlivé výsledky, na základe ktorých je možné formulovať jasné závery o účinnosti a dopade, si tak často vyžaduje aj niekoľkoročný výskum. V prípade, že nemáme ani čas, ani zdroje, neznamená to, že máme rezignovať na zber dát. Treba iba prispôsobiť metódy ich zberu.

Čo ukázali výsledky

Naši výskumníci sa vo svojich záverečných evaluačných správach zamerali hlavne na posúdenie metodiky projektu (či je dostatočne štandardizovaná a poskytuje vhodný podklad pre šírenie). Zhodnotili tiež kvalitu implementácie a nastavili spoľahlivý zber dát do budúcna.

Na základe tohto hodnotenia sa ukazuje, že z piatich sledovaných prístupov majú najväčší potenciál na šírenie do škôl tieto štyri:

Reflexia slobody a zodpovednosti (ZŠ Dubová): projekt sa zameriava na inkluzívny prístup v školách postavený na princípe reflexií, medzigeneračných dialógoch, sústredeniach, vzťahoch, odbornom tíme a práci s chybami.

Rozbehni sa! Academy: rýchlokurz začiatkov podnikania, ktorý pripravuje mladých ľudí na dobu, v ktorej im nikto nemusí ponúknuť prácu – musia sa preto naučiť, ako si ju vytvoria sami.

Lepšia geografia: metodický portál poskytujúci vzdelávacie materiály, návrhy vyučovacích hodín a netradičné aktivity, ktorými je možné premeniť klasickú školskú geografiu na predmet rozvíjajúci široké spektrum (nielen geografických) schopností.

Rozšírenie stredoškolského debatného programu (Slovenská debatná asociácia): prístup sa snaží o podporu kritického myslenia, otvorenosti a občianskej angažovanosti mladých ľudí cez debatné aktivity.

Šíreniu pomáha komunikácia

Pre lepšie šírenie týchto inovatívnych prístupov je podľa výskumníkov kľúčová hlavne komunikácia s riaditeľmi, prípadne zriaďovateľmi škôl (VÚC, obce). Je dôležité, aby na svojich školách rozvíjali inovácie, vyčlenili im priestor vo vyučovaní a inšpirovali učiteľky a učiteľov k ich využívaniu.

Rýchlejšiemu šíreniu prístupov môže ďalej pomáhať:

• prepojenie obsahu projektu so zameraním školy (predmetmi alebo mimoškolskými aktivitami);
• jednoduchosť, nenáročné zaškolenie ambasádorov;
• poskytnutie bezplatných metodických príručiek (výhodou je, ak sú dostupné online, ako v prípade projektov Lepšia geografia alebo Rozbehni sa! Academy);
• vytváranie siete škôl a platforiem, na ktorých môže dochádzať k zdieľaniu skúseností (napríklad v podobe EDUpointov);
• budovanie pozitívneho mediálneho obrazu inovatívneho vzdelávania;
• vytvorenie databázy príkladov dobrej praxe (EDUmapa).

Šírenie prístupov môžu naopak obmedzovať:

• nedostatočné personálne kapacity niektorých organizácií (Lepšia geografia, ZŠ Dubová);
• finančne a časovo náročná príprava odborných pracovníkov, ktorá môže spočiatku odradiť vedenie školy (ZŠ Dubová);
• časový rámec projektu, ktorý nie je zosúladený s cyklom školy (Rozbehni sa! Academy);
• spoplatnenie (časti) obsahu (Lepšia geografia).

Ako ďalej vyplynulo z výskumu, projekty Rozvoj Turnaja mladých fyzikov a Olympiáda mladých vedcov sa zameriavajú výhradne na vyhľadávanie a podporu najtalentovanejších študentov. Organizátori nemajú ambíciu meniť vzdelávací systém tak, aby sa zlepšili výsledky a motivácia všetkých žiakov. Na druhej strane výskumníci nespochybňujú rolu programov tohto typu. Nadané deti majú cez súťaž možnosť naplno rozviť svoj potenciál a sú viac motivované na vedeckú kariéru. Vzhľadom na ciele Generácie 3.0 sme však vyhodnotili, že napriek ich úspešnosti nie je pre nás efektívne sústreďovať sa na šírenie takéhoto typu projektov.

Aké ponaučenia sme si odniesli

Skúsenosti a know-how z výskumov v rokoch 2017 – 2019 nám zásadne pomohli zefektívniť celý proces hodnotenia projektov. Už v prvých fázach výberu sa, vzhľadom na ciele Generácie 3.0, zameriavame na vyhľadávanie prístupov s potenciálom priniesť systémové zmeny na úrovni celých škôl a zasiahnuť celé spektrum žiakov a učiteľov (nielen špecifickú skupinu).

Naša doterajšia prax ukazuje, že pre úspešné sledovanie dopadu je nevyhnutné, aby boli projekty dostatočne štruktúrované a mali jasne naformulované ciele a stratégiu, ako ich dosiahnuť. V opačnom prípade je náročné jasne stanoviť, čo bude výskum sledovať (napr. úroveň kritického myslenia, miera proinkluzívnych postojov, zlepšovanie konkrétnych vedomostí žiakov). Okrem detailnej prípravy je rovnako dôležité zvoliť správne výskumné metódy a sledovanie dopadu spustiť vo vhodnej fáze projektu.

Výskumníci a výskumníčky sa tak v školskom roku 2019/2020 primárne už nezameriavajú na realizáciu krátkodobého výskumu a na rýchle hodnotenie účinnosti. Namiesto toho ako konzultanti učia počas EDUakcelerátora organizácie, ako sledovať dopad a overovať účinnosť ich projektov – či už krátkodobo s finančne menej náročnými metódami, alebo dlhodobo s komplikovanejším výskumom a zberom dát. Naším cieľom je, aby organizácie rozumeli dôležitosti rigorózneho a pravidelného hodnotenia svojich aktivít a na základe objektívnych výsledkov vedeli optimalizovať svoje aktivity – s ohľadom na čo najväčšiu kvalitu, efektivitu a dopad.

Dokonalý výsledok

Odmerať dopad vzdelávacích projektov, ktoré sa snažia o posun v myslení a hodnotovom nastavení spoločnosti, je, pochopiteľne, komplikovanejšie, ako posúdiť napríklad úspešnosť predaja. Nie je však dôležité, či sa pohybujeme v biznise, v školstve alebo v bežnom živote – len vzácne dosiahneme dokonalý výsledok okamžite a na prvý pokus. Sledovanie dopadu je nezastupiteľný nástroj autokontroly, ktorý treba neustále rozvíjať. Je v poriadku, že dáta či metodológia nebudú spočiatku bez chýb. Dôležité je, že budeme robiť maximum, čo v danom čase vieme. Ako hovorí Laura Gassner Otting: „Meranie v správnom čase a so správnymi metrikami nám nielenže umožní dosiahnuť väčší dopad, ale je to aj jediná cesta.“

Viac o inovatívnych vzdelávacích prístupoch zistíte na: https://www.generacia30.sk/

Konkrétne inšpirácie pre učiteľov prináša EDUmapa – jedinečný portál zhromažďujúci overené inovatívne prístupy aj s popisom metodík, ktoré môžu učitelia vyskúšať priamo na svojich hodinách.