Dla szkół · Fundacja Usuwanie Hejtu
Ewaluacja programów profilaktycznych
Szkoły prowadzą działania profilaktyczne co roku i prawie nigdy nie wiedzą, czy cokolwiek dały. Ankieta zadowolenia wypełniona po zajęciach mierzy nastrój uczestników, a nie skuteczność – i to jest cały problem tej dziedziny.
Część wiedzy z tej strony da się zastosować samodzielnie i tak ją opisujemy. Nie każdy pomiar wymaga zlecenia go na zewnątrz.
Najkrócej
Trzy rzeczy, które psują ewaluację w szkołach
Nie brak narzędzi i nie brak chęci. Trzy błędy powtarzają się niemal wszędzie i każdy z nich da się usunąć bez wydawania złotówki.
Zanim zamówią Państwo cokolwiek: cztery wskaźniki opisane niżej można zbierać samodzielnie, bez żadnych narzędzi i bez naszego udziału. Jeżeli placówka nie mierzy nic, warto zacząć od nich, a nie od zlecenia badania.
Sedno
Ankieta zadowolenia to nie jest ewaluacja
Narzędzie stosowane w szkołach najczęściej i mierzące coś zupełnie innego, niż się zakłada. Odpowiedź „zajęcia były ciekawe” nie mówi nic o tym, czy ktokolwiek zachowa się inaczej w środę o osiemnastej.
Zadowolenie jest niemal zawsze wysokie i dlatego bezużyteczne. Uczestnicy oceniają prowadzącego, atmosferę i to, że nie było nudno. Przy zajęciach prowadzonych przez kogokolwiek kompetentnego wyniki są dobre niezależnie od tego, czy zajęcia cokolwiek zmieniły. Wskaźnik, który zawsze wychodzi dobrze, nie jest wskaźnikiem.
Deklaracje też nie wystarczają. Pytanie „czy zareagujesz, gdy zobaczysz hejt” daje wyniki wysokie i niezwiązane z późniejszym zachowaniem. Uczniowie odpowiadają zgodnie z tym, czego się od nich oczekuje, i nie jest to nieszczerość – po prostu w sali lekcyjnej łatwo zadeklarować coś, co w klasowej grupie o dwudziestej drugiej wygląda inaczej.
Mierzy się zachowania i zdarzenia, nie opinie. Ile zgłoszeń wpłynęło, ile czasu upłynęło do reakcji, ile spraw miało poprawnie zabezpieczony materiał, ile zakończyło się usunięciem treści. Wszystkie te wielkości są dostępne w placówce bez żadnych narzędzi badawczych i nie wymagają pytania nikogo o zdanie.
Ewaluacja procesu ma sens równie duży co ewaluacja wyniku. Nawet jeżeli nie da się wykazać zmiany zachowań, da się sprawdzić, czy działania w ogóle zostały przeprowadzone zgodnie z założeniami: ile klas objęto, ilu nauczycieli przeszkolono, czy materiały trafiły tam, gdzie miały trafić. Brzmi to skromnie i bywa jedyną rzetelną rzeczą, jaką można powiedzieć po roku.
Ankieta bywa użyteczna w jednym zastosowaniu. Jako badanie skali zjawiska, anonimowe i powtarzane w tej samej formie przy kolejnych pomiarach. Wtedy mierzy coś, co się realnie zmienia, i nadaje się do porównania rok do roku.
- Zadowolenie – zawsze wysokie, więc bezużyteczne.
- Deklaracje – niezwiązane z zachowaniem.
- Zachowania i zdarzenia – to się mierzy.
- Ewaluacja procesu – skromna i rzetelna.
- Ankieta o skali zjawiska – jedyne sensowne zastosowanie.
Wiedza do zastosowania samodzielnie
Cztery wskaźniki, które placówka może zbierać sama
Nie wymagają narzędzi, budżetu ani naszego udziału. Opisujemy je dokładnie, bo uważamy, że szkoła, która nie mierzy nic, powinna zacząć od nich, a nie od zlecania badania.
Liczba zgłoszeń przyjętych przez placówkę
W podziale na kategorie i na klasy. Wielkość najprostsza do zebrania i najczęściej odczytywana odwrotnie – wzrost zwykle oznacza poprawę kanału zgłoszeniowego, a nie pogorszenie sytuacji.
Czas od zgłoszenia do pierwszej czynności
Najbardziej użyteczny z całej czwórki. Zależy w niewielkim stopniu od wiedzy kadry, a w dużym od tego, czy role są przypisane imiennie – i pokazuje zmianę w sposób, którego nie da się podważyć.
Odsetek spraw z poprawnie zabezpieczonym materiałem
Sprawdzany według krótkiej listy kontrolnej: nazwa konta, data, pełna treść, adres strony. Wskaźnik pokazujący realny efekt szkoleń dla kadry lepiej niż jakikolwiek test wiedzy.
Liczba spraw zakończonych usunięciem treści
Wraz z informacją, na którym etapie to nastąpiło: po zgłoszeniu, po odwołaniu czy po piśmie. Pokazuje, czy placówka doprowadza sprawy do końca, czy zatrzymuje się po pierwszej odmowie.
Wskaźnik uzupełniający: rozpoznawalność ścieżki
Odsetek uczniów, którzy potrafią wskazać, do kogo zgłosić sprawę. Zbierany w rozmowie, nie ankietą – ankieta daje odpowiedzi poprawne, rozmowa daje prawdziwe.
Wskaźnik uzupełniający: powrót zjawiska
Ile spraw wróciło po miesiącu od zakończenia. Pokazuje, czy działania domykają sprawy, czy jedynie przerywają je na chwilę.
Ogólnopolski raport o hejcie
Placówki planujące profilaktykę opierają się dziś na danych fragmentarycznych, zbieranych różnymi metodami i nieporównywalnych między sobą. Zbieramy na badanie na próbie dwóch tysięcy osób, powtarzalne co roku i publikowane w całości wraz z metodologią oraz danymi surowymi.
Wyniki i dane surowe udostępnimy bez opłat – również szkołom, poradniom i samorządom planującym własne działania. Zbiórka finansuje przeprowadzenie badania, a nie dostęp do wyników.
Kolejność
Pomiar bazowy – jedyna rzecz, której nie da się nadrobić
Wszystko inne w ewaluacji można poprawić w trakcie. Pomiaru sprzed wdrożenia nie da się wykonać wstecz, a bez niego każdy późniejszy wynik jest liczbą bez znaczenia.
Na czym polega. Na zebraniu tych samych wielkości przed rozpoczęciem działań, które będą zbierane po nich. Przy czterech wskaźnikach opisanych wyżej oznacza to zwykle przejrzenie dokumentacji z poprzedniego półrocza i spisanie liczb – kilka godzin pracy jednej osoby.
Kiedy go wykonać. Przed pierwszymi zajęciami, a nie po podpisaniu umowy z prowadzącym. Jest to moment, w którym placówki tracą tę możliwość najczęściej: działania ruszają szybko, bo termin się zwolnił, a pomiar odkłada się na później.
Co zrobić, jeżeli jest już za późno. Da się częściowo odtworzyć niektóre wielkości z dokumentacji, o ile była prowadzona rzetelnie: liczbę zgłoszeń, daty czynności, sposób zakończenia spraw. Nie da się odtworzyć niczego, co wymagało zapytania uczniów.
Okres porównawczy ma znaczenie. Porównywanie września z majem jest błędem, ponieważ rozkład zdarzeń w roku szkolnym nie jest równomierny. Sensowne porównanie obejmuje ten sam okres rok do roku albo pełne półrocza.
Pomiar bazowy bywa najcenniejszym elementem całej ewaluacji. Przy placówkach, które nigdy niczego nie mierzyły, samo zebranie danych wyjściowych pokazuje rzeczy, o których nikt nie wiedział – na przykład że średni czas reakcji wynosi kilka dni albo że połowa spraw nie ma zabezpieczonego materiału.
Kilka godzin pracy jednej osoby.
Czy działania przebiegły zgodnie z założeniami.
Te same wielkości, ten sam okres.
Nie wrzesień z majem.
Interpretacja
Wyniki, które łatwo odczytać na opak
Przy tym temacie kilka wskaźników zachowuje się odwrotnie, niż podpowiada intuicja. Placówka, która tego nie wie, potrafi uznać poprawę za pogorszenie i wycofać się z działań, które właśnie zaczęły działać.
Wzrost liczby zgłoszeń. Odczytywany jako pogorszenie, a zwykle oznaczający, że uczniowie zaczęli zgłaszać sprawy dotąd nieujawniane. Przy dobrze prowadzonych działaniach profilaktycznych wzrost jest zjawiskiem typowym w pierwszym roku, a spadek bywa sygnałem niepokojącym.
Spadek liczby zgłoszeń po roku. Może oznaczać poprawę sytuacji albo utratę zaufania do kanału zgłoszeniowego. Rozróżnienie wymaga drugiego wskaźnika – zwykle rozmowy z uczniami o tym, czy wiedzą, gdzie się zgłosić, i czy ktokolwiek ze znajomych to zrobił.
Wysoki odsetek spraw zakończonych. Wygląda dobrze i bywa skutkiem zamykania spraw przedwcześnie, po pierwszej odmowie serwisu. Warto go czytać razem z informacją, na jakim etapie sprawy się kończyły.
Brak zdarzeń w danej klasie. Nie oznacza, że nic się nie dzieje. Przy wykluczeniu relacyjnym – najtrudniejszej do wykrycia formie przemocy – nie powstaje żadne zdarzenie, które ktokolwiek mógłby zgłosić.
Poprawa deklaracji uczniów. Mierzalna łatwo i niezwiązana z zachowaniem. Po zajęciach uczniowie deklarują gotowość do reagowania znacznie częściej, a liczba realnych reakcji zmienia się w znacznie mniejszym stopniu.
Wynik gorszy niż oczekiwany. Bywa najbardziej wartościowy z całej ewaluacji, ponieważ wskazuje, gdzie działania nie zadziałały. Raport, który potwierdza wyłącznie sukces, warto czytać ze szczególną ostrożnością – zwłaszcza gdy sporządził go podmiot prowadzący oceniane działania.
- Wzrost zgłoszeń – zwykle poprawa, nie pogorszenie.
- Spadek zgłoszeń – wymaga drugiego wskaźnika.
- Dużo spraw zamkniętych – sprawdzić, na jakim etapie.
- Brak zdarzeń – nie znaczy, że nic się nie dzieje.
- Lepsze deklaracje – nie przekładają się na zachowania.
- Wynik gorszy – najbardziej wartościowy.
Ostrzeżenie
Narzędzia, które potrafią zaszkodzić
Część metod stosowanych w szkołach ujawnia problem i jednocześnie go pogłębia. Opisujemy je, ponieważ używa się ich w dobrej wierze.
Wskazywanie, z kim uczeń chce pracować
Ujawnia wykluczenie i jednocześnie je utrwala, zwłaszcza gdy wyniki są omawiane w klasie albo gdy uczniowie domyślą się ich treści. Przy klasach, w których problem już występuje, ryzyko jest realne.
Ćwiczenia z dobieraniem się w pary
Stosowane jako sposób obserwacji relacji. Osoba wykluczana zostaje sama na oczach całej klasy – informacja dla prowadzącego jest ta sama, koszt dla ucznia nieporównanie wyższy.
Ankiety z pytaniem o konkretne osoby
Nawet anonimowe, uruchamiają w klasie ustalanie, kto co napisał. Przy sprawach trwających bywa to początek kolejnej fali skierowanej przeciwko domniemanym autorom.
Publiczne omawianie wyników badania
Wyniki wskazujące na problem w konkretnej klasie przedstawione tej klasie działają jak oskarżenie i zamykają możliwość dalszej pracy.
Badanie prowadzone przez wychowawcę klasy
Przy sprawach, w których wychowawca jest uczestnikiem sytuacji, odpowiedzi uczniów zmieniają się w przewidywalny sposób. Badanie warto powierzyć osobie spoza klasy.
Pytania o samopoczucie bez ścieżki pomocy
Badanie, które ujawnia trudności uczniów i nie kończy się wskazaniem, gdzie szukać wsparcia, zostawia część z nich w gorszej sytuacji niż przed nim.
Zakres i ceny
Co możemy zrobić za Państwa
Cennik jawny i jednakowy dla wszystkich placówek. Przed zamówieniem czegokolwiek mówimy, czy dana rzecz jest Państwu potrzebna – również wtedy, gdy odpowiedź brzmi „nie”.
Ewaluacja
Współpraca stała i szkolenia
Wszystkie kwoty są kwotami netto. Przy usługach świadczonych na rzecz jednostek systemu oświaty może mieć zastosowanie zwolnienie z podatku od towarów i usług – kwotę końcową podajemy zawsze w ofercie, przed podpisaniem umowy. Dojazd w granicach województwa małopolskiego jest wliczony. Przy kilku placówkach objętych jedną umową podajemy wycenę łączną z rabatem od drugiej placówki.
Nie oceniamy własnych działań. Jeżeli prowadziliśmy w placówce szkolenia albo audyt, ewaluację tych działań powierzamy innemu zespołowi albo wskazujemy podmiot zewnętrzny. Raport potwierdzający skuteczność własnej pracy nie jest wart papieru, na którym powstał, i nie chcemy takich wydawać.
Publikujemy również wyniki niekorzystne. Przy ewaluacjach, których wyniki mają być publikowane, zastrzegamy prawo do przedstawienia ustaleń niezależnie od tego, czy potwierdzają skuteczność ocenianego programu. Placówka albo autor programu decyduje o publikacji, ale nie o treści.
Mówimy, gdy ewaluacja nie ma sensu. Przy działaniach jednorazowych, obejmujących jedną klasę i bez pomiaru bazowego zwykle nie da się wykazać niczego poza tym, że zajęcia się odbyły. W takich sytuacjach proponujemy ewaluację procesu za niższą kwotę albo odradzamy zamówienie w ogóle.
Część rzeczy warto zrobić samodzielnie. Cztery wskaźniki opisane wyżej placówka zbiera bez naszego udziału i bez kosztów. Jeżeli szkoła nie mierzy nic, sensowną kolejnością jest: zacząć od nich samodzielnie, po roku zamówić opracowanie zebranych danych, a dopiero potem rozważać badanie.
Instytut badań nad hejtem i dezinformacją
Pojedyncze badanie pokazuje stan, a nie kierunek. Zbieramy na pięcioletnie finansowanie zespołu prowadzącego pomiar powtarzalny, z radą naukową złożoną z osób spoza Fundacji i z prawem do publikowania wyników niewygodnych również dla nas.
Wyniki i dane surowe będą udostępniane bez opłat. Instytut nie będzie sporządzał ekspertyz do spraw prowadzonych przez Fundację – jest to zabezpieczenie przed konfliktem interesów opisane w założeniach zbiórki.
Organizacja
Jak przebiega ewaluacja
Sześć kroków. Najważniejszy jest pierwszy i to on decyduje, czy całość będzie miała jakąkolwiek wartość.
Ustalenie, co ma być zmierzone
Rozmowa o tym, jakiej zmiany oczekuje placówka i po czym miałaby ją poznać. Bywa, że na tym etapie okazuje się, że oczekiwana zmiana jest niemierzalna – i wtedy mówimy to od razu, zamiast zbierać dane, które niczego nie pokażą.
Pomiar bazowy
Zebranie wielkości wyjściowych przed rozpoczęciem działań. Przy czterech podstawowych wskaźnikach oznacza to zwykle przejrzenie dokumentacji z poprzedniego półrocza. Kroku tego nie da się wykonać później.
Ewaluacja procesu w trakcie
Sprawdzenie, czy działania przebiegają zgodnie z założeniami: ile klas objęto, ilu nauczycieli przeszkolono, czy materiały trafiły tam, gdzie miały. Pozwala skorygować kurs, zanim rok się skończy.
Pomiar końcowy
Te same wielkości, ten sam okres porównawczy, ta sama metoda. Przy badaniach wśród uczniów – to samo narzędzie w niezmienionym brzmieniu, bo zmiana pytania unieważnia porównanie.
Raport
Ustalenia, wnioski i rekomendacje wraz z opisem ograniczeń. Ostatni element jest obowiązkowy: raport, który nie mówi, czego nie dało się zmierzyć, wprowadza w błąd.
Omówienie z zespołem
Prezentacja ustaleń i wspólne ustalenie, co z nich wynika dla kolejnego roku. Bez tego kroku raport trafia do segregatora i nie zmienia niczego – a to jest najczęstszy los ewaluacji w szkołach.
Pięćdziesiąt albo sto złotych miesięcznie
Darowizna nie jest zbiórką i nie idzie na wskazany cel. Finansuje bieżące prowadzenie działalności: odbieranie telefonów, prowadzenie spraw uczniów bez opłat, pisanie odwołań i aktualizowanie materiałów. Tego nie da się zamknąć w kosztorysie i dlatego nie prowadzimy na to zbiórki.
Darowiznę może przekazać osoba prywatna, placówka albo rada rodziców. Wpłatę cykliczną odwołuje się jedną wiadomością. Nie prowadzimy zbiórek wśród uczniów i nie przyjmujemy wpłat od dzieci. Nie przyjmujemy również wsparcia rzeczowego.
Krótko
Pytania, które zadają placówki
Czy naprawdę potrzebujemy ewaluacji?
Przy pojedynczych zajęciach dla jednej klasy – zwykle nie, i mówimy to wprost. Bez pomiaru bazowego i przy tak małej skali nie da się wykazać niczego poza tym, że zajęcia się odbyły.
Przy programie rocznym, przy działaniach finansowanych ze środków zewnętrznych oraz przy placówkach, które chcą wiedzieć, czy wydają pieniądze sensownie – tak. W tych sytuacjach ewaluacja jest zwykle tańsza niż kolejny rok działań, które nie działają.
Jeżeli szkoła nie mierzy nic, sensowną kolejnością jest zacząć od czterech wskaźników samodzielnie, a zamówić dopiero opracowanie zebranych danych po roku.
Ile to kosztuje i od czego zależy cena?
Ewaluacja pojedynczego programu to 9 000 zł netto, roczna ewaluacja działań placówki 24 000 zł, pomiar bazowy 7 000 zł. Cennik jest jawny i jednakowy dla wszystkich placówek – nie wyceniamy po obejrzeniu budżetu szkoły.
Cena zależy od zakresu, a nie od wielkości placówki. Przy badaniach wśród uczniów rozliczamy się za rocznik, ponieważ to on wyznacza nakład pracy.
Przy kilku placówkach objętych jedną umową koszt jednostkowy spada, ponieważ część pracy – narzędzia, metoda, wzory zestawień – wykonuje się raz.
Czy możecie ocenić program, który sami u nas prowadziliście?
Nie i jest to zasada bez wyjątków. Ewaluację działań prowadzonych przez nas powierzamy innemu zespołowi albo wskazujemy podmiot zewnętrzny.
Raport potwierdzający skuteczność własnej pracy nie ma wartości i nie chcemy takich wydawać. Przy wnioskach o środki bywa to zresztą kwestionowane przez podmiot finansujący.
Jeżeli zależy Państwu na ocenie działań, które prowadziliśmy, chętnie wskażemy podmioty zajmujące się ewaluacją niezależnie od nas.
Co, jeżeli wyniki będą złe?
Wtedy raport jest najbardziej wartościowy, ponieważ pokazuje, gdzie działania nie zadziałały. Jest to jedyna informacja, która realnie zmienia kolejny rok.
Przy ewaluacjach przeznaczonych do publikacji zastrzegamy prawo do przedstawienia ustaleń niezależnie od tego, czy potwierdzają skuteczność. Placówka decyduje o publikacji, ale nie o treści.
Raport potwierdzający wyłącznie sukces warto czytać ostrożnie – zwłaszcza gdy sporządził go podmiot prowadzący oceniane działania.
Czy badanie wśród uczniów jest bezpieczne?
Przy właściwym doborze narzędzia tak. Nie stosujemy metod opartych na wskazywaniu konkretnych osób ani ćwiczeń, w których uczeń wykluczany zostaje sam na oczach klasy – ujawniają problem i jednocześnie go pogłębiają.
Każde badanie dotykające samopoczucia uczniów kończy się wskazaniem, gdzie szukać pomocy. Badanie, które ujawnia trudności i nie daje ścieżki, zostawia część uczestników w gorszej sytuacji niż przed nim.
Wyników dotyczących konkretnej klasy nie przedstawiamy tej klasie. Działa to jak oskarżenie i zamyka możliwość dalszej pracy.
Czy potrzebna jest zgoda rodziców?
Przy badaniach obejmujących uczniów – zwykle tak, a zakres i formę warto ustalić z placówką oraz jej inspektorem ochrony danych przed rozpoczęciem. Przy ewaluacji opartej wyłącznie na danych z dokumentacji placówki kwestia wygląda inaczej.
Narzędzia projektujemy tak, żeby ograniczać zakres zbieranych danych do niezbędnego. Przy badaniach anonimowych nie zbieramy informacji pozwalających powiązać odpowiedź z konkretnym uczniem.
Zakres przetwarzania opisujemy w umowie powierzenia zawieranej z placówką przed rozpoczęciem jakichkolwiek czynności.
Jak długo trwa ewaluacja?
Pomiar bazowy trzy tygodnie, ewaluacja pojedynczego programu do sześciu miesięcy, ewaluacja roczna obejmuje cały rok szkolny. Skrócenie tych terminów zwykle oznacza rezygnację z pomiaru przed i po, czyli z tego, co daje ewaluacji sens.
Raport dostarczamy w ciągu czterech tygodni od zakończenia pomiaru końcowego, wraz z terminem omówienia z zespołem.
Przy programach wieloletnich zalecamy panel powtarzany w tej samej metodzie. Pojedynczy pomiar pokazuje stan, a seria pokazuje kierunek – i dopiero to jest użyteczne przy planowaniu.
Czy raport nadaje się do wniosku o środki?
Tak i jest to jedno z częstszych zastosowań. Przy wnioskach wymagających wykazania efektów przygotowujemy opracowanie w formie oczekiwanej przez podmiot finansujący.
Skuteczniejszy bywa jednak wniosek oparty na danych zbieranych przez placówkę samodzielnie przez rok niż na badaniu zamówionym na potrzeby wniosku. Pierwsze pokazuje, że szkoła mierzy swoje działania, drugie – że potrafi zamówić badanie.
Osobną usługą jest opracowanie posiadanych już danych w formie wymaganej przy wniosku. Kosztuje 6 000 zł netto i przy placówkach prowadzących ewidencję bywa wystarczające.
Na koniec
Najtańsza ewaluacja to ta, którą placówka prowadzi sama
Cztery wskaźniki opisane na tej stronie zbiera się bez narzędzi, bez budżetu i bez naszego udziału. Jeżeli szkoła nie mierzy nic, warto zacząć właśnie od nich – a zamówić dopiero opracowanie zebranych danych po roku. Mówimy to, mimo że oznacza mniejsze zlecenie, ponieważ badanie zamówione bez pomiaru bazowego nie pokaże niczego poza tym, że zajęcia się odbyły.
Konsultacja przed zamówieniem: 222 900 142 albo biuro@usuwaniehejtu.pl. Sprawy uczniów prowadzimy bez opłat niezależnie od wszystkiego, co jest na tej stronie.