Pierwsze wyniki badania efektów narzędzia AI zeszyt.online

Zeszyt.online to platforma do nauki matematyki, stworzona przez zespół skupiony wokół Wydziału Matematyki i Nauk Informacyjnych Politechniki Warszawskiej. Wykorzystuje ona sztuczną inteligencję, żeby dostosować zadania do poziomu i potrzeb ucznia. System analizuje odpowiedzi dziecka, rozpoznaje trudności i proponuje kolejne ćwiczenia dopasowane do jego sposobu pracy. Nauczyciel korzystający z narzędzia pozostaje przewodnikiem całego procesu — wybiera zakres materiału, monitoruje postępy i decyduje o sposobie wykorzystania platformy w pracy z klasą.

Jak przebiegało badanie?

Badanie było prowadzone równolegle do projektu wdrożeniowego realizowanego we współpracy Ministerstwa Edukacji Narodowej i Politechniki Warszawskiej. Rolą IBE PIB była niezależna ocena tego, czy korzystanie z platformy rzeczywiście przekłada się na lepsze efekty uczenia się matematyki.

W tym celu zastosowano schemat ogólnopolskiego randomizowanego badania kontrolowanego, uznawanego za najbardziej wiarygodny standard oceny skuteczności interwencji edukacyjnych. Szkoły zostały losowo przydzielone do jednej z dwóch grup:

• grupy eksperymentalnej – z dostępem do platformy zeszyt.online,
• grupy kontrolnej – bez dostępu do narzędzia w czasie trwania badania.

Taki schemat pozwala rzetelnie porównać wyniki uczniów i ocenić, czy zaobserwowane różnice są związane z wykorzystaniem platformy. 

W badaniu uczestniczyło ponad 20 tysięcy uczniów klas IV z 548 szkół podstawowych zlokalizowanych w 113 gminach. Prezentowane wyniki opierają się na danych ponad 11 tysięcy uczniów, którzy wzięli udział we wszystkich trzech pomiarach. Badanie efektów narzędzia AI zeszyt.online zostało przeprowadzone przez Zespół Badań Ilościowych i Eksperymentalnych IBE PIB

Najważniejsze wyniki

Na początku badania uczniowie z obu grup nie różnili się poziomem umiejętności matematycznych ani badanymi postawami wobec matematyki. Po zakończeniu projektu uczniowie, którzy korzystali z platformy zeszyt.online osiągnęli wyższe wyniki niż uczniowie z grupy kontrolnej.

Zaobserwowany efekt wyniósł 0,09 odchylenia standardowego, co można interpretować jako około dodatkowy miesiąc nauki. Choć jest to efekt umiarkowany, mieści się w zakresie wyników typowo obserwowanych w badaniach edukacyjnych prowadzonych w warunkach rzeczywistej pracy szkół.

Analizy pokazały również, że korzystanie z platformy było zróżnicowane – część uczniów pracowała z narzędziem regularnie, część sporadycznie, a część wcale. To ważny sygnał, że skuteczność technologii edukacyjnych zależy nie tylko od jakości samego rozwiązania, ale także od sposobu jego wdrożenia i codziennego wykorzystania.

Co wynika z badania?

Wyniki badania wskazują, że odpowiednio zaprojektowane narzędzia cyfrowe mogą wspierać rozwój kompetencji matematycznych uczniów. Sama dostępność narzędzia nie przesądza jeszcze o jego efektach. Duże znaczenie ma to, w jaki sposób platforma zostaje włączona w codzienną pracę dydaktyczną oraz czy wspiera systematyczną aktywność ucznia. W tym sensie AI nie zastępuje nauczyciela, ale może wzmacniać jego pracę i pomagać w lepszym dopasowaniu nauki do potrzeb uczniów.

Badanie pokazuje również coś szerszego: w edukacji nie wystarczy, że rozwiązanie wydaje się obiecujące. Trzeba jeszcze sprawdzić, czy rzeczywiście działa. Właśnie dlatego tak ważne było zastosowanie schematu, który pozwolił porównać efekty osiągane przez uczniów korzystających z platformy i tych, którzy nie mieli do niej dostępu. Tego rodzaju wyniki są potrzebne po to, by decyzje o wdrażaniu innowacji w szkołach opierały się na dowodach, a nie wyłącznie na intuicji czy atrakcyjności samej technologii.

Pełny raport z badania zostanie opublikowany przed wakacjami. Już teraz zachęcamy do zapoznania się z załączonym podsumowaniem najważniejszych wyników.

• Podsumowanie wyników badania efektów narzędzia AI zeszyt.online (pobierz w PDF)