Synapse: jak sprawdzaliśmy nowy algorytm powtórek
Synapse to nowy algorytm powtórek w Taalhammerze: decyduje, kiedy karta wraca. Zanim zaplanował komukolwiek choć jedną powtórkę, dopasowaliśmy go do ocen, które nasi uczniowie już wystawili. Potem sprawdziliśmy jego przewidywania na ocenach, których wcześniej nie widział. Pokonał dotychczasowy algorytm we wszystkich trzech miarach, których używamy. Testerzy mogą teraz ustawić też docelową pamięć, czyli ile z tego, co wraca, masz jeszcze pamiętać. Tu opisujemy, jak testowaliśmy i jak wybrać to ustawienie.
Spis treści
Atom i Synapse
Od 2019 roku nasz algorytm powtórek nazywa się Atom. To on planuje każdą powtórkę w Taalhammerze i to on nadal jest domyślny.
Synapse to jego następca. Atom działa według stałego przepisu. Każda poprawna odpowiedź mnoży odstęp przez współczynnik zależny od tego, jak łatwa była dotąd karta. Synapse trzyma dla każdej karty mały model twojej pamięci. Przewiduje, z jakim prawdopodobieństwem przypomnisz ją sobie w danym dniu. Dlatego da się go sprawdzić tak, jak opisujemy niżej: przewidywanie można porównać z tym, co naprawdę zrobiłeś.
Jak sprawdziliśmy nowy algorytm powtórek, zanim ktokolwiek go użył
Nowy algorytm powtórek to ryzykowna rzecz do testowania na ludziach. Jeśli się myli, wychodzi to po tygodniach, kiedy karty, które należało powtórzyć, już uciekły. Dlatego najpierw sprawdziliśmy go na przeszłości.
Dane. Nasz dziennik powtórek zapisuje każdą ocenę z datą i godziną. Dla każdej karty (jeden uczeń, jedno zdanie, jeden kierunek) pierwsze 80% ocen poszło do nauki modelu. Ostatnie 20% zostawiliśmy do testu. Podział idzie po czasie, więc model nie uczy się z przyszłości, którą ma przewidzieć. Liczyliśmy tylko prawdziwe testy pamięci, czyli kartę pokazaną znowu po przerwie. Pierwsze spotkanie z kartą, dogrywki tego samego dnia i ekrany do przeczytania nie weszły do wyniku.
Dopasowanie. Synapse ma 21 liczb opisujących zachowanie pamięci. Dopasowaliśmy je do ocen naszych uczniów. Domyślne wartości pochodzą z cudzych fiszek.
Test. Dla każdej z 226 710 ocen testowych oba algorytmy podały prawdopodobieństwo, że pamiętasz kartę. Potem porównaliśmy je z tym, co się naprawdę stało.
| Miara | O co pyta | Synapse | Atom |
|---|---|---|---|
| AUC (im wyżej, tym lepiej) | Czy wie, które karty zapomnisz? | 0,686 | 0,597 |
| Błąd kalibracji (im niżej, tym lepiej) | Gdy mówi 80%, czy pamiętasz 80%? | 0,098 | 0,250 |
| Log-loss (im niżej, tym lepiej) | Jak mocno płaci za pewne pomyłki? | 0,43 | 0,59 |
Synapse dopasowany do naszych uczniów pokonał też Synapse z domyślnymi liczbami. Nauka na własnych danych się więc opłaciła. Różnica w log-loss to nie przypadek. W 1000 losowaniach zbioru testowego mieściła się między −0,179 a −0,148, czyli daleko od zera.
Co naprawdę mierzą AUC, kalibracja i log-loss
AUC to test kolejności. Weź losowo jedną kartę, którą pamiętałeś, i jedną, którą zapomniałeś. AUC to szansa, że algorytm dał tej zapomnianej niższe prawdopodobieństwo. Rzut monetą daje 0,5, idealna kolejność daje 1,0. Ta miara jest najważniejsza. Zadaniem algorytmu jest przywołać karty, które zaraz zapomnisz, a nie te, których jesteś pewien.
Kalibracja sprawdza, czy procenty są uczciwe. Zbierz wszystkie przewidywania „około 80%” i policz, ile z tych kart naprawdę pamiętałeś. Jeśli 80%, algorytm jest dobrze skalibrowany. Atom mylił się przeciętnie o około 25 punktów procentowych, Synapse o około 10. Od kalibracji zależy sens pokrętła opisanego niżej. Jeśli algorytm nie odróżnia 80% od 90%, takie pokrętło jest tylko ozdobą.
Log-loss surowo karze pewne pomyłki. „Jestem pewien na 99%” przy zapomnianej karcie kosztuje dużo więcej niż „60%”. To standardowa miara i właśnie ona może tu wprowadzić w błąd.
Nasi uczniowie pamiętają około 89% kart, które wracają na powtórkę. Wyobraź sobie „model”, który nie patrzy na kartę i zawsze mówi „89%”. Dostaje log-loss 0,23, lepszy od obu prawdziwych algorytmów. Ma też AUC równe 0,5, bo nie odróżnia jednej karty od drugiej. Gdy prawie każda odpowiedź to „pamiętam”, zgadywanie średniej jest tanie i log-loss je nagradza. Dlatego najpierw ufamy AUC i kalibracji, a log-loss czytamy tylko obok nich.
Osiem tygodni w cieniu, potem prawdziwi uczniowie
Test na starych ocenach nie pokaże, jak algorytm zachowa się, gdy to jego harmonogram decyduje o terminie karty. Dlatego Synapse przez osiem tygodni działał na naszych serwerach, nikomu nic nie pokazując. Przy każdej prawdziwej ocenie liczył swój termin obok terminu Atomu. Na 164 894 ocenach 1482 uczniów jego AUC wyniosło 0,749, a Atomu 0,604.
Od 29 września 2026 około 1358 uczniów podzieliliśmy losowo na dwie grupy. Połowa dostała Synapse, połowa została na Atomie. Docelowa pamięć wynosiła 82,5%. Pierwszy odczyt 19 października objął 1000 kart, które wróciły dwa razy. Uczniowie naprawdę pamiętali 83,2%, czyli mniej niż punkt procentowy od celu.
Czego jeszcze nie zmierzyliśmy. Te 1000 kart było młodych, z typową stabilnością około półtora dnia. Karty znane od miesięcy wracają po miesiącach, więc trzytygodniowy test ich jeszcze nie widzi. To największe otwarte pytanie i powód, dla którego domyślny zostaje Atom.
Co zrobiliśmy źle. Test złapał też błąd. Gdy drugi raz oceniłeś nową kartę choćby kilka minut przed upływem pełnej doby, Synapse brał to za powtórkę tego samego dnia. Następny termin potrafił wtedy skoczyć o około dwa miesiące. Naprawiliśmy to 25 października 2026 i przeliczyliśmy 4017 kart, których błąd dotknął. Jeśli Synapse wydał ci się kiedyś zbyt śmiały ze świeżą kartą, to pewnie dlatego.
Po co jest pokrętło „Ile powtórek”
Docelowa pamięć to odsetek kart, które masz jeszcze pamiętać, gdy wracają. Synapse wybiera termin powtórki tak, żeby tego dnia szansa przypomnienia spadła akurat do tego celu. Wyżej to częstsze powtórki. Niżej to mniej powtórek i więcej miejsca na nowe zwroty.
Wydaje się, że wyżej zawsze znaczy lepiej. Tak nie jest:
- Za wysoko, a powtarzasz w kółko to samo. Powtórka najmocniej utrwala, gdy już prawie zapomniałeś i musisz się wysilić, żeby sobie przypomnieć. Karta, którą i tak pamiętasz bez trudu, zabiera minutę i niewiele uczy. Psychologowie nazywają ten pożyteczny wysiłek pożądaną trudnością. Badania nad rozkładaniem nauki w czasie pokazują, że dłuższe przerwy, do pewnej granicy, dają lepszą pamięć długotrwałą (Cepeda i in., 2008).
- Za nisko, a karty uciekają. Gdy zapominasz za dużo, każda powtórka staje się nauką od nowa. Kosztuje to więcej niż zaoszczędzone powtórki.
Praca nie rośnie też równo. Podręcznik Anki ostrzega, że powyżej 90% liczba powtórek rośnie bardzo szybko (podręcznik Anki). Nasze liczby to potwierdzają.
Dlaczego domyślnie 82,5%
Domyślna wartość leży pośrodku. W odtworzeniu dawnych ocen Synapse okazał się lekko pesymistyczny. Przy celu 80% nasi uczniowie naprawdę pamiętali około 88,5%. Przy 82,5% realna pamięć wychodzi blisko 90%. Tam ląduje większość zaleceń dotyczących powtórek rozłożonych w czasie.
Co daje każdy krok
Tabela pokazuje, o ile później lub wcześniej wraca dobrze znana karta przy każdym kroku. Przykład to karta, która przy 82,5% wraca za 65 dni.
| Docelowa pamięć | Odstęp wobec domyślnego | Ta karta wraca za |
|---|---|---|
| 78% | 1,86× | około 121 dni |
| 80% | 1,42× | około 92 dni |
| 82,5% (domyślnie) | 1× | 65 dni |
| 85% | 0,70× | około 46 dni |
| 87,5% | 0,48× | około 31 dni |
| 90% | 0,32× | około 21 dni |
Skrajne wartości pominęliśmy celowo. Przy 95% ta sama karta wróciłaby po około 8 dniach (0,12×). Zdanie, które znasz na pamięć, wracałoby co tydzień. Przy 75% czekałaby 2,8 raza dłużej niż domyślnie i za dużo kart by uciekło. Każdy z sześciu kroków trzyma kartę między ćwiartką a podwojeniem jej domyślnego odstępu.
Czego pokrętło nie zmienia
- Nowych kart i błędnych odpowiedzi. Pierwsze kroki nauki karty i powtórka po pomyłce wracają następnego dnia, cokolwiek wybierzesz. Pokrętło działa na karty już nauczone.
- Obecnej kolejki. Działa od następnej powtórki każdej karty. Nie przeliczamy wszystkiego naraz, bo podkręcenie zasypałoby cię jednego dnia zaległymi kartami.
- „Prawie” dalej liczy się jako zapamiętane. Jeśli chcesz częściej widzieć młode karty, przekręć pokrętło o krok w górę.
Jak spróbować
Synapse jest dostępny dla małej grupy testerów. Jeśli do niej należysz, znajdziesz go w Ustawienia → Nauka, a pod nim kroki pokrętła. W każdej chwili możesz wrócić do Atomu. Oba pamiętają twoje postępy, a zmiana rozkłada się na kilka dni, więc nie dostaniesz lawiny powtórek.
Napisz nam, jak ci się z nim uczy: [email protected]. Liczby z tego artykułu pochodzą z waszych ocen. Z nich powstanie też następna wersja Synapse.
Sam pomysł powtórek rozłożonych w czasie wyjaśniamy w artykule o powtórkach w nauce języków obcych.
FAQ
Co to jest docelowa pamięć?
To odsetek kart, które masz jeszcze pamiętać, gdy wracają na powtórkę. Synapse wybiera termin tak, żeby szansa przypomnienia w tym dniu była równa temu celowi. Wyżej to więcej powtórek i mocniejsza pamięć, niżej mniej powtórek i więcej czasu na nowy materiał.
Jaką docelową pamięć wybrać?
Zacznij od domyślnych 82,5%, co w praktyce daje około 90% realnej pamięci. Przejdź krok w górę, jeśli za dużo kart wraca zapomnianych. Przejdź krok w dół, jeśli powtórki to tylko powtarzanie tego, co dobrze znasz. Daj każdej zmianie kilka tygodni, bo działa od następnej powtórki karty.
Czy Synapse jest lepszy od Atomu?
Na dawnych ocenach naszych uczniów lepiej przewidywał zapominanie we wszystkich miarach, których używamy. W teście na żywo realna pamięć wyszła o niecały punkt od celu. Nie widzieliśmy jeszcze, jak radzi sobie z kartami znanymi od miesięcy, więc do tego czasu domyślny zostaje Atom.