01 · Podstawy · 4 min czytania · Interaktywne · aktualizacja 8 października 2026

Na czym polega metoda największej wiarygodności (MLE) i dlaczego trenuje się nią modele?

Co to jest

Metoda największej wiarygodności (maximum likelihood estimation, MLE) to sposób szacowania parametrów modelu probabilistycznego: wybiera się te wartości parametrów, przy których zaobserwowane dane miałyby największe prawdopodobieństwo. Funkcja wiarygodności L(θ) to prawdopodobieństwo danych potraktowane jako funkcja parametrów θ, a estymator MLE to jej maksimum.

Intuicja: masz worek monet o nieznanym obciążeniu i wynik 891 rzutów. Pytasz każdą możliwą wartość obciążenia: „jak dobrze tłumaczysz to, co widzę?”. Wartość, która tłumaczy najlepiej, wygrywa. Większość funkcji straty w uczeniu maszynowym — błąd średniokwadratowy, entropia krzyżowa — to właśnie ujemny logarytm wiarygodności przy jakimś założeniu o szumie.

Mechanizm — dlaczego tak działa

Dla niezależnych obserwacji x₁, …, xₙ wiarygodność jest iloczynem: L(θ) = p(x₁|θ) · p(x₂|θ) · … · p(xₙ|θ). Iloczyn setek liczb mniejszych od 1 szybko spada poniżej precyzji komputera, więc pracuje się z log-wiarygodnością ℓ(θ) = Σ log p(xᵢ|θ). Logarytm jest rosnący, więc maksimum jest w tym samym miejscu, a suma ma przyjemne pochodne. Minimalizowanie −ℓ(θ) to typowa „funkcja straty”.

Dla zdarzeń tak/nie z prawdopodobieństwem p log-wiarygodność to k·log p + (n − k)·log(1 − p), gdzie k to liczba sukcesów. Pochodna równa zero daje p̂ = k/n — zwykły odsetek. Dla rozkładu normalnego MLE średniej to średnia z próby, a MLE wariancji to średni kwadrat odchylenia z dzielnikiem n (nie n − 1), więc jest lekko obciążony w dół.

Najważniejszy związek z uczeniem maszynowym: jeśli założyć, że y = f(x) + szum normalny o stałej wariancji, to maksymalizacja wiarygodności jest równoważna minimalizacji sumy kwadratów błędów — stąd metoda najmniejszych kwadratów. Jeśli y to klasa, a model podaje prawdopodobieństwa, ujemna log-wiarygodność to dokładnie entropia krzyżowa (log loss). Regresja logistyczna, sieć neuronowa z softmaksem i model językowy przewidujący następny token są trenowane przez MLE.

Dlaczego to dobry przepis? Przy rosnącej liczbie danych i poprawnie wybranym modelu estymator MLE jest zgodny (zbiega do prawdziwej wartości), asymptotycznie normalny i asymptotycznie najefektywniejszy — żaden rozsądny estymator nie ma mniejszej wariancji. Krzywizna log-wiarygodności w maksimum (informacja Fishera) mówi, jak dokładne jest oszacowanie: ostre maksimum oznacza mały błąd standardowy.

Ograniczenia. MLE ufa danym bez zastrzeżeń, więc przy małych próbach i bogatych modelach przeucza się: trzy rzuty i trzy orły dają p̂ = 1, a idealnie rozdzielone klasy pchają współczynniki regresji logistycznej do nieskończoności. Remedium to regularyzacja, która odpowiada dodaniu rozkładu a priori i przejściu do estymatora MAP — krok w stronę wnioskowania bayesowskiego. MLE jest też tylko tak dobra jak założony model: zła rodzina rozkładów daje parametry najlepsze w złym świecie.

Na przykładzie

Titanic: przeżyło 342 z 891 pasażerów. MLE prawdopodobieństwa przeżycia to p̂ = 342/891 = 0,384. Log-wiarygodność w tym punkcie wynosi −593,3; dla p = 0,5 spada do −617,6, a dla p = 0,3 do −607,6. Różnica 24,3 jednostki logarytmu naturalnego oznacza, że dane są około 3,5·10¹⁰ razy bardziej prawdopodobne przy p = 0,384 niż przy p = 0,5. Tak ostre maksimum to efekt dużej próby.

Regresja logistyczna bez regularyzacji z jedną cechą „kobieta” też jest MLE. Wyuczone prawdopodobieństwa przeżycia to 0,189 dla mężczyzn i 0,742 dla kobiet — dokładnie odsetki z danych, bo przy jednej cesze binarnej MLE odtwarza częstości w grupach. Iloraz szans wynosi 12,3, a średnia ujemna log-wiarygodność spada z 0,666 (model bez cech) do 0,515 — to ta sama liczba, którą log_loss w scikit-learn nazwałby entropią krzyżową. Dla płetw 123 pingwinów białobrewych MLE odchylenia standardowego to 6,46 mm, a wersja nieobciążona z dzielnikiem n − 1 — 6,48 mm.

Dane: Titanic Palmer Penguins (pingwiny z Antarktydy)

W praktyce

• scipy.stats.norm.fit(x), scipy.stats.gamma.fit(x) itd. zwracają estymatory MLE parametrów rozkładu.
• LogisticRegression(penalty=None) to czyste MLE; domyślne penalty='l2' to MAP z normalnym rozkładem a priori na wagach (siła zależy od C).
• PyTorch: nn.CrossEntropyLoss, nn.NLLLoss, nn.GaussianNLLLoss — minimalizacja ujemnej log-wiarygodności; nn.MSELoss odpowiada szumowi normalnemu o stałej wariancji.
• Zawsze sumuj logarytmy, nigdy nie mnóż prawdopodobieństw — iloczyn tysiąca wartości rzędu 0,5 to zero w arytmetyce zmiennoprzecinkowej.
• Ostrzeżenia o braku zbieżności przy regresji logistycznej często oznaczają idealną separację klas: MLE nie istnieje, a pomaga regularyzacja.

Najczęstsze pytania

Czym różni się wiarygodność od prawdopodobieństwa?

Wzór jest ten sam, zmienia się to, co traktujemy jako zmienne. Prawdopodobieństwo opisuje możliwe dane przy ustalonych parametrach i sumuje się do 1. Wiarygodność opisuje możliwe parametry przy ustalonych danych i nie musi sumować się do 1, więc nie jest rozkładem na parametrach.

Dlaczego minimalizacja MSE to szczególny przypadek MLE?

Bo log-gęstość rozkładu normalnego zawiera człon −(y − ŷ)² / (2σ²). Przy stałym σ maksymalizacja sumy tych członów to minimalizacja sumy kwadratów błędów. Inne założenie o szumie daje inną stratę — rozkład Laplace’a prowadzi do błędu bezwzględnego.

Czym różni się MLE od estymatora MAP?

MAP maksymalizuje wiarygodność pomnożoną przez rozkład a priori parametrów, czyli rozkład a posteriori. Przy płaskim a priori oba są równe. Regularyzacja L2 odpowiada a priori normalnemu, a L1 — rozkładowi Laplace’a.

Źródła

Zobacz też