Model, który podaje prawdopodobieństwo wygrania rundy sekunda po sekundzie. Pobrałem zapisy profesjonalnych meczów Selenium, sparsowałem je demoparser2 i zbudowałem cechy w pandas: 9196 map, 187 361 rund i 16,8 mln stanów gry.
Porównałem dziewięć modeli z walidacją grupowaną po meczach i walk-forward po kwartałach, z testami bootstrap, ablacjami, kalibracją i SHAP. Najlepszy okazał się gradient boosting: LightGBM z log loss 0,527, ROC-AUC około 0,81–0,82 w kwartalnych testach walk-forward i oczekiwany błąd kalibracji (ECE) 0,0086 dla produkcyjnego modelu XGBoost. Predykcje serwuje FastAPI do aplikacji w React.
| Model | Log loss | ROC-AUC | Brier |
|---|---|---|---|
| LightGBM | 0,5267 | 0,8036 | 0,1790 |
| CatBoost | 0,5272 | 0,8059 | 0,1786 |
| XGBoost (produkcyjny) | 0,5289 | 0,8017 | 0,1800 |
| Las losowy | 0,5295 | 0,8035 | 0,1797 |
| MLP | 0,5323 | 0,8016 | 0,1807 |
| Extra trees | 0,5332 | 0,8043 | 0,1805 |
| Regresja logistyczna | 0,5518 | 0,7918 | 0,1858 |
| Regresja liniowa, punkt odniesienia | 0,5919 | 0,7889 | 0,1891 |
| Klasyfikator ridge | 0,6044 | 0,7889 | 0,2074 |
| Kwartał testowy | Mapy w treningu | AUC, logistyczna | AUC, XGBoost |
|---|---|---|---|
| 2024 Q1 | 844 | 0,7302 | 0,6498 |
| 2024 Q2 | 1448 | 0,7973 | 0,8049 |
| 2024 Q3 | 3519 | 0,8005 | 0,8140 |
| 2024 Q4 | 5315 | 0,8032 | 0,8183 |
| 2025 Q1 | 5999 | 0,8051 | 0,8217 |
| 2025 Q2 | 6457 | 0,8038 | 0,8190 |
| 2025 Q3 | 7172 | 0,7980 | 0,8119 |
| 2025 Q4 | 7828 | 0,8016 | 0,8142 |
| 2026 Q1 | 8770 | 0,7956 | 0,8094 |
