- Hrateľné
BAA - finálna hra
Krátka 3D arkádová hra o ovčiarskom psovi, ktorý ženie stádo cez lúky do košiara. Toto je hrateľná verzia; vyššie je vidieť, ako rovnaké zadanie zvládli jednotlivé modely.
Benchmark LLM-iek
BEE-nchmark porovnáva, ako rôzne modely zvládli zadanie vytvoriť krátku 3D arkádovú hru o zaháňaní oviec.
Kompletné poradie
Predvolené poradie vychádza z praktického výsledku. Filtre nemenia poradie, iba skrývajú nezodpovedajúce modely.
Žiadny model nezodpovedá zvoleným filtrom.
| Náhľad | Model | Typ | Počet parametrov / požiadavky** | Výsledok | Chyby | Poznámka | Demo |
|---|---|---|---|---|---|---|---|
|
1Claude Opus 5 | Uzavretý | — | Bez zistených chýb | - | Demo | |
|
2Claude Fable 5 | Uzavretý | — | Minimum, pár drobných chýb | Reasoning effort 4/6, nie maximum. Drobná oprava viewportu na Macoch. |
Demo | |
|
3Kimi K3 | Otvorené váhy | 2,8T 1,56 TB ≈147,9 GB / 100K | Minimum, drobné chyby | Cena generovania 7,31 USD. | Demo | |
|
4GPT-5.6 Sol | Uzavretý | — | Málo chýb | - | Demo | |
|
5Claude Opus 4.8 | Uzavretý | — | Málo chýb | - | Demo | |
|
6Grok 4.5 | Uzavretý | — | Bez zjavnej vážnej chyby | - | Demo | |
|
7Gemini 3.5 Flash | Uzavretý | — | Málo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
8Gemini 3.6 Flash | Uzavretý | — | Bez vážnych chýb | - | Demo | |
|
9Qwen 3.6 27B ThinkingCap | Otvorené váhy, GGUF | 27B 16,8 GB ≈6,71 GB / 100K | Bez vážnych chýb | ThinkingCap úprava od Bottlecapu. Generovanie trvalo 17 minút; bez opravného promptu. | Demo | |
|
10Muse Spark 1.2 | Uzavretý | — | Veľa chýb, po čase zamŕza | Zaznamenaný čas: 4 min 19 s. | Demo | |
|
11GPT-5.6 Terra | Uzavretý | — | Veľa chýb | Zaznamenaný čas: 20 min. | Demo | |
|
12Qwen 3.5 397B A17B | Otvorené váhy | 397B 235,7 GB ≈3,27 GB / 100K | Veľa vážnych chýb | - | Demo | |
|
13MiniMax M2.7 | Otvorené váhy | 229,9B ≈139,9 GB ≈25,4 GB / 100K | Veľa vážnych chýb | Postavy sa takmer vôbec nehýbu. | Demo | |
|
14Qwen 3.8 Max Preview | Uzavretý | 2,4T | Zvláštne ovládanie, málo ďalších chýb | Generovanie sa z neznámeho dôvodu zastavilo pred dokončením. | Demo | |
|
15DeepSeek V4 Flash 0731 DS4 | Otvorené váhy | 284B 164,6 GB ≈1,22 GB / 100K | Zvláštna kamera a množstvo chýb | Použitá úspornejšia Q2 kvantizácia, ktorá sa zmestila do 96 GB RAM. Čas: 1 h 49 min. | Demo | |
|
16GPT-5.5 | Uzavretý | — | Množstvo chýb | - | Demo | |
|
17MiniMax M3 | Otvorené váhy | 428B ≈261,3 GB | Množstvo chýb | - | Demo | |
|
18Claude Sonnet 4.6 | Uzavretý | — | Niekoľko chýb | Generovanie trvalo mimoriadne dlho, vyše hodiny. | Demo | |
|
19GLM 5.2 | Otvorené váhy (OpenRouter) | 744B 464,8 GB ≈9,52 GB / 100K | Množstvo chýb | - | Demo | |
|
20DeepSeek V4 Flash | Otvorené váhy (OpenRouter) | 284B 159,6 GB ≈0,71 GB / 100K | Množstvo chýb | - | Demo | |
|
21Qwen 3.7 Max | Uzavretý | — | Veľmi veľa chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
22DeepSeek V4 Pro | Otvorené váhy (OpenRouter) | 1,6T 864,7 GB ≈1,01 GB / 100K | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
23Big Pickle | Neznáme | — | Množstvo chýb | - | Demo | |
|
24Kimi 2.7 Code | Otvorené váhy (OpenRouter) | 1T 595,2 GB | Množstvo chýb | Vyžadoval 3 opravné prompty. | Demo | |
|
25Qwen 3.6 27B | Otvorené váhy | 27B 19,1 GB ≈6,71 GB / 100K | Množstvo chýb | - | Demo | |
|
26Qwen 3.5 122B A10B | Otvorené váhy | 122B 78,9 GB ≈2,61 GB / 100K | Veľmi veľa chýb | Ovce aj pes lietajú. | Demo | |
|
27GLM 4.7 Flash | Otvorené váhy (OpenRouter) | 30B ≈19,1 GB ≈5,41 GB / 100K | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
28Qwen 3.6 35B A3B | Otvorené váhy | 35B ≈21,4 GB ≈2,11 GB / 100K | Množstvo chýb | Vyžadoval ešte 1 opravný prompt. | Demo | |
|
29Gemma 4 31B | Otvorené váhy | 30,7B 17,7 GB ≈9,03 GB / 100K | Množstvo chýb | Vyžadoval ešte 1 opravný prompt. | Demo | |
|
30Laguna S 2.1 | Otvorené váhy | 118B 71,9 GB ≈4,99 GB / 100K | Veľmi veľa vážnych chýb; padá | Vyžadoval 5 opravných promptov; prvé generovanie trvalo 1 h 31 min. | Demo | |
|
31GPT-5.6 Luna | Uzavretý | — | Pár chýb | Zaznamenaný čas: 13 min 26 s. | Demo | |
|
32MiMo v5 | Otvorené váhy | — | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
33Mistral Small 4 | Otvorené váhy | 119B 70,8 GB ≈2,3 GB / 100K | Veľmi veľa vážnych chýb | Vyžadoval 3 opravné prompty. | Demo | |
|
34Ornith 1.0 35B | Otvorené váhy | 35B 21,2 GB ≈2,11 GB / 100K | Množstvo chýb | Vyžadoval 2 opravné prompty. | Demo | |
|
35Qwen 3.5 A3B | Otvorené váhy | — | Množstvo chýb | - | Demo | |
| 36Nemotron 3 Ultra | Otvorené váhy | 550B 352,3 GB | — | - | — |
**Podľa dostupnosti: počet parametrov, veľkosť Q4 váh pri 0K a cache/stav pri 100K. Váhy sú konkrétny Q4 checkpoint alebo označený odhad Q4_K_M; 100K platí pre jednu sekvenciu v zdokumentovanom runtime. Kvantizácia váh nemení cache, pokiaľ runtime zachová rovnaký cache layout a dátové typy. Pri hybridných modeloch sa môže iný runtime výrazne líšiť. Neoveriteľné údaje sa nezobrazujú a samotná pomlčka znamená, že nie je známy žiadny údaj. Bez runtime bufferov, vision častí a offloadu; nejde o univerzálne minimum RAM/VRAM.
Poznámky sa týkajú opravných promptov potrebných na spustenie hry (napríklad JavaScript chyba) a prípadných nastavení behu, ako je reasoning effort. Žiadny opravný prompt sa netýkal ladenia samotnej hry.
Na mobile alebo tablete tlačidlo Demo otvorí ovládací panel so šípkami a A/B; pri hre s vlastným dotykovým ovládaním otvorí originál. Pôvodný benchmark kód ostáva nezmenený.
Metodika
Prompt je zachovaný v pôvodnom znení. Hodnotenie vychádza z reálneho spustenia, hrateľnosti, chýb a obmedzení konkrétneho výstupu.
Chcel by som vytvorit jednoduchu arkadovu hru, trocha akoby to bola nintendo hra ale v 3D s pohladu z tretej osoby ale trocha vzdialena kamera. Hra bude v prostredi luk v horach na kopcovitom vlnenom terene kde sa pasu ovce, Vacsina plochy budu luky, v pozadi hory a lesy a nejake domy. Hrac bude hrat za ovciarskeho alebo ineho psa ktory sa pouziva pri zahanani oviec, nech si vie vybrat z par plemien ktore sa budu lisit niektorymi vlastnostami. Hrac bude mat moznost sa pohybovat sipkami, medzerou alebo nejakym vhodnym key na klavesnici bude moct brechat co bude moct pouzit aj na ovce teda ak to realne pomaha pri zahanani, ale aj na odplasenie inych zvierat, napr. inych psov, vlkov, medveda, ludi okrem pastiera ktory sa bude tiez nachadzat na luke. Ovce nech reaguju na psa cize budu sa pohybovat v stade ale budu sa pohybovat tak ako ich pes zazenie, nech beekaju (baa), ale nech to je arkadove. Podstata hry ma byt zaviest ovce do kosiara cize, z bodu A do bodu B a celit nastraham ako su obcasne vypady inych psov, vynimocne vlkov, alebo medveda. Vlci a medved nech su nieco ako bosovia alebo proste vacsie prekazky v dalsich levelov. Vymysli si mensie lahsie prekazky v prvych leveloch. Levelov nech je nejaky rozumny pocet, mysli na to ze toto ma byt kratka hra na pobavenie na par minut max par desiatok minut mozno 1 hodina ak by sa to hralo do konca do posledneho levela. Na mape by sa mohli objavovat aj ine zvierata, navhrni napr. kravy, lisky obcas niekde nejake vtaky atd. proste priroda. Nech su okrem luk aj nejaka ta polna cesta, obcas nejake prekazdky ci uz v podobe ohrad, utesov, krikov cez ktore ovce neprejdu. Grafika nech je pekna, farebna, arkadova, trocha nech pripomina akoby to bolo nintendo hra ale nekopiruj ziadnu konkretnu hru respektive jej dizajn. Hru napis v html/javascript/
Samostatné demo
Ručne dokončená hrateľná verzia je oddelená od poradia modelov a slúži ako samostatné demo pôvodného nápadu.
Krátka 3D arkádová hra o ovčiarskom psovi, ktorý ženie stádo cez lúky do košiara. Toto je hrateľná verzia; vyššie je vidieť, ako rovnaké zadanie zvládli jednotlivé modely.