Jak trenowano Muse Spark 1.2: współtrening z harnessem, praca long-horizon i pętla samodoskonalenia
„Zbudowany dla Muse Spark” to nie marketingowy skrót — to opis strategii treningowej. Trzy techniki z release notes Mety tłumaczą, dlaczego model i agent działają razem lepiej, niż każde z nich działałoby z obcym.
Aktualizacja pod kod, mocno przeskalowana
Muse Spark 1.2 to aktualizacja wersji 1.1 wycelowana prosto w kod: generowanie, złożone debugowanie, rozumienie codebase’ów i workflow deweloperskie od początku do końca. Meta znacząco przeskalowała compute treningowy na zadaniach kodowych, poszerzając zarazem różnorodność środowisk treningowych — i zachowała ogólnoagentową siłę modelu, zamiast oddać ją w zamian. Mierzalny wynik, w parze z Muse Code: 82,9% na Terminal-Bench 2.1 i 59,3% na DeepSWE 1.1 — konkurencyjnie wobec najsilniejszych agentów w kategorii.
Technika pierwsza: współtrening z harnessem
Większość agentów kodujących to generyczny model w przebraniu wrappera: harness promptuje model, model grzecznie odpowiada, a szwy wychodzą na jaw jako retraje i źle użyte narzędzia. Meta zamiast tego trenowała Muse Spark 1.2 razem z Muse Code. Mix treningowy obejmował trajektorie harnessu z rejection samplingu — kompletne przebiegi agenta, przefiltrowane tak, by uczyły model tylko te udane — plus optymalizacje przepisów na cele, kompakcję i subagentów oraz integrację faktycznego zestawu narzędzi Muse Code.
Konsekwencją jest model, który widział już sytuacje, w jakie postawi go harness: kiedy rozdzielić pracę na subagenta, jak sformułować wywołanie narzędzia, które runtime zaakceptuje, jak wygląda skompaktowany kontekst. Twierdzenie Mety — lepsze użycie narzędzi, mniej ponownych prób, wyższa jakość wyników niż w generycznym wrapperze — jest bezpośrednią przewidywalną konsekwencją tego układu.
Technika druga: trening long-horizon
Muse Spark 1.2 był intensywnie trenowany na zadaniach, które nie mieszczą się w jednym posiedzeniu: generowanie całych repozytoriów, duże projekty end-to-end, auto-research. Taką pracę spinają trzy wyuczone zdolności — planowanie, żeby ułożyć kroki w sekwencję, goal conditioning, żeby utrzymać kierunek przez setki decyzji, i kompakcja kontekstu, żeby zachować to, co istotne, gdy historia przerośnie nawet okno 1M tokenów. To nie są dokręcone później funkcje; wychodzą wprost na powierzchnię produktu jako /plan i /goal i to one umożliwiły 24-godzinny przebieg na kernelach.
Technika trzecia: model, który oceniał swojego następcę
Najciekawszy detal to pętla samodoskonalenia. Meta użyła Muse Spark 1.1 do generowania wymagających środowisk kodowych i szablonów instrukcji, a następnie kazała mu oceniać kandydackie rozwiązania pod kątem tego, jak dobrze spełniają te wymagania. Oceniony output stał się skalowalnym zbiorem treningowym dla 1.2 — poprzednia generacja wyprodukowała zarówno egzamin, jak i klucz odpowiedzi dla następnej. Meta przypisuje tej pętli konkretnie to, że 1.2 wykonuje złożone instrukcje precyzyjniej niż poprzednik.
Dlaczego to ma znaczenie poza jednym wydaniem
Każda z technik wzmacnia pozostałe: współtrening czyni harness sygnałem treningowym, trening long-horizon czyni większe zadania wyuczalnymi, a samodoskonalenie sprawia, że cały pipeline będzie następnym razem tańszy w skalowaniu. Meta zapowiada większe, zdolniejsze modele — i to zapewne tą maszynerią będą budowane. Pełna metodologia ewaluacji jest opublikowana na stronie badawczej Mety; a żeby poczuć, co te liczby znaczą w praktyce, zacznij od quickstartu.