24 uur, 1.000 tool calls: wat de kernel-casestudy echt bewijst
Benchmarks meten de sprint van een agent. Meta's kernel-optimalisatiestudie meet de marathon — en dat is het interessantere getal.
De opzet
Meta testte hoe goed Muse Spark 1.2 GPU-kernels iteratief kan optimaliseren over meer dan 1.000 tool calls, in runs die tot 24 uur duurden. Binnen de agent-omgeving van Muse Code schrijft het model een kernel, compileert die, profileert hem tegen een meegeleverde baseline en gebruikt de profileringsdata voor de volgende poging — een strakke schrijf-compileer-profileer-verbeter-lus, een volle dag volgehouden. De benchmark richtte zich op KDA- en MLA-attention-kernels op NVIDIA Hopper-GPU’s.
Eén regel hield de test eerlijk: modellen mochten geen externe kernel-bibliotheken zoals FLA importeren. Geen bestaande snelle implementatie inpakken en met de eer strijken — de agent moest echte kernel-optimalisatiekennis toepassen en de algoritmes zelf in Triton implementeren.
Wat de agent daadwerkelijk bouwde
De oplossingen waren allesbehalve generiek. Voor KDA — afgezet tegen de FLA-Triton-implementatie — combineerde Muse Spark 1.2 een chunk-parallelle voorbereidingskernel met een sequentiële inter-chunk-scan, en stapelde daar bovenop standaard fusion en tiling KDA-specifieke ingrepen zoals het hercentreren van de gated cumulatieve decay op het midden van de chunk. Voor MLA — tegen een PyTorch-referentie bij batchgrootte 1, 64 heads, sequentielengte 8192, latente dimensie 512 — ontwierp het een Triton-pipeline van twee kernels die de gedeelde KV-latent hergebruikt als zowel K als V.
Dat zijn optimalisaties die een specialist pas schrijft nadat hij de structuur van het algoritme doorgrondt, geen oppervlakkige loop-trucjes. En de agent bleef gedurende de hele run substantiële verbeteringen ten opzichte van de baseline vinden — vooruitgang die zich over honderden iteraties opstapelde in plaats van na de eerste uitbarsting te plafonneren.
Waarom die 24 uur de echte kop is
Genoeg modellen kunnen twintig minuten lang een kernel verbeteren. Een dag lang gericht vooruitgang boeken vraagt infrastructuur die de meeste agents niet hebben. Drie onderdelen dragen de last. Goal conditioning houdt iteratie 700 op hetzelfde doel gericht als iteratie één — het model is hier precies voor getraind. Contextcompactie bewaart de kennis die ertoe doet (welke strategieën faalden, wat de profiler zei) zonder te verdrinken in een dag aan geschiedenis. En het event log maakt de runtime herstartbestendig — in 24 uur gaat er gegarandeerd iets haperen, en een crash die uur 23 zou wissen, zou de hele oefening zinloos maken.
Wat dit betekent voor gewoon werk
Weinig teams optimaliseren Hopper-kernels. Maar de vorm van de taak — itereren tegen een meetbaar doel, leren van elke poging, de draad niet kwijtraken — past op een hoop onglamoureus engineeringwerk: een flaky testsuite temmen, een bundlegrootte omlaag schuren, een API migreren over honderd call sites tegelijk. De casestudy is Meta’s bewijs dat “zet het aan en kijk morgen” inmiddels een echte workflow is. De evaluatiemethodiek staat op Meta’s researchsite; de productkant van long-horizon-werk begint in de docs.