24 jam, 1.000 tool call: apa yang dibuktikan studi kasus optimasi kernel
Benchmark mengukur sprint sebuah agent. Studi optimasi kernel dari Meta mengukur maratonnya — dan justru angka itulah yang lebih menarik.
Setup eksperimennya
Meta menguji kemampuan Muse Spark 1.2 untuk mengoptimasi GPU kernel secara iteratif melewati lebih dari 1.000 tool call, dalam run yang berlangsung hingga 24 jam. Di dalam lingkungan agentic Muse Code, model menulis kernel, mengompilasinya, mem-profile-nya terhadap baseline yang disediakan, lalu memakai data profiling itu untuk mencoba lagi — loop rapat tulis-kompilasi-profile-perbaiki yang dipertahankan selama sehari penuh. Target benchmark-nya adalah kernel attention KDA dan MLA di GPU NVIDIA Hopper.
Satu aturan membuat ujian ini jujur: model dilarang mengimpor library kernel pihak ketiga seperti FLA. Tidak boleh membungkus implementasi cepat yang sudah ada lalu mengaku-aku — agent harus benar-benar menerapkan pengetahuan optimasi kernel dan mengimplementasikan algoritmanya sendiri di Triton.
Apa yang benar-benar dibangun agent-nya
Solusinya jauh dari generik. Untuk KDA — yang di-benchmark terhadap implementasi Triton milik FLA — Muse Spark 1.2 memasangkan kernel persiapan chunk-parallel dengan scan sekuensial antar-chunk, menggabungkan fusion dan tiling standar dengan trik khas KDA seperti me-recenter gated cumulative decay di titik tengah chunk. Untuk MLA — melawan referensi PyTorch pada batch size 1, 64 head, panjang sequence 8192, dimensi laten 512 — ia merancang pipeline Triton dua kernel yang memakai ulang KV laten bersama sebagai K sekaligus V.
Itu jenis optimasi yang ditulis seorang spesialis setelah memahami struktur algoritmanya, bukan sekadar utak-atik loop di permukaan. Dan sepanjang run, agent terus menemukan perbaikan berarti di atas baseline — kemajuan yang terakumulasi melintasi ratusan iterasi, bukan mandek setelah letupan pertama.
Kenapa 24 jam adalah headline sesungguhnya
Banyak model bisa memperbaiki sebuah kernel selama dua puluh menit. Mempertahankan kemajuan yang terarah selama sehari penuh butuh infrastruktur yang tidak dimiliki kebanyakan agent. Ada tiga komponen yang memikul beban itu. Goal conditioning menjaga iterasi ke-700 tetap membidik sasaran yang sama dengan iterasi pertama — model ini memang dilatih persis untuk itu. Context compaction menyimpan pengetahuan yang penting (strategi mana yang gagal, apa kata profiler) tanpa tenggelam dalam riwayat sehari penuh. Dan event log membuat runtime-nya aman dari restart — dalam 24 jam, pasti ada yang tersendat, dan crash yang menghapus jam ke-23 akan membuat seluruh latihan ini sia-sia.
Sinyalnya untuk pekerjaan sehari-hari
Hanya segelintir tim yang mengoptimasi kernel Hopper. Tapi bentuk tugasnya — iterasi melawan target yang terukur, belajar dari setiap percobaan, jangan kehilangan benang merah — cocok dengan banyak pekerjaan engineering yang tidak glamor: mengejar test suite yang flaky, menggerus ukuran bundle sedikit demi sedikit, memigrasi sebuah API seratus call site sekali jalan. Studi kasus ini adalah bukti dari Meta bahwa “jalankan sekarang, cek besok pagi” kini workflow yang nyata. Metodologi evaluasinya dipublikasikan di situs riset Meta; sisi produk dari pekerjaan long-horizon dimulai di docs.