Muse Spark 1.2 được huấn luyện thế nào: co-training, công việc long-horizon và vòng lặp tự cải thiện
"Built for Muse Spark" không phải khẩu hiệu marketing — nó mô tả một chiến lược huấn luyện. Ba kỹ thuật trong release notes của Meta lý giải vì sao model và agent phối hợp với nhau tốt hơn hẳn khi ghép với người lạ.
Một bản cập nhật tập trung vào code, scale mạnh tay
Muse Spark 1.2 là bản cập nhật của 1.1 nhắm thẳng vào code: sinh code, debug phức tạp, hiểu codebase, và các workflow developer trọn vẹn từ đầu đến cuối. Meta tăng đáng kể compute huấn luyện cho các tác vụ coding đồng thời mở rộng độ đa dạng của môi trường huấn luyện — và giữ nguyên sức mạnh general-agent của model thay vì đánh đổi nó. Kết quả đo được, khi ghép cùng Muse Code: 82.9% trên Terminal-Bench 2.1 và 59.3% trên DeepSWE 1.1, đủ sức cạnh tranh với những agent mạnh nhất trong phân khúc.
Kỹ thuật thứ nhất: co-train cùng harness
Phần lớn coding agent là một model chung chung khoác lên chiếc áo wrapper: harness prompt model, model chiều theo, và các đường ghép lộ ra dưới dạng retry và tool bị dùng sai. Meta thì huấn luyện Muse Spark 1.2 cùng với Muse Code. Hỗn hợp huấn luyện bao gồm các trajectory của harness qua rejection sampling — những phiên chạy agent hoàn chỉnh, được lọc để chỉ các phiên thành công mới dạy model — cộng thêm tối ưu recipe cho goal, compaction và subagent, cùng việc tích hợp bộ tool thật của Muse Code.
Hệ quả là một model đã nhìn thấy trước những tình huống harness sẽ đặt nó vào: khi nào nên fan-out việc cho subagent, phrase một tool call thế nào để runtime chấp nhận, một context đã compact trông ra sao. Tuyên bố của Meta — dùng tool tốt hơn, ít retry hơn, đầu ra chất lượng cao hơn wrapper chung chung — là dự đoán trực tiếp từ cách setup này.
Kỹ thuật thứ hai: huấn luyện long-horizon
Muse Spark 1.2 được huấn luyện sâu trên những nhiệm vụ không thể xong trong một lần ngồi: sinh trọn cả repository, các dự án lớn end-to-end, auto-research. Ba năng lực học được giữ cho loại việc này không rã đám — planning để xếp trình tự các bước, goal conditioning để giữ đúng hướng qua hàng trăm quyết định, và context compaction để giữ lại điều quan trọng khi lịch sử vượt cả cửa sổ 1M token. Đây không phải tính năng gắn thêm; chúng hiện diện thẳng trong sản phẩm dưới dạng /plan và /goal, và chính chúng làm nên phiên chạy kernel 24 giờ.
Kỹ thuật thứ ba: model chấm bài cho người kế nhiệm
Chi tiết thú vị nhất là vòng lặp tự cải thiện. Meta dùng Muse Spark 1.1 để sinh ra các môi trường coding thử thách và các template về tuân thủ chỉ dẫn, rồi cho nó chấm điểm các lời giải ứng viên theo mức độ thỏa mãn những yêu cầu đó. Đầu ra đã chấm trở thành bộ dữ liệu huấn luyện có thể scale cho 1.2 — thế hệ trước tự sản xuất cả đề thi lẫn đáp án chấm cho thế hệ sau. Meta ghi công cụ thể cho vòng lặp này về việc 1.2 tuân thủ các chỉ dẫn phức tạp chính xác hơn hẳn phiên bản tiền nhiệm.
Vì sao chuyện này quan trọng vượt ra ngoài một bản phát hành
Mỗi kỹ thuật cộng hưởng với các kỹ thuật còn lại: co-training biến harness thành tín hiệu huấn luyện, huấn luyện long-horizon khiến những nhiệm vụ lớn hơn trở nên học được, và tự cải thiện làm cả pipeline rẻ hơn để scale ở lần sau. Meta nói các model lớn hơn, mạnh hơn đang trên đường tới — và cỗ máy này hẳn chính là cách chúng sẽ được tạo ra. Phương pháp đánh giá đầy đủ được công bố trên trang nghiên cứu của Meta; còn muốn cảm nhận những con số này trong thực tế, hãy bắt đầu với quickstart.