Muse Spark 1.2는 어떻게 훈련되었나: 공동 훈련, 롱 호라이즌, 그리고 자기 개선 루프

코딩에 정조준한 업데이트, 그리고 과감한 스케일링

Muse Spark 1.2는 1.1을 코드에 정면으로 겨냥해 업데이트한 모델입니다. 코드 생성, 복잡한 디버깅, 코드베이스 이해, 그리고 엔드투엔드 개발 워크플로우가 대상입니다. Meta는 코딩 태스크에 투입하는 훈련 컴퓨트를 대폭 늘리는 동시에 훈련 환경의 다양성을 넓혔고, 그 과정에서 범용 에이전트 역량을 깎아 맞바꾸는 대신 그대로 유지했습니다. Muse Code와 짝을 이뤘을 때의 측정 가능한 결과는 Terminal-Bench 2.1에서 82.9%, DeepSWE 1.1에서 59.3%. 이 카테고리 최강 에이전트들과 견줄 만한 수치입니다.

기법 하나: 하네스와의 공동 훈련

대부분의 코딩 에이전트는 범용 모델에 래퍼를 입힌 구조입니다. 하네스가 모델에 프롬프트를 보내고 모델은 응하지만, 이음새는 재시도와 잘못 쓰인 툴로 드러납니다. Meta는 대신 Muse Spark 1.2를 Muse Code와 함께 훈련했습니다. 훈련 데이터 믹스에는 리젝션 샘플링을 거친 하네스 궤적, 즉 성공한 실행만 걸러내 모델을 가르치는 완전한 에이전트 런들이 포함되었고, 여기에 목표(goal)·컴팩션·서브에이전트를 위한 레시피 최적화와 Muse Code 실제 툴셋의 통합이 더해졌습니다.

그 결과 모델은 하네스가 자신을 몰아넣을 상황들을 이미 겪어본 상태가 됩니다. 언제 서브에이전트로 작업을 분산해야 하는지, 런타임이 받아줄 툴 콜을 어떻게 표현해야 하는지, 컴팩션된 컨텍스트가 어떤 모습인지 말입니다. 더 나은 툴 사용, 더 적은 재시도, 범용 래퍼보다 높은 출력 품질이라는 Meta의 주장은 이 셋업에서 곧바로 도출되는 예측입니다.

기법 둘: 롱 호라이즌 훈련

Muse Spark 1.2는 한자리에서 끝나지 않는 태스크로 집중 훈련되었습니다. 저장소 통째 생성, 대형 엔드투엔드 프로젝트, 자동 리서치 같은 것들입니다. 이런 작업을 지탱하는 학습된 능력이 셋 있습니다. 단계를 배열하는 계획 수립(planning), 수백 번의 결정에 걸쳐 방향을 유지하는 목표 조건화(goal conditioning), 그리고 히스토리가 1M 토큰 윈도우마저 넘칠 때 중요한 것만 남기는 컨텍스트 컴팩션입니다. 나중에 덧붙인 기능이 아니라 제품에 /plan과 /goal로 그대로 드러나는 능력들이고, 24시간 커널 런을 가능하게 한 바로 그것입니다.

기법 셋: 후계자를 채점한 모델

가장 흥미로운 디테일은 자기 개선 루프입니다. Meta는 Muse Spark 1.1에게 까다로운 코딩 환경과 지시 이행(instruction-following) 템플릿을 생성하게 한 뒤, 후보 솔루션들이 그 요구사항을 얼마나 잘 충족하는지 직접 채점하게 했습니다. 채점된 산출물은 1.2를 위한 확장 가능한 훈련 데이터셋이 되었습니다. 이전 세대가 다음 세대를 위한 시험지와 채점 기준을 동시에 제조한 셈입니다. Meta는 1.2가 전작보다 복잡한 지시를 더 정밀하게 따르게 된 공을 구체적으로 이 루프에 돌립니다.

릴리스 하나를 넘어서는 의미

세 기법은 서로를 복리로 증폭합니다. 공동 훈련은 하네스를 훈련 신호로 만들고, 롱 호라이즌 훈련은 더 큰 태스크를 학습 가능하게 만들며, 자기 개선은 파이프라인 전체를 다음번에 더 싸게 확장할 수 있게 만듭니다. Meta는 더 크고 유능한 모델들이 오고 있다고 말하는데, 아마 그 모델들은 바로 이 기계장치로 만들어질 것입니다. 전체 평가 방법론은 Meta 리서치 사이트에 공개되어 있고, 이 숫자들이 실제로 어떤 느낌인지 궁금하다면 퀵스타트에서 시작해 보십시오.