터미널에 mp4를 던져 넣기: 멀티모달 코딩의 실체

그 데모

Meta의 출시 자료에서 한 사용자가 휴가용 별장을 훑어 찍은 플라이스루 영상을 mp4 파일로 터미널에 드롭합니다. Muse Code는 영상을 해석하고(방 구조, 채광, 주변 환경) 그 숙소를 위한 시각적으로 풍성한 마케팅·예약 페이지를 만들어냅니다. 기획서도, 카피라이팅 단계도, 에셋 목록도 없습니다. 영상 자체가 곧 명세서입니다.

단순한 비전 지원과 무엇이 다른가

이미지를 받는 모델은 많습니다. 쿡북의 vision-input 레시피가 정확히 그것을 다루고, 스크린샷을 던져 버그를 고치는 워크플로우도 이미 익숙합니다. 이 데모가 보여주는 것은 한 걸음 더 나아간 것입니다. 비구조화된 비(非)코드 미디어가 에이전트 루프 안에서 온전한 엔지니어링 작업의 일차 입력으로 쓰인다는 점입니다. 모델은 의도를 추출하고(이건 스스로를 팔아야 하는 임대 숙소다), 콘텐츠를 도출하고(페이지가 무엇을 말하고 무엇을 보여줘야 하는지), 그 이해를 바탕으로 계획-코드-검증이라는 평범한 멀티 페이지 빌드를 실행해야 합니다.

이것은 기존 파이프라인을 통째로 접어버립니다. “여기 집 영상이 있어요”에서 “여기 예약 사이트가 있어요”까지의 전통적인 경로는 카피라이터, 디자이너, 개발자를 차례로 거치며 각자가 앞 단계의 산출물을 번역합니다. 멀티모달 에이전트는 그 번역 체인을 내부에서 돌립니다.

실무 워크플로우에서의 자리

별장 페이지는 마케팅용 데모지만, 이 패턴은 엔지니어가 실제로 갖고 있는 입력들로 일반화됩니다. 말로 설명하기 힘든 버그의 화면 녹화, 아키텍처 스케치가 담긴 화이트보드 사진, 분석해야 할 경쟁사 제품 워크스루, 이미지로 내보낸 디자인 목업 같은 것들입니다. 과제의 가장 진실한 서술이 언어가 아니라 시각인 곳이라면 어디서든, 산문으로 근사치를 타이핑해 넣는 것은 손실 압축입니다. 아티팩트 자체를 건네는 것은 그렇지 않습니다.

쿡북의 퍼셉션 레시피들은 같은 방향을 더 작은 스케일로 스케치합니다. chart analysis는 이미지에서 구조화된 데이터를 추출하고, perception grounding은 사진 속 픽셀 위치에 인터랙티브 주석을 고정합니다. mp4 데모는 이 프리미티브들을 조합해 끝까지 밀어붙인 결과물입니다.

솔직한 단서 조항

출시 데모는 최상의 경우입니다. 이 깊이의 영상 해석은 토큰을 상당히 태웁니다. 입력 요금이 미디어에도 그대로 적용된다는 점을 기억해 둘 만합니다. 또 “영상이 곧 명세”라는 공식은 숙소 소개 페이지처럼 결과물의 형태가 관례적일 때 가장 잘 작동합니다. 그럼에도 방향 선언으로서는 모호함이 없습니다. 코딩 에이전트의 입력은 텍스트에서, 여러분의 의도를 가장 잘 담아내는 그 어떤 아티팩트로든 넓어지고 있습니다. 쿡북의 vision-input 레시피로 프리미티브를 직접 확인해 보시고, 퀵스타트를 따라가면 파일을 드롭할 수 있는 터미널까지 도달할 수 있습니다.