Thả một file mp4 vào terminal: coding đa phương thức trình diễn thực tế
Demo ra mắt táo bạo nhất một cách lặng lẽ chẳng liên quan gì đến tốc độ hay chạy song song. Đó là một file video biến thành một website.
Màn demo
Trong tài liệu ra mắt của Meta, một người dùng thả đoạn video bay xuyên qua một căn nhà nghỉ dưỡng vào terminal dưới dạng file mp4. Muse Code diễn giải video — các căn phòng, ánh sáng, khung cảnh — rồi tạo ra một trang marketing kiêm đặt phòng giàu hình ảnh cho bất động sản đó. Không brief, không vòng viết copy, không danh sách asset. Chính video là bản đặc tả.
Vì sao chuyện này khác với “hỗ trợ vision”
Khối model nhận được ảnh; recipe vision-input trong cookbook phủ đúng phần đó, và screenshot-thành-bugfix vốn đã là workflow quen thuộc. Điều màn demo cho thấy đi xa hơn một bậc: media phi cấu trúc, không phải code, được dùng làm đầu vào chính cho một nhiệm vụ kỹ thuật hoàn chỉnh, ngay bên trong vòng lặp agent. Model phải rút ra ý định (đây là bất động sản cho thuê cần tự bán được mình), suy ra nội dung (các trang nên nói gì và hiện gì), rồi thực thi một bài build nhiều trang bình thường — lập kế hoạch, viết code, kiểm chứng — từ chính sự thấu hiểu đó.
Điều này gập cả pipeline truyền thống lại. Con đường quen thuộc từ “đây là video căn nhà” đến “đây là trang đặt phòng” đi qua một copywriter, một designer và một developer, mỗi người dịch lại đầu ra của bước trước. Một agent đa phương thức chạy toàn bộ chuỗi phiên dịch đó bên trong chính nó.
Nó khớp vào workflow thực tế ở đâu
Trang nhà nghỉ dưỡng là demo marketing, nhưng pattern này khái quát hóa sang những đầu vào mà kỹ sư thực sự có: một bản screen recording về con bug khó tả bằng lời; tấm ảnh chụp bảng trắng với sơ đồ kiến trúc; một video walkthrough sản phẩm đối thủ cần nghiên cứu; một bản mock thiết kế xuất ra dạng ảnh. Bất cứ nơi nào mô tả chân thực nhất của nhiệm vụ là hình ảnh chứ không phải ngôn từ, việc gõ một bản xấp xỉ bằng văn xuôi vào prompt là nén mất mát dữ liệu. Đưa thẳng chính artifact đó thì không.
Các recipe về perception trong cookbook phác cùng hướng đi ở quy mô nhỏ hơn — phân tích biểu đồ trích xuất dữ liệu có cấu trúc từ ảnh, perception grounding ghim các chú thích tương tác vào đúng vị trí pixel trong một bức ảnh. Màn demo mp4 chính là những primitive đó, được ghép lại và đẩy đến kết luận cuối cùng.
Những lưu ý thẳng thắn
Demo ra mắt là kịch bản đẹp nhất. Diễn giải video ở độ sâu này đốt token nghiêm túc — nên nhớ rằng giá input áp dụng cho cả media — và “video là bản spec” hoạt động tốt nhất khi hình hài của sản phẩm bàn giao là thứ quen thuộc, như một trang giới thiệu bất động sản. Nhưng xét như một tuyên bố về hướng đi thì nó không thể rõ ràng hơn: phía đầu vào của coding agent đang mở rộng từ văn bản sang bất kỳ artifact nào chuyên chở ý định của bạn tốt nhất. Hãy thử recipe vision-input trong cookbook để thấy primitive này; còn quickstart đưa bạn tới chiếc terminal nơi bạn có thể thả file vào.