Einfach eine MP4 ins Terminal ziehen: multimodales Coding in Aktion
Die auf leise Art radikalste Launch-Demo drehte sich weder um Geschwindigkeit noch um Parallelität — sondern darum, wie aus einer Videodatei eine Website wird.
Die Demo
In Metas Launch-Material zieht ein Nutzer ein Rundflug-Video durch ein Ferienhaus als MP4-Datei ins Terminal. Muse Code interpretiert das Video — die Räume, das Licht, die Lage — und baut daraus eine visuell aufwendige Marketing- und Buchungsseite für die Immobilie. Kein Briefing, kein Copywriting-Durchgang, keine Asset-Liste. Das Video ist die Spezifikation.
Warum das mehr ist als Vision-Support
Bilder entgegennehmen können viele Modelle; das Vision-Input-Rezept im Cookbook behandelt genau das, und Screenshot-zu-Bugfix ist längst ein vertrauter Workflow. Die Demo zeigt aber eine Stufe darüber: unstrukturierte Nicht-Code-Medien als primären Input für eine vollständige Engineering-Aufgabe, mitten im Agent-Loop. Das Modell muss die Absicht extrahieren (das ist ein Mietobjekt, das sich selbst verkaufen soll), Inhalte ableiten (was die Seiten sagen und zeigen sollen) und daraus einen ganz normalen mehrseitigen Build durchziehen — Planung, Code, Validierung.
Das kollabiert die übliche Pipeline. Der klassische Weg von „hier ist ein Video vom Haus“ zu „hier ist die Buchungsseite“ führt über Texter, Designer und Entwickler, die jeweils den Output der vorherigen Stufe übersetzen. Ein multimodaler Agent fährt diese Übersetzungskette intern.
Wo das in echte Workflows passt
Die Ferienhaus-Seite ist eine Marketing-Demo, aber das Muster generalisiert auf Inputs, die Entwickler tatsächlich haben: eine Bildschirmaufnahme eines Bugs, der sich in Worten kaum beschreiben lässt; ein Whiteboard-Foto einer Architekturskizze; ein Konkurrenz-Walkthrough zum Studieren; ein als Bild exportierter Design-Mock. Überall dort, wo die ehrlichste Beschreibung der Aufgabe visuell statt verbal ist, ist eine Prosa-Annäherung im Prompt verlustbehaftete Kompression. Das Artefakt selbst zu übergeben ist es nicht.
Die Perception-Rezepte im Cookbook skizzieren dieselbe Richtung in kleinerem Maßstab — Chart-Analyse extrahiert strukturierte Daten aus Bildern, Perception Grounding heftet interaktive Annotationen an Pixelpositionen in einem Foto. Die MP4-Demo ist nichts anderes als diese Primitive, komponiert und bis zum Ende durchgespielt.
Die ehrlichen Einschränkungen
Eine Launch-Demo ist ein Best Case. Videointerpretation in dieser Tiefe frisst ordentlich Token — nicht vergessen, dass die Input-Preise auch für Medien gelten — und „das Video ist die Spec“ funktioniert am besten, wenn die Form des Deliverables konventionell ist, wie bei einer Immobilienseite. Als Richtungsansage ist die Demo trotzdem unmissverständlich: Die Input-Seite von Coding-Agenten weitet sich von Text auf das Artefakt aus, das deine Absicht am besten transportiert. Probier das Vision-Input-Rezept im Cookbook, um das Primitive kennenzulernen; der Quickstart bringt dich zu einem Terminal, in das du die Datei ziehen kannst.