Sleep een mp4 in je terminal: multimodaal coderen in de praktijk
De stilletjes meest radicale lanceringsdemo ging niet over snelheid of parallellisme. Het was een videobestand dat een website werd.
De demo
In Meta’s lanceringsmateriaal sleept een gebruiker een fly-through-video van een vakantiehuis als mp4-bestand de terminal in. Muse Code interpreteert de video — de kamers, het licht, de omgeving — en levert een visueel rijke marketing- en boekingspagina voor het pand op. Geen briefing, geen copywriting-ronde, geen assetlijst. De video is de specificatie.
Waarom dit meer is dan vision-ondersteuning
Genoeg modellen accepteren afbeeldingen; het vision-input-recept in het cookbook behandelt precies dat, en screenshot-naar-bugfix is inmiddels een vertrouwde workflow. Wat de demo laat zien gaat een stap verder: ongestructureerde, niet-code media als primaire input voor een volwaardige engineeringtaak, binnen de agent-lus. Het model moet intentie destilleren (dit is een huurwoning die zichzelf moet verkopen), content afleiden (wat de pagina’s moeten zeggen en tonen), en vervolgens vanuit dat begrip een normale meerpagina-build uitvoeren — plannen, code, validatie.
Dat drukt de gebruikelijke pijplijn in elkaar. De traditionele route van “hier is een video van het huis” naar “hier is de boekingssite” loopt via een copywriter, een designer en een developer, die elk de output van de vorige stap vertalen. Een multimodale agent draait die vertaalketen intern.
Waar het past in echte workflows
De vakantiehuispagina is een marketingdemo, maar het patroon generaliseert naar input die engineers daadwerkelijk hebben: een schermopname van een bug die zich lastig in woorden laat vangen; een foto van een whiteboard met een architectuurschets; een walkthrough van een concurrent om te bestuderen; een designmock geëxporteerd als afbeelding. Overal waar de meest waarheidsgetrouwe beschrijving van de taak visueel is in plaats van verbaal, is een proza-benadering in een prompt typen lossy compressie. Het artefact zelf overhandigen is dat niet.
De perceptie-recepten in het cookbook schetsen dezelfde richting op kleinere schaal — grafiekanalyse haalt gestructureerde data uit afbeeldingen, perception grounding pint interactieve annotaties vast aan pixelposities in een foto. De mp4-demo is die bouwstenen, gecombineerd en tot hun logische eindpunt doorgeduwd.
De eerlijke kanttekeningen
Een lanceringsdemo is een best case. Video-interpretatie op deze diepte vreet tokens — bedenk dat input-prijzen ook voor media gelden — en “de video is de spec” werkt het best als de vorm van het eindproduct conventioneel is, zoals een vastgoedpagina. Maar als richtingaanwijzer is het ondubbelzinnig: de inputkant van coding agents verbreedt zich van tekst naar welk artefact je intentie dan ook het best draagt. Probeer het vision-input-recept in het cookbook om de bouwsteen te zien; de quickstart brengt je naar een terminal waar je het bestand in kunt slepen.