Wrzuć mp4 do terminala: kodowanie multimodalne w praktyce
Najbardziej po cichu radykalne demo z premiery nie dotyczyło szybkości ani równoległości. Dotyczyło pliku wideo, który stał się stroną internetową.
Demo
W materiałach premierowych Mety użytkownik wrzuca do terminala plik mp4 — wideo z przelotem kamery po domu wakacyjnym. Muse Code interpretuje nagranie — pokoje, światło, otoczenie — i produkuje wizualnie dopracowaną stronę marketingowo-rezerwacyjną dla tej nieruchomości. Bez briefu, bez rundy copywritingu, bez listy assetów. Wideo jest specyfikacją.
Czym to się różni od zwykłego wsparcia dla obrazów
Mnóstwo modeli przyjmuje obrazy; przepis vision-input z cookbooka pokrywa dokładnie to, a „screenshot → bugfix“ to już oswojony workflow. Demo pokazuje coś dalej idącego: nieustrukturyzowane, niekodowe medium użyte jako główne wejście do pełnego zadania inżynierskiego, wewnątrz pętli agenta. Model musi wydobyć intencję (to nieruchomość na wynajem, która ma się sama sprzedać), wyprowadzić treść (co strony powinny mówić i pokazywać), a potem wykonać normalny wielostronicowy build — planowanie, kod, walidacja — na bazie tego zrozumienia.
To składa w harmonijkę zwyczajowy pipeline. Tradycyjna droga od „tu masz wideo domu“ do „tu masz stronę rezerwacyjną“ wiedzie przez copywritera, projektanta i dewelopera, z których każdy tłumaczy wynik poprzedniego etapu. Agent multimodalny przepuszcza cały ten łańcuch tłumaczeń wewnętrznie.
Gdzie to pasuje w prawdziwych workflow
Strona domu wakacyjnego to demo marketingowe, ale wzorzec uogólnia się na wejścia, które inżynierowie naprawdę mają pod ręką: nagranie ekranu z bugiem trudnym do opisania słowami; zdjęcie tablicy ze szkicem architektury; walkthrough konkurencji do przestudiowania; makieta designu wyeksportowana jako obraz. Wszędzie tam, gdzie najwierniejszy opis zadania jest wizualny, a nie werbalny, wpisywanie prozatorskiego przybliżenia do promptu to kompresja stratna. Podanie samego artefaktu — już nie.
Przepisy percepcyjne z cookbooka szkicują ten sam kierunek w mniejszej skali — analiza wykresów wyciąga ustrukturyzowane dane z obrazów, perception grounding przypina interaktywne adnotacje do pikseli na zdjęciu. Demo z mp4 to te same prymitywy, złożone razem i doprowadzone do logicznego końca.
Uczciwe zastrzeżenia
Demo z premiery to scenariusz najlepszego przypadku. Interpretacja wideo na tej głębokości pali poważne ilości tokenów — warto pamiętać, że cennik wejścia dotyczy też mediów — a „wideo jest specyfikacją“ działa najlepiej, gdy kształt deliverable’a jest konwencjonalny, jak strona nieruchomości. Ale jako deklaracja kierunku jest jednoznaczne: strona wejściowa agentów kodujących poszerza się z tekstu na dowolny artefakt, który najlepiej niesie twoją intencję. Wypróbuj przepis vision-input w cookbooku, żeby zobaczyć sam prymityw; quickstart doprowadzi cię do terminala, do którego możesz wrzucić plik.