Text2Video #2
Series of experiments to explore the aesthetic possibilities of A.I.-generating methods in imaging processes using "Little Red Riding Hood".
Episode 2: Little Red Riding Hood with “Luma AI dream machine"
Das Projekt basiert auf dem Originaltext des Märchen „Rotkäppchen“ aus der Sammlung Kinder- und Hausmärchen der Brüder Grimm von 1812. Ausgangspunkt des Experiments ist die Transformation eines lyrischen Textes in Bewegtbilder mit Hilfe von KI. Dabei wurde einerseits mit dem Originaltext der Brüder Grimm als alleinigem Promt gearbeitet, bzw. auch die üblichen Bildbeschreibungen eingesetzt. Beide Methoden werden im Video montiert und gegenübergestellt. Die KI wurde in diesen Clips also nicht nur mit den üblichen Bildbeschreibungen oder Handlungsanweisungen gefüttert, sondern auch mit „reiner Lyrik“ gefüttert. Abschließend wurde der Grimm‘sche Text vom Schauspieler Schauspieler eingesprochen und den generierten Bildern unterlegt.
Versuchsaufbau:
Der Text wurde Abschnittsweise zu je ein bis drei Sätzen im genauen Wortlaut als prompt genommen und in die Video KI Luma AI Dream Maschine, zusammen mit den Attributen „Hyper Realistic“, „Photo-Realistic“ und „4K“, eingesetzt. Aus jedem Textabschnitt generierte die KI eine Videosequenz von fünf Sekunden Länge. Für das resultierende Video wurden die Ergebnisse der ersten Bildgenerierung in Chronologie des Textes hintereinandergelegt.
Der KI wurden keine optisch-gestalterischen Parameter vorgegeben, wie es in Verfahren mit „Bild zu Bild“ oder durch Anweisungen wie „Gestalte im Stil von…“ eigentlich möglich ist. Der KI wurden auch keine weiteren Hinweise über Prompts gegeben, wie sie den Originaltext zu interpretieren hat, oder mit welcher emotionalen Wirkung auf den Betrachter sie die Sequenzen generieren soll. Auch szenische Anweisungen wie die Kameraperspektive, Kamerafahrt, Objektive, Beleuchtung wurden nicht gegeben. Die KI durfte also den lyrsichen Text „selbst interpretieren“. Es handelt sich somit um ein Verfahren, welches das eigentliche Programm der KI im Sinne Vilém Flussers unterläuft.
Beim anschließenden Editing wurde keine Auswahl der einzelnen Sequenzen getroffen und keine der Sequenzen wurde ein weiteres Mal generiert. Im resultierenden Film wurden sie chronologisch, analog zu den eingegebenen Textpassagen, montiert. Alle Videos wurden mit einem einfachen User Account, also ohne kostenpflichtiges Abo, erstellt. Es bedarf also keinerlei Vorwissen über KI um diese clips zu erzeugen.
Einordnung:
Märchen, wie das Rotkäppchen, sind Jahrhunderte altes Kulturgut, das zu pädagogischen Zwecken eingesetzt wurde. Besonders die erste literarische Version „Le Petit Chaperon rouge“, die Carles Perrault 1695 auf Französisch veröffentlichte, in der das Rotkäppchen umkommt, spiegelt eine sittliche Moral und den erzieherischen Anspruch wider. Darin wird Furcht zur Disziplinierung eingesetzt, was die KI mit beunruhigenden und bedrohlichen Szenen dann tatsächlich auch generiert. Obwohl die KI die Texte „frei“ gelesen hat ist die Wahl der Stimmung der Bilder determiniert, denn die KI beruht auf der kulturellen Prägung der Bilddatenbanken. Es zeigen sich auch hier Stereotype dieser moralischen Prägung von Wolf, Mädchen, Wald.
Idee dieser Versuchsreihe ist es, die neue Möglichkeit des Prompten als Handlungsanweisung durch Texte (text-to-image-Generierung) genauer zu beleuchten. Können Bildbeschreibungen und filmische Handlungsanweisungen mit lyrischen Texten kombiniert bzw. (aus)getauscht werden? Der lyrische, gesprochene Text wird zum maschinenprodzierten (Bewegt)Bild. Ein syntaktischer Shift, der die Semantik der Bilder bestimmt. Der Film stellt beide Verfahren des Promten gegenüber.
Im finalen Film sind die chronologisch generierten und so montierten Sequenzen mit einem Voice Over vertont. Der Schauspieler Frank Smilies, auch bekannt als Teil des Duo Ulan & Bator und als Insta Figur „Gordon Brettsteiger“, hat dafür den Originaltext des Grimm’schen Rotkäppchen eingesprochen. Geplant sind auch verschiedene Versionen des Films, die sich jedoch nicht in Bildfolge oder Schnitt, sondern ausschließlich in den sprachlich unterschiedlichen Interpretationen von Frank Smilgies zeigen.
Screenshot aus der bildgenerierenden KI „Luma AI Dream machine“.
Beispiel von Prompts mit originalem Text der Brüder Grimm.
Beispiel von Prompts, wie sie bildbeschreibend normalerweise eingesetzt werden.
Filmszene Bildbeschreibung: "Camera movement around scene: a very old women in an old fashioned bed with a wolf with
big teeth and a bloody mouth, opening and closing his mouth."
Filmszene Originaltext: "hyper realistic; photo realistic: "Guten Tag, Rotkäppchen!" sprach er.
Filmszene Originaltext: "Hyper realisitic, photo realistic, 4k: "Großmutter, was hast du für einen großen Mund!" –
"Dass ich dich besser fressen kann!"
Filmszene Bildbeschreibung: "camera movement around scene: a young girl with a red cap and a basket in her hand, filled
with flowers and a bottle of wine."
Filmszene Bildbeschreibung: "Hyper realisitic, photo realistic, 4k: A wolf knocking on the door of an old fashioned house
in the woods."
The experimental series experiments with artificial intelligence within imaging procedures and questions the authenticity of photography using photo-historical icons that already have historical significance for the concept of documentary authenticity.