Hidden Brain, Gifted Faces – Gifted Faces, Hidden Brain

Das IVG

Ein Interactive Video Grid (IVG) besteht aus einer Einheit aus Holz und Plexiglas, die einen Minicomputer (Raspberry Pi 3), eine Kamera, eine LED-Leuchte, einen Monitor und einen Knopf beinhaltet. Zudem hat das IVG die Moeglichkeit, per WLAN mit anderen Geräten verbunden zu werden und an einen zweiten externen Monitor per HDMI angeschlossen zu werden. Wird der Knopf gedrückt, nimmt das IVG eine kurze Videosequenz auf. Diese Sequenz erscheint mit acht anderen Sequenzen in einem 3×3-Raster auf dem Monitor inDauerschleife. Bei jeder neuen Aufnahme einer Sequenz wird eine vorherige auf dem Raster durch
die neue ersetzt. Welche Sequenz ersetzt wird, ist dem Zufall überlassen.

 

In acht verschiedenen Museen werden IVGs jeweils kombiniert mit einem großen Monitor aufgestellt.
Die IVGs erlauben den Besucherinnen, kurze Animationen zu erstellen, die auf dem Monitor erscheinen. Die Installation greift aber auch auf vorgefertigte Animationenzurück, die jeweils das Thema des Museums darstellen (z.B. Sepulkralmuseum= Totenkoepfe). Einige der Sequenzen bekommen auch kleine Rahmen oder zusätzliche animierte Elemente, wie man sie on Instagram oder TikTok kennt.
Die aufgenommenen Sequenzen werden im Museum auf dem großen Bildschirm abgespielt, aber auch an einen zentralen Server geschickt. Der Server kann nun Animationen von einem Museum zum anderen schicken. So mischen sich im Verlauf des Abends die Inhalte aus den verschiedenen Museen. Hierbei entsteht ein kollektiv erarbeitetes Gesamtwerk aus vielen kleinen Teilen – eine gemeinsam produzierte Videokollage.
An einem weiteren Ort, dem WH22 (der Name wird gerade geändert), steht zudem das BRAIN: ein Rechner, der vom Server alle Videosequenzen bekommt, diese auf Stimmungen der Besucherinnen analysiert und laufend mit ihnen eine künstliche Intelligenz (KIModell) trainiert. Das Modell wird zudem mit Daten aus der Sequenzanalyse gefüttert und reagiert darauf mit Videosequenzen, die das KI-Modell generiert.
Diese werden vor Ort auf einer 2,50 x 4 Meter großen Videowand abgespielt. Auf spielerische Weise wollen wir die Nutzer*innen in das Projekt
„Hidden Brain, Gifted Faces – Gifted Faces, Hidden Brain“ einbeziehen und ihnen gleichzeitig zu bedenken geben, was alles mit einfach vergebenen Daten, Bildern und Rechten passieren kann. Sie werden zur Analyse und Interpretation verwendet, mit ihnen werden künstliche Intelligenzen trainiert, sie werden manipuliert und iirgendeiner verzerrten Form verewigen sie sich in den Datenkreisläufen unserer heutigen Zeit. Es macht alles Spaß, erscheint in Form von TikTok, Instagram,
Facebook, WhatsApp etc. sehr harmlos und ist immer wieder sehr lustig, aber beim Mitmachen verliert man schnell die Kontrolle über die eigenen Daten. WICHTIG: Alle Daten, die am Abend der Museumsnacht für das Projekt generiert werden, loeschen wir
selbstverständlich am Ende der Veranstaltung.

Auf spielerische Weise wollen wir die Nutzer*innen in das Projekt „Hidden Brain, Gifted Faces – Gifted Faces, Hidden Brain“ einbeziehen und ihnen gleichzeitig zu bedenken geben, was alles mit einfach vergebenen Daten, Bildern und Rechten passieren kann. Sie werden zur Analyse und Interpretation verwendet, mit ihnen werden künstliche Intelligenzen trainiert, sie werden manipuliert und in irgendeiner verzerrten Form verewigen sie sich in den Datenkreisläufen unserer heutigen Zeit. Es macht alles Spaß, erscheint in Form von TikTok, Instagram, Facebook, WhatsApp etc. sehr harmlos und ist immer wieder sehr lustig, aber beim Mitmachen verliert man schnell die Kontrolle über die eigenen Daten.
WICHTIG: Alle Daten, die am Abend der Museumsnacht für das Projekt generiert werden, löschen wir selbstverständlich am Ende der Veranstaltung.

Hintergrund
Alles fing an mit einem Fehler. 2001, bei der Arbeit an dem interaktiven Projekt „United Faces of Benetton“ für meinen ehemaligen Professor Andy Cameron, der zu der Zeit das New Media Department der Schule Fabrica (von Benetton) in Treviso leitete, programmierte ich eine Webcam so, dass sie auf Knopfdruck ein Bild aufnehmen und in einem Ordner speichern sollte. Aus Versehen nahm mein Programm 30 Bilder auf, so schnell der Rechner es damals eben konnte, und speicherte diese in dem erstellten Ordner. Der Fehler wurde schnell behoben, aber die Bildsequenzen, wenn man sie in Schleife abspielte, waren so lustig, dass ich mich entschied, schnell aus dem Fehler ein interaktives Spielzeug zu programmieren.
So wurde das IVG geboren. Als Eingabemodul reichte ein Brett, in das ich ein Loch bohrte und eine Kamera installierte. Darüber platzierte ich eine kleine Infrarot-Leuchte, unter die Kamera nagelte ich eine Maus. Wer auf die Maus drückte, wurde mit dem IR-Strahler ausgeleuchtet und eine kurze Animation von 30 Bildern wurde aufgenommen. Diese animierten Sequenzen wurden auf einem 3×3-Raster in Dauerschleife abgespielt. Sobald eine neue Sequenz aufgenommen wurde, ersetzte sie eine der bestehenden Animationen im Raster. Welche ersetzt wurde, war dem Zufall überlassen.
Diese Installation wurde in München, Berlin, London, Tokio, Yokohama, New York, Kassel, Osaka und Osnabrück in Clubs, Festivals und Ausstellungen gezeigt.
2015 zeigte ich das IVG in Tokio im Rahmen der Ausstellung zum 25-jährigen Bestehen des Kollektivs tomato aus London. Daraufhin wurde ich von der Techno-Band UNDERWORLD angefragt, das IVG für ein Konzert 2016 in London im Alexandra Palace zu zeigen.
Die Idee reizte mich, aber ich wollte das Projekt IVG erweitern und verändern. Diesmal wollte ich sieben IVGs miteinander verbinden, und jedes IVG sollte als Einheit konzipiert werden, die
Rechner, Bildschirm, Leuchte, Knopf und Internetzugang beinhaltet. Die genutzte Technologie sollte zudem sichtbar sein, nicht in einer Kiste irgendwo versteckt werden.
Daher dachte ich für die Gehäuse der IVGs an transparentes Plexiglas. Die Kisten wurden an der Kunsthochschule Kassel entworfen, gefertigt, zusammengesetzt und programmiert. 2016 gingen sie nach London und wurden für den UNDERWORLD-Event im Alexandra Palace ausgestellt. Danach verschwanden sie in den Lagerhallen der Band in Essex, UK.
Bis jetzt…
In Zusammenarbeit mit dem Verein BWP und der Kunsthochschule Kassel holten wir vor zwei Monaten die IVG-Einheiten wieder nach Kassel zurück und konzipierten ein Projekt für die Museumsnacht 2024. Das Projekt heißt „Hidden Brain, Gifted Faces – Gifted Faces, Hidden Brain“.

Technologien
Die IVGs basieren auf Raspberry Pi 3. Die Software ist mit OpenFrameworks programmiert. Die Daten werden über eine verschlüsselte Peer-to-Peer-Filesharing-Software zwischen dem Server und den IVGs sowie dem „Brain“ synchronisiert. Für die KI-Komponente nutzen wir Stable Diffusion und die visuelle Programmierumgebung ComfyUI, ML5.js und p5.js.

 

Team

Elko Braas
Chloe Atzaka
Fernando Leyra
Riccardo Ventura
Alessio de Nicolo
…und der Verein BWP Licht Kunst Kultur
Joel Baumann
Kassel, August 2024

Sponsor Micromata
Wir Danken documenta gGmbh und alle die mitmachen