StartTV-SerienKim Cattralls Scat-Gesangsvideo: Clip von KI-Software wiederhergestellt

Unsere neuesten Artikel

Kim Cattralls Scat-Gesangsvideo: Clip von KI-Software wiederhergestellt

Die meisten von uns haben ihre Lockdown-Hobbys stillschweigend zurückgefahren, aber der Internetschöpfer Teigan Reamsbottom steht immer noch um 4 Uhr morgens auf, um klassische Musikvideos der Camp-Popkultur zu kuratieren. Es versucht außerdem, die Videoqualität mithilfe eines speziellen Gaming-Computers zu verbessern, der mit RAM und einer Software-Suite ausgestattet ist, die maschinelle Lernalgorithmen verwendet, um die ursprünglichen Eigenschaften der Clips zu bewahren.

In einer Welt, in der Filme aufgrund von Steuerabschreibungen verschwinden können und physische Medien knapp sind, ist es ermutigend zu sehen, wie Artefakte der Popkultur ausgegraben werden – auch wenn das bedeutet, dass keine Berühmtheiten aus den 80er oder 90er Jahren sicher sind.

Anlage A: Auf dem Höhepunkt von „Sex and the City“, einem Interview mit Kim Cattrall, in dem sie singt, während ihr damaliger Ehemann Mark Kontrabass spielt. Der Clip ist schon lange im Internet präsent (er war bereits Gegenstand einer Ausstellung in der THNK1994-Galerie in der Lower East Side). Es ist ein großartiges Beispiel für Reamsbottoms Gespür für das wunderbar unzusammenhängende und manchmal aufreibende Lager einer Welt vor TikTok. Und in einem bestimmten Bereich des Internets war die Wiederherstellung ein Grund zum Feiern. Sehen Sie sich unten die wiederhergestellte Version im Vergleich zu dem verschwommenen Clip an, von dem wir seit Jahren besessen sind:

Das Hochskalieren von Videos – das Verbessern der Qualität, damit ein Clip auf unsere Bildschirme mit höherer Auflösung passt – ist jedoch ein Prozess voller (und/oder miteinander verflochtener) Herausforderungen. Das Erfassen und Konvertieren von Daten ist arbeitsintensiv und jede Methode hinterlässt Artefakte, die sich auf das Erscheinungsbild neuer Bilder auswirken. Je mehr Modelle des maschinellen Lernens menschliche Arbeit und Urteilsvermögen aus der Gleichung streichen, desto größer wird diese Gefahr.

Sogar professionelle 4K-Übertragungen können wie Airbrush oder plastisch wirken, eine unnötig geschönte Version von etwas, das im Originalformat völlig in Ordnung aussah. (Wenn Sie in diesem Artikel bis hierher gekommen sind, finden Sie hier Ihren PSA, um sicherzustellen, dass Sie die Bewegungsglättung auf Ihrem Fernseher deaktiviert haben.) Wie Chris Person in The Aftermath über die Fallstricke der KI-Video-Hochskalierung feststellte: „Warum sollten Sie a „Kann ich das Band richtig aufzeichnen, wenn wir stattdessen einfach einen Computer falsch raten lassen können?“ »

Dies ist im Wesentlichen das, was KI-Videosoftware tut. Er errät, wo das Gesicht eines Menschen beginnt und endet, wie sich seine Hände bewegen, wie Licht und Feuchtigkeit auf seine Haut reagieren. Er macht es sehr schlecht, aber er macht es so oft, dass er (man hofft) irgendwann nahe genug daran kommt, im Großen und Ganzen recht zu haben. Für Reamsbottom ist dies die beste Lösung zum Posten von Clips, bei denen das Quellvideo nicht verfügbar ist – und für kurze Camp-Momente, die nicht unbedingt die Aufmerksamkeit professioneller Restaurierungsbetriebe auf sich ziehen.

Er sagte gegenüber IndieWire, dass es ein ständiger Versuch und Irrtum sei, die verschiedenen verfügbaren KI-Modelle auszubalancieren und Schärfe und Schatten anzupassen, um Probleme zu vermeiden, die höchstwahrscheinlich zum Scheitern von Softwareprogrammen führen würden. Skalierung. Wie Zähne.

„Da es die Details im Gesicht erhöht, wird das KI-Modell die Details auf den Zähnen übermäßig vergrößern und Sie werden in der Lage sein, dunkle Linien zwischen einzelnen Zähnen zu sehen“, sagte Reamsbottom. „Also ich.“ Das klingt vielleicht ein wenig beängstigend. Manchmal sieht es so aus, als hätten sie plötzlich sehr dunkle Zähne, weil dadurch jeder Zahn so stark hervorgehoben wird.

Reamsbottom muss mit der Menge an Details spielen und stets versuchen,, wie er sagt, zu vermeiden, das Thema des Videos in eine Pixar-Figur zu verwandeln. Es müssen auch die Herausforderungen berücksichtigt werden, die den Bildern selbst innewohnen. „Ich habe kürzlich einen von Phyllis Diller gemacht, der wirklich schwer zu verbessern war, weil ihr Outfit mit Pailletten besetzt war“, sagte Reamsbottom. „Ihr Gesicht war vielleicht schön, aber plötzlich sah der Glitzer nicht mehr gut aus. Man muss wirklich viel spielen.

„Spielen“ reicht nicht aus, um die dafür benötigte Zeit festzuhalten. Reamsbottom sagte, dass die Erstellung eines einzigen Durchgangs an einem 30-minütigen Video selbst mit einem dedizierten Upscaling-Computer mehr als einen Tag dauern kann. Und maschinelles Lernen kann die Rasterung nicht fehlerfrei machen.

„Man muss etwas von mindestens durchschnittlicher Qualität haben, um daraus etwas wirklich Schönes zu machen“, sagte er. „Selbst dann kann es fraglich sein, aber einige der sehr minderwertigen, sehr pixeligen Elemente, mit denen ich zu arbeiten versucht habe? Es ist schwer. Gesichter sind hart, Zähne sind hart oder, wissen Sie, eine Nase kann verloren gehen.

Obwohl es auf neuen Samsung-Handys (und ähnlichen kommenden iPhone-Modellen) generative Bearbeitungsfunktionen mit „KI“ gibt, die viel schneller zu funktionieren scheinen, bleibt die Fähigkeit, die Realität durch detailliertes Erlernen von Modellen gut darzustellen, das Vorrecht von Menschen, die professionell mit Videos arbeiten. und diejenigen wie Reamsbottom, die viel Zeit und Geld in die Bemühungen investieren können.

Der Zeitbedarf mag immer noch hoch sein, aber die Werkzeuge, um dies zu erreichen, sind nicht teuer; Reamsbottom verwendet eine 300-Dollar-Software-Suite von Topaz Labs. Und wenn es richtig gemacht wird, können die Ergebnisse unglaublich lohnend sein.

Reamsbottom arbeitete mit einem Archiv von Connie Francis-Kassetten, gespendet von der Familie eines Fans, der eine riesige Menge an Filmmaterial der Popsängerin aufgenommen hatte. „Es gibt Aufnahmen von ihm und persönliche Aufnahmen von Connie, und wenn man sie vergrößert betrachtet, wird man fast emotional, weil es so ist, als würde man etwas zum ersten Mal erleben“, sagte Reamsbottom. „Es ist magisch, wenn man das Endergebnis erhält, und es scheint superklar zu sein. Es ist, als wärst du wieder da.

Neueste Veröffentlichungen

Nicht verpassen