English version below

Videokonferenz 4000 Meter unter dem Meeresspiegel

Die Interactive Systems Labs (ISL) am KIT und der Carnegie Mellon University (CMU) haben Technologien entwickelt, mit der Videokonferenzen über sehr geringe Bandbreiten übertragen und damit auch unter extremen Bedingungen genutzt werden können. Die Methode testete das Team Juli 2022 während einer Expedition in einem U-Boot im Nordatlantik zum Wrack der Titanic in rund 4 000 Metern Tiefe.

Radioübertragung funktioniert in Salzwasser in dieser Tiefen (die Titanic liegt auf 3800m) nicht. Kommunikation zum Mutterschiff ist daher derzeit nur durch Text Messages über Sonar möglich. Kern der Entwicklung ist eine synthetische Methode, mit der Videos mit Sprachwiedergabe aus Text rekonstruiert werden können, wodurch nur eine sehr geringe Bandbreite benötigt wird. Im U-Boot wurde die Tonaufnahme zunächst in eine Textdatei umgewandelt und dann per Sonar-Schallimpuls zum Mutterschiff übermittelt, um dort aus dem Text ein Video zu rekonstruieren.

In diesem Video ist eine synthetische Stimme zu hören, die auf die Stimme des Sprechenden übertragen wird, so dass sie wie die Stimme des Sprechenden klingt. Zudem wird die Videosynthese so gesteuert, dass die Lippen des Sprechenden sich dabei synchron mit dem Ton bewegen. Die Methode erlaubt es, Videokonferenzen über eine geringe Bandbreite zu übertragen, was in Zukunft die Kommunikation in gesprochener Sprache erleichtern wird. Sie eignet sich aber auch für die Synthese von Videos in einer anderen Sprache oder für die lippensynchrone Vertonung von Videos. Die Tests wurden in Kooperation mit Ocean Gate Expeditions durchgeführt.

Prof. Alex Waibel, der zum Wrack der Titanic getaucht ist, gab im Sep 2022 an Carnegie Mellon University und im Februar 2023 am KIT einen Dia-Vortrag zu seiner Expedition.

Weitere Infos / More information:  

Pressemeldung/ Press release KIT (in German): 

Pressemeldung / Press release Carnegie Mellon University (Englisch): 

Pressefeedback 

Presentation by Alex Waibel ∂ Carnegie Mellon University, September 

Deep-sea test on the wreck of the Titanic: Videoconferencing 4000 meters below sea level
The Interactive Systems Labs (ISL) at KIT and Carnegie Mellon University (CMU) have developed technologies that allow video conferences to be transmitted over very low bandwidths and thus to be used even under extreme conditions. The team tested the method July 2022 during an expedition in a submarine in the North Atlantic to the shipwreck of the Titanic at a depth of about 4,000 meters. 
Radio transmission does not work in salt water at these depths (the Titanic is at 3800m). Communication to the mother ship is therefore currently only possible by text messages via sonar. The core of the development is a synthetic method to reconstruct videos with voice playback from text, requiring only a very small bandwidth. In the submarine, the audio recording was first converted to a text file and then transmitted to the mother ship via sonar sound pulse to reconstruct a video from the text. 
In this video, a synthetic voice can be heard, which is transferred to the voice of the person speaking, so that it sounds like the voice of the person speaking. In addition, the video synthesis is controlled in such a way that the lips of the speaker move in sync with the sound. The method allows video conferencing to be transmitted over a low bandwidth, which will simplify spoken language communication in the future. However, it is also suitable for synthesizing videos in another language or for lip-synchronous dubbing of videos. The test was performed in cooperation with Ocean Gate Expeditions.

Professor Alex Waibel, who dove down to the shipwreck of the titanic, gave an insight in his experience in Sep 2022 at CMU and in Feb 2023 at KIT.