3D-Geb?rdensprach-Avatar als Sprachassistent zur automatisierten Geb?rdenübersetzung
Verbundprojekt AVASAG – gemeinsam zur digitalen, barrierefreien Kommu-nikation
Augsburg/MH – Weltweit gibt es etwa 70 Millionen geh?rlose Menschen. Für viele von ihnen ist Textsprache eine Fremdsprache. Sie bedienen sich stattdessen der Geb?rdensprache. Deshalb sind Beh?rden und ?ffentliche Stellen in Deutschland zu barrierefreier digitaler Kommunikation verpflichtet. Dabei k?nnte ein 3D-Geb?rdensprach-Avatar helfen, der von einem Augsburger Forschungsteam gemeinsam mit weitere Experten im Projekt ?AVASAG“ entwickelt wird, das vom Bundesministerium für Bildung und Forschung (BMBF) gef?rdert wird. Die Digitalisierung der Gesellschaft schreitet voran und er?ffnet viele neue M?glichkeiten. Barrierefreie digitale Kommunikation für Menschen mit Behinderung vereinfacht deren Alltag und gew?hrleistet ihre gesellschaftliche Teilhabe. In dem vom BMBF gef?rderten Verbundprojekt AVASAG (steht für Avatar-basierter Sprachassistent zur automatisierten Geb?rdenübersetzung) arbeiten sechs Partner aus Forschung und Entwicklung unter der Leitung der Firma Charamel (Spezialist für interaktive Avatar-basierte Assistenzsysteme) an einem echtzeitgesteuerten 3D-Geb?rdensprach-Avatar zur automatischen ?bersetzung deutscher Texte in Geb?rdensprache. Im Projekt entsteht eine v?llig neuartige Geb?rdenanimations-Methode für 3D-Avatare: Sie kombiniert solche des maschinellen Lernens mit regel-basierten Synthesemethoden, die Text in Geb?rden abbilden. Zeitliche und r?umliche Abh?ngigkeiten der komplexen Geb?rdenelemente werden dabei sehr genau aufgel?st. Damit wird eine qualitativ hochwertige, realistische Darstellung eines 3D-Geb?rdensprach-Avatars erreicht. Informatikerin Prof. Dr. Elisabeth André Unter Leitung von Charamel arbeiten Forscher und Entwicklerinnen der folgenden Unternehmen und Forschungseinrichtungen aus Deutschland in den n?chsten drei Jahren zusammen: yomma GmbH – Experten für Geb?rdensprache in Hamburg; Ergosign GmbH, Pionier für User Experience Design in Saarbrücken; Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) GmbH - Forschungsbereiche "Kognitive Assistenzsysteme", "Sprachtechnologie und Multilingualit?t;? Technische Hochschule K?ln / Institut für 伟德国际_伟德国际1946$娱乐app游戏ien- und Phototechnik, K?ln sowie die Universit?t Augsburg / Human Centered Multimedia (HCM) in Augsburg. Der Lehrstuhl für Human-Centered Multimedia der Universit?t Augsburg hat sich auf internationaler Ebene als Experte für Forschung und Entwicklung an der Schnittstelle von Künstlicher Intelligenz und Mensch-Maschine Interaktion etabliert. Schwerpunkt ist die? Interpretation nichtverbaler und paraverbaler ?u?erungen mittels Methoden des maschinellen Lernens sowie die darauf basierende Interaktion mit virtuellen Agenten und sozial-interaktiven Robotern. ?
Entsprechende Angebote erm?glichen geh?rlosen und h?rbehinderten Menschen eine umfassendere gesellschaftliche Teilhabe und eine st?rkere Integration in die ?Digitale Gesellschaft“. Die Ergebnisse des Projektes werden gemeinsam mit der Geh?rlosen-Zielgruppe evaluiert und im Anwendungsfeld Reiseinformation und -service mit assoziierenden Partnern erprobt.
In AVASAG werden neue maschinelle Lernverfahren entwickelt, um Texte automatisch in Geb?rdensprache für den 3D-Avatar zu übersetzen. Als Trainingsmaterial für das maschinelle Lernverfahren werden sch?tzungsweise mehrere 10.000 Datenpaare bestehend aus einem Text und der dazu korrespondierenden ?bersetzung in Geb?rdensprache ben?tigt. Die Aufbereitung und Kodierung dieser Daten durch den Menschen ist mit einem immensen Zeitaufwand verbunden. In AVASAG wird dieser Aufwand durch eine teils automatische Kodierung mit dem am Augsburger Lehrstuhl für Human-Centered Multimedia entwickelten ?NOVA“ Werkzeug erheblich reduziert. "Wir freuen uns sehr, dass wir mit unserer Technologie in Augsburg dazu beitragen k?nnen, digitale 伟德国际_伟德国际1946$娱乐app游戏ien für Geb?rdensprachler schneller zug?nglich zu machen“, meint die Augsburger Informatikerin Prof. Dr. Elisabeth André.
Die Partner im Konsortium: im Verbund stark für gesellschaftliche Teilhabe
Das Projekt wird vom Bundesministerium für Bildung und Forschung im Rahmen von ?KMU-innovativ“ mit Schwerpunkt Mensch-Technik-Interaktion gef?rdert. Das Projektvolumen betr?gt 1,98 Mio. Euro, davon 74% F?rderanteil durch das BMBF.
Alexander Stricker, Gesch?ftsführer Charamel GmbH und Projektleiter von AVASAG dazu: ?Digitale Barrierefreiheit wird immer wichtiger, um Inhalte dynamisch und für alle Zielgruppen ad?quat aufbereitet zu vermitteln. Automatisierte Instrumente helfen bei einer barrierefreien Kommunikation. Wir sind begeistert von der Idee, mithilfe unserer smarten, lernf?higen Avatare hierzu einen ma?geblichen Beitrag leisten zu dürfen“.?ber den Lehrstuhl für Human-Centered Multimedia
Weitere Informationen über
www.hcm-lab.de
Ansprechpartnerin
Pressebilder zum Download
