Text+ Forum Digitalisierung, #02: Digitalisierung von AV-Medien

FAIRe Forschungsdaten fallen nicht vom Himmel. Hatte man im Falle von analogen Medien mit der Aufnahme standardisierter Metadaten bereits einen zentralen Beitrag geleistet, gilt sowohl für born digital, v. a. aber auch im Kontext der Retrodigitalisierung von Werken, dass die Kriterien zur Sicherstellung von FAIRness in der Bereitstellung von Forschungsdaten um ein Vielfaches aufwändiger sind. Weil es alles andere als einfach ist, sämtliche Anforderungen für das jeweilige Vorhaben im Blick zu haben, besteht eine zentrale Aufgabe der NFDI und Text+ darin, zum Thema Forschungsdaten zu beraten. Ein wichtiger Leitfaden stellt dabei seit vielen Jahren die sogenannten Praxisregeln „Digitalisierung“ der Deutschen Forschungsgemeinschaft (DFG) dar. Während wir heute die DFG-Richtlinien auch im erweiterten Kontext des Themas data literacy verorten können, ist es den dynamischen Entwicklungen der digitalen Transformation geschuldet, dass das zuletzt 2022 aktualisierte Dokument immer auch einen unabgeschlossenen Charakter hat. Diese Blogpost-Reihe verfolgt das Ziel, materialspezifische Desiderata der Richtlinien aufzugreifen und einen Prozess anzustoßen, in dem entsprechende Empfehlungen ausgearbeitet werden. Im ersten Teil gab es eine Einführung in das Thema „Richtlinien zur Digitalisierung“.

Audiovisuelle (AV) Daten sind ein wichtiger Datentyp für sprachbezogene Wissenschaften, aber auch für andere Disziplinen zentral. Hier präsentieren wir die Sichtweise der sprachbezogenen wissenschaftlichen Infrastrukturen in Text+ (Task Area Collections) auf die 2022 aktualisierte Fassung der DFG-Praxisregeln „Digitalisierung“. Wir hoffen, so mit anderen Fachcommunities, die mit AV-Daten arbeiten, in eine Diskussion zu treten und gemeinsam die Empfehlungen zur Digitalisierung dieser Datentypen zu konkretisieren.

Audio und audiovisuelle Formate sind wichtige Repräsentationsformen für Sprachdaten. Die Entwicklung von Datenformaten ist hier noch sehr dynamisch. Technische Standards und Empfehlungen ändern sich regelmäßig. Besonders digitalisierte Videodaten stellen derzeit noch eine Herausforderung dar. Trotzdem können aus Sicht der sprachbezogenen wissenschaftlichen Infrastrukturen auch hier Empfehlungen ausgesprochen werden, die über die Aussage „Für Videoformate kann zurzeit noch keine eindeutige Empfehlung ausgesprochen werden. Jedoch sollte unbedingt darauf geachtet werden, nur lizenzfreie und offen beschriebene Formate zu verwenden.“ (Altenhöner et al. 2022, S. 20) hinausgehen.

„Ich höre“

Für Audiodaten können allgemeine Mindeststandards benannt werden. Hier hat sich Puls-Code-Modulation (PCM) und insbesondere Linear Pulse-Code-Modulation (LPCM) als Standard für die digitale Signalcodierung etabliert. Für Sprachaufnahmen haben sich als Mindeststandard die Abtastrate 44.1 kHz mit einer Bittiefe von 16 Bit entsprechend dem Compact Disc Digital Audio Standard etabliert (Brewer 2020), auch wenn für die meisten Analysen 22 kHz ausreichen würden (Ladefoged 2003). Abtastraten von 48 kHz und 96 kHz mit einer Bittiefe von 16 Bit oder 24 Bit sind weitere gängige Formate, die von den meisten Einrichtungen akzeptiert werden.

Für digitalisierte Audiodaten ist das auf Resource Interchange File Format (RIFF) aufbauende Waveform Audio File Format (WAVE oder häufiger WAV) das gebräuchlichste Containerformat und kann als allgemein empfohlener Mindeststandard gelten, auch wenn manche Institutionen die weniger verbreiteten Audio Interchange File Format (AIFF) und Au File Format (AU) als Container erlauben. Die auf WAV basierenden Formate Broadcast Wave Format (BWF) und RF64 (ITU-R BS.2088) sind im Bereich der Langzeitarchivierung weitere Standardformate (Whibley et al. 2016). Die Empfehlungen Bradley (2009), Brewer (2020) sowie Artefactual Systems and the Digital Preservation Coalition (2021) sollten als Grundlage für Audio-Digitalisierungskonzepte gelten.

„Ich höre, ich sehe“

Für audiovisuelle Sprachdaten geben viele Institutionen Formatempfehlungen, die auf gängigen Konventionen für digitale Materialien basieren, die als digitale Objekte entstanden sind (sogenannte born-digital materials). Der aktuelle Stand ist in Seyfeddinipur und Rau (2020), Wamprechtshammer (2022) und direkt in den Empfehlungen der einzelnen Spracharchive im Digital Endangered Languages and Musics Archives Network (DELAMAN) oder den Formatempfehlungen der CLARIN-Zentren dokumentiert. 

Für aus analogen oder hybriden Formaten digitalisiertes audiovisuelles Material haben sich noch keine allgemein anerkannten Standards entwickelt (Brewer 2020). Gängige Kombinationen an Containerformaten und Video-Codec sind Material Exchange Format (MXF) mit JPEG2000 oder FFV1 Video-Codec (RFC 9043). Des Weiteren kann Digital Picture Exchange (DPX, SMPTE 268M-2003, v 2.0) als Format für digitalisierte Filmaufnahmen genutzt werden. Als Mindeststandard für audiovisuelle Sprachdaten hat sich aber eindeutig der Videokompressionsstandard H.264/MPEG-4 AVC (auch MPEG-4 Part 10) und das zugehörige auf ISO/IEC 14496-12:2004 basierende Containerformat MPEG-4 Part 14 (MP4) etabliert. Das Audiosignal ist hier bevorzugt entsprechend dem Advanced Audio Coding (AAC) Standard – MPEG-4 Part 3 (ISO/IEC 14496-3) – im Container enthalten. Da AAC ein komprimiertes Audioformat darstellt, ist aus Sicht der sprachbezogenen wissenschaftlichen Infrastrukturen immer darauf zu achten, dass das Audiosignal als unkomprimiertes Audio (bevorzugt LPCM) oder zumindest in verlustfrei komprimierter Form (z.B. FLAC) vorliegt. Deswegen erlauben manche Institutionen auch andere Containerformate, die unkomprimiertes LPCM-Audio in Kombination mit gängigen Videokompressionen erlauben, wie z.B. Matroska (MKV). Alternativ wird empfohlen, unkomprimiertes Audio in Form einer separaten Audiodatei dem Video beizulegen.

Vorschläge der Task Area Collections in Text+

Die an Text+ Collections beteiligten Institutionen folgen im Bereich der Audiodaten den allgemeinen Empfehlungen und bevorzugen Waveform Audio File Format (WAV), mit einer Präferenz für Signale mit einer Abtastraten von 48 kHz und einer Bittiefe von 16 bit, wobei alle gängigen Varianten des Waveform Audio File Formats allgemein von den Institutionen akzeptiert werden.

Container	Abtastrate	Bittiefe
Waveform Audio File Format (.wav)	48 kHz	16 bit

Bei Video-Formaten gibt es eine klare Präferenz für den Container MPEG-4 Part 14 (MP4) mit H.264/MPEG-4 AVC und AAC Audio. Da dieses Format aber kein unkomprimiertes Audio erlaubt, wird hier auf eine separate unkomprimierte LPCM-Audiodatei verwiesen. Während dies für born digital Daten aus der Sprachforschung eine sinnvolle Empfehlung ist, ist es für Daten, die aus hochqualitativen analogen Medien digitalisiert wurden, sicher nicht der beste Ansatz. Wichtig ist aus der Sicht der sprachbezogenen wissenschaftlichen Infrastrukturen auch in diesen Fällen die Option, das Audiosignal als unkomprimiertes LPCM oder zumindest verlustfrei komprimiertes FLAC im Container ablegen zu können.

Die sprachbezogenen wissenschaftlichen Infrastrukturen in Text+ Collections wünschen sich eine offene Diskussion zu bevorzugten Formaten, um sich so auf klare Empfehlungen zu einigen. Die Kombination aus FFV1 (Version 3) mit entweder LPCM oder FLAC in einem Matroska-Container (.mkv) würde sich als ein mögliches vollständig offenes Format anbieten. Zusätzlich könnten MXF Op1a Container mit LPCM-Audio als offene Alternative erwogen werden, wobei hier zu diskutieren bleibt, welche Videoformate in dieser Kombination empfohlen werden können. Entsprechend sieht unser Vorschlag zur Konkretisierung der Empfehlungen zur Digitalisierung von Film- und Videoaufnahmen wie folgt aus: 

Container	Video	Audio
Matroska (.mkv)	FFV1 (Version 3)	LPCM
Material Exchange Format Op1a (.mxf)	?	LPCM

Wir freuen uns auf Reaktionen und Meinung aus anderen NFDI-Konsortien und Fachcommunities. 

Referenzen

Altenhöner, Reinhard, Andreas Berger, Christian Bracht, Paul Klimpel, Sebastian Meyer, Andreas Neuburger, Thomas Stäcker, and Regine Stein. 2023. “DFG-Praxisregeln ‘Digitalisierung’. Aktualisierte Fassung 2022.” Zenodo. DOI: 10.5281/zenodo.7561148 

Artefactual Systems and the Digital Preservation Coalition. 2021. “Preserving Audio.” Digital Preservation Coalition. DOI: 10.7207/twgn21-11.

Brewer, Ashley. 2020. “Pragmatic Audiovisual Preservation.” Digital Preservation Coalition. DOI: 10.7207/twr20-10.

IASA Technical Committee. Second edition 2009. Guidelines on the Production and Preservation of Digital Audio Objects, ed. by Kevin Bradley. (= Standards, Recommended Practices and Strategies, IASA-TC 04).

ITU-R BS.2088-1. 2019. Long Form File Format for the International Exchange of Audio

Programme Materials With Metadata.

Ladefoged, Peter. 2003. Phonetic Data Analysis: An Introduction to Fieldwork and Instrumental Techniques. Wiley.

Seyfeddinipur, Mandana, and Felix Rau. 2020. “Keeping It Real: Video Data in Language Documentation and Language Archiving.” Language Documentation & Conservation 14 (September): 503–19.

Wamprechtshammer, Anna, Elena Arestau, Hanna Hedeland, Amy Isard, Ilya Khait, Herbert Lange, Nicole Majka, and Felix Rau. 2022. “QUEST: Guidelines and Specifications for the Assessment of Audiovisual, Annotated Language Data.” Working Papers in Corpus Linguistics and Digital Technologies: Analyses and Methodology 8: 1–85.

Simon Whibley et al. 2016. WAV Format Preservation Assessment. Technical Report. British Library. 

---

Die selbstorganisierten Praxisregeln „Digitalisierung“

Die DFG hat bewusst die Expertinnen und Experten aus den jeweiligen Communities dazu eingeladen, an der weiteren Gestaltung der Praxisregeln „Digitalisierung“ mitzuwirken. Text+ möchte selbst einen Beitrag leisten und lädt zur Mitwirkung ein. Für Kommentare, Vorschläge für weitere materialspezifische Empfehlungen etc. wenden Sie sich bitte an unseren Helpdesk oder nutzen die Kommentarfunktion des Text+ Blogs.

---

Bildnachweise: Eingefärbter Ausschnitt aus einer Radierung nach Hans Vredeman de Vries, 1615. Rijskmuseum Amsterdam. Public domain. / Tonbandgerät Uher Variocord 263 Stereo, 1970. Volkskunde- und Freilichtmuseum Roscheider Hof/Rainer Blazejewicz. CC0, via museum digital rheinland-pfalz. / Havaintokuva: filmiprojektorin käyttö, 1957. Finnish Heritage Agency, Finland. CC BY, via europeana.eu.

.

---

---