Ressourcen-Reigen, #7: Neuer Novellenschatz im Deutschen Textarchiv. Zenodo-Korpora für die NFDI

Autoren: Marius Hug, Frank Wiegand

Nicht erst mit dem Hype um KI ist klar geworden, dass eine hinreichend große, qualitativ hochwertige sowie ausgewogene Datenbasis die Sine-qua-non-Grundlage für eine Vielzahl von digitalen Forschungsprojekten darstellt. So nimmt es nicht Wunder, dass auch Datenrepositorien mit einer eigenen Forschungsinfrastruktur ein Interesse an der sukzessiven Erweiterung ihrer Datenbestände haben. Das Deutsche Textarchiv (DTA) an der Berlin-Brandenburgischen Akademie der Wissenschaften (BBAW) stellt Dank einer DFG-Förderung von 2007–2015 eine Grundlage für ein Referenzkorpus der neuhochdeutschen Sprache bereit: das sogenannte DTA-Kernkorpus. Darüber hinaus wird aber seit Jahren durch die Integration von Textdaten aus ganz verschiedenen Projektkontexten kontinuierlich am weiteren Korpusaufbau gearbeitet.

In den Ressourcen-Reigen #5 und #6 wurden bereits die beiden im Kontext von Text+ integrierten Korpora “Soldatenbriefe” und “stimm-los” vorgestellt. Dabei handelt es sich im ersten Fall um Forschungsdaten, die im Rahmen einer Dissertation entstanden sind, und im zweiten Fall um Texte aus einer Public-Private-Partnerschaft des DTA mit der Dr. Hungeling Verlagsbuchhandlung. Im folgenden Blogbeitrag geht es am Beispiel der Übernahme der Sammlung “Neuer Deutscher Novellenschatz” exemplarisch um die Integration und Nachnutzung von Forschungsdaten, die bereits unter einer offenen Lizenz online veröffentlicht wurden, in diesem Fall im Zenodo-Repository. Dabei gehen wir neben der Restrukturierung von Textdaten vor  allem auf die Aufnahme und Anreicherung von Metadaten ein.

Ausgangslage

Im Rahmen des von der VW-Stiftung geförderten Projekts Reading at Scale. Mixing Methods in Literary Analysis wurde der 24-bändige „Neue Deutsche Novellenschatz“ (1884–1887) unter der Leitung von Prof. Dr. Thomas Weitin digitalisiert. Die ursprünglich von Paul Heyse und Ludwig Laistner herausgegebene Sammlung deutscher Novellen enthält insgesamt 70 Texte von 66 Autor:innen, die mit wenigen Ausnahmen allesamt aus der zweiten Hälfte des 19. Jahrhunderts stammen. Die Digital Humanities Cooperation hat die Werke in einem Corrected-OCR-Verfahren textdigitalisiert und als Forschungsdatensatz – inkl. dreier Paratexte, 69 Kommentaren der Herausgeber, einer Metadatentabelle sowie den Scans zu den Einzelbänden – unter einer CC-BY-4.0-Lizenz auf Zenodo bereitgestellt.

Das von der Europäischen Kommission finanzierte und durch das OpenAIRE-Konsortium sowie das CERN betreute Repositorium Zenodo entwickelt sich disziplinenübergreifend zunehmend zu einer Standardlösung für die Veröffentlichung von Daten. Dabei ist neben der Wahlmöglichkeit zwischen verschiedenen Lizenzen, der ORCID-Integration sowie der Vergabe von zitierfähigen DOIs sicherlich die Anbindung an den Onlinedienst zur Versionsverwaltung GitHub ein entscheidendes Kriterium. Die freie Software git ist ursprünglich als Alternative zum propriäteren Produkt BitKeeper und als zeitgemäße Weiterentwicklung zu bestehenden Versionsverwaltungssystemen wie Subversion für den Bereich der Softwareentwicklung entstanden. Neben anderen Dienstleistern wird der Onlinedienst GitHub mehr und mehr auch für die Publikation von Daten verwendet. Allerdings widersetzen sich die kurzen Lebenszyklen von Forschungsdaten innerhalb einer kollaborativ genutzten Arbeitsumgebung wie GitHub geradezu den Anforderungen an zitierfähige Forschungsdaten. Zenodo bietet mit seinem Release-Konzept durch Vergabe von persistenten Identifikatoren wie einer DOI eine Lösung für dieses Problem.

Vorbereitung des Ingests und Kuration der (Meta-)Daten

Nachdem in der Vergangenheit im Rahmen einer Zusammenarbeit zwischen Thomas Weitin und dem Deutschen Textarchiv bereits die Sammlung Deutscher Novellenschatz in die erweiterten Sammlungen des DTA aufgenommen wurde, war es nur naheliegend, dass das im Juli 2022 auf Zenodo publizierte Korpus Neuer Deutscher Novellenschatz ebenfalls in die Infrastruktur an der BBAW integriert wird. Diese Arbeit erfolgte im Rahmen von Text+ mit dem Ziel, einerseits einen Weg zu finden, um unstrukturierte Volltexte – die Novellen werden auf Zenodo als Reintext-Dateien bereitgestellt – in das DTA aufzunehmen und andererseits einen neuen Workflow zur Kuration von Metadaten zu entwickeln. Für die Aufnahme dieser neuen Sammlung wurde zunächst ein eigenes DTA-GitHub-Repository angelegt. Die aus dem von Zenodo heruntergeladenen Zip-Ordner extrahierten Textdateien wurden samt Metadatentabelle dort eingepflegt. Zudem wurde für die Sammlung eine maschinenlesbare (schema-orientierte) DTA-Sammlungsbeschreibung angelegt. Dabei konnte auf ein mittlerweile etabliertes Verfahren zurückgegriffen werden, das bereits im Blogpost Ressource-Reigen #3 beschrieben wurde.

Die als CSV-Datei bereitgestellten Metadaten enthielten bereits die zentralen werksspezifischen bibliographischen Angaben wie Autor:innen, Titel, Jahr etc. Da die Sammlung mit Texten von nicht mehr als 66 Autor:innen in ihrem Umfang vergleichsweise überschaubar ist, hat das DTA die Metadaten manuell um die GNDs der genannten Personen erweitert. Für eine möglichst niedrigschwellige Qualitätskontrolle der Metadaten – die so gegebenenfalls auch an eingewiesene studentische Hilfskräfte delegiert werden kann – wurden diese zunächst in ein Format konvertiert, das einen Import in das etablierte und kostenfrei zu nutzende Literaturverwaltungsprogramm Zotero erlaubt. Dort wurden alle bibliographischen Angaben der Texte kontrolliert, falls nötig, korrigiert und um die GNDs erweitert. Da Zotero ganz unterschiedliche Exportformate ermöglicht, wurde im Anschluss ein Workflow eingerichtet, der vollautomatisch die dort verwalteten Informationen an die je richtige Stelle im sogenannten TEI-Header des Zielformats DTABf übernimmt. Das funktionierte auf Basis eines XML-Exports sehr zuverlässig. Für das Zusammenfügen der eigentlichen Texte mit den bibliographischen Metadaten musste dann nur noch gewährleistet werden, dass die Textdateien ebenfalls in ein strukturiertes XML-Format überführt werden.

Transformation der Textdateien in das Zielformat

Der erste Schritt der mehrstufigen Transformation besteht in der (Re-)Strukturierung der Daten bzw. in der Konversion von Reintext nach XML. Dafür wurde ein einfaches Python-Skript verwendet. Im Anschluss erfolgte mit Hilfe von drei XSLT-Skripten die eigentliche Transformation von vergleichsweise flachem XML nach TEI inkl. werksspezifischen, bibliographischen Metadaten im sogenannten TEI-Header.

Integration und Veröffentlichung als DTA-Sammlung

Alle Texte der DTA-Sammlungen werden mittels CAB (Cascaded Analysis Broker) linguistisch annotiert. Neben einer Transliterierung – „langes s“ (ſ) wird bspw. in ein „rundes s“ übersetzt –, einer Zurückführung auf eine phonetische Repräsentation – „Theyl“, „Thayl“ und „Teyl“ werden bspw. auf „Teil“ zurückgeführt – und einer graphematischen Ersetzung – für jede historische Wortform wird automatisch das „ähnlichste“ moderne Wort ermittelt – spielt hier die Lemmatisierung auf eine neuhochdeutsche Grundform mittels der TAGH-Morphologie eine wichtige Rolle. Diese Morphologie ist eine zentrale Komponente in den Softwarediensten des DTA. Neben den qualitativ hochwertig annotierten Werken liegt ein weiterer Fokus des DTA auf den Metadaten. Das bedeutet, wenn auch im Textbereich durch eine automatisierte Restrukturierung nicht die Annotationstiefe des DTA-Kernkorpus erreicht werden kann, so garantieren doch die kuratierten Metadaten eine weitreichende Vergleichbarkeit einer solchen Ressource mit allen anderen DTA-Sammlungen.

Metadaten spielen im Übrigen nicht nur im Bereich der Volltexte eine Rolle. Die Sammlung selbst wird ebenfalls mit einer schema-orientierten Beschreibung klassifiziert. Diese Sammlungsbeschreibung wiederum ist die Voraussetzung dafür, dass die restrukturierten und validen Dateien im Zielformat TEI/DTABf in das DTA aufgenommen und in der Infrastruktur veröffentlicht werden können. Die Mehrwert besteht zum einen in der automatischen Sichtbarmachung der Daten in der Infrastruktur des NFDI-Konsortiums Text+ – alle Korpora des Deutschen Textarchivs sind als Sammlungen perspektivisch im zentralen Nachweissystem von Text+ recherchierbar. Zum anderen bestehen Möglichkeiten der Nachnutzung, die das Digitale Wörterbuch der Deutschen Sprache (DWDS) am Zentrum Sprache an der BBAW bietet. Die Sammlungen des DTA sind dort Bestandteil des Metakorpus Historische Korpora.

Nachnutzung der aufbereiteten Forschungsdaten in der DWDS-Infrastruktur

In der Infrastruktur des DWDS werden verschiedene Möglichkeiten zur statistischen Auswertung der linguistisch aufbereiteten, historischen Sammlungen des DTA bereitgestellt. So sind die Sammlungen bspw. per linguistischer Suchmaschine durchsuchbar, außerdem stehen weitere Werkzeuge wie DiaCollo oder die Wortverlaufskurven zur Verfügung.

Zusammenfassung und Ausblick

Die Kuration, Transformation und Integration dieser in ihrem Umfang überschaubaren Textsammlung zeigt sich in verschiedener Hinsicht nachnutzbar. Mit dem hier beschriebenen Workflow können perspektivisch weitere auf Zenodo und in anderen Repositorien veröffentlichte, gegebenenfalls zunächst auch unstrukturiert vorliegende Textsammlungen in das DTA aufgenommen werden. Vor allem die Verwendung der Literaturverwaltung Zotero für die Kuration der Metadaten ist ein sehr vielversprechender Ansatz, der bei zukünftigen Kooperationen eigenständig von den Datengebenden vorgenommen werden soll. Projekte können also zukünftig ihre Metadaten in der vertrauten Zotero-Umgebung pflegen und diese dann mit den Texten an das DTA übergeben. Die weiteren Arbeitsschritte der Datenintegration sollen anschließend soweit wie möglich automatisiert erfolgen.

---

FAKTENBOX

Projekttitel	Neuer Deutscher Novellenschatz (1884–1887)
Affiliation / Partner	Digital Humanities Cooperation unter Leitung von Prof. Dr. Thomas Weitin; Zentrum Sprache der Berlin-Brandenburgischen Akademie der Wissenschaften (BBAW): Deutsches Textarchiv (DTA), Digitales Wörterbuch der deutschen Sprache (DWDS), Zentrum für digitale Lexikographie der deutschen Sprache (ZDL)
Projekttyp	Textkorpus
Task Area in Text+	Collections
Materialgrundlage	Drucke in Fraktur
Textsorten	Bellestristik: Novelle
Disziplinen	Literaturwissenschaften, Historische Sprachwissenschaft, Geschichtswissenschaften u.a.
Zeitraum	1884–1887
Sprache	Deutsch

Zitiervorschlag
Marius Hug/Frank Wiegand: Ressourcen-Reigen, #7: Neuer Novellenschatz im Deutschen Textarchiv. Zenodo-Korpora für die NFDI, in: Text+ Blog, 27.09.2023, https://textplus.hypotheses.org/7549.

---

---