Abgeleitete Textformate: (Nach-)nutzbarkeit, Wiedererkennbarkeit und Rekonstruierbarkeit

In vielen oder fast allen DH-Projekten werden Texte digitalisiert und als Forschungsdaten verwendet. Wenn die Texte allerdings urheberrechtlich geschützt sind, ist problematisch, dass wir die Textdaten zwar speichern und analysieren, aber nicht veröffentlichen oder zur Nachnutzung verfügbar machen dürfen. Das widerspricht natürlich der Idee von “Open Access” und “Open Science”. Die Reproduzierbarkeit von Forschungsergebnissen z.B. kann schwer garantiert werden. Eine mögliche Lösung für dieses Problem sind die abgeleiteten Textformate (ATF, auch “extracted features” genannt, siehe Lin et al. 2012, Bhattacharyya et al. 2015, Jett et al. 2020, Schöch et al. 2020, Organisciak et al. 2021). Durch Transformation werden bestimmte Informationen aus dem Text entfernt, die für den urheberrechtlichen Schutz maßgeblich sind, sodass die Daten veröffentlicht werden können.¹ Gleichzeitig sollen die Textdaten für Text und Data Mining (TDM) immer noch nutzbar sein.

Im Rahmen von Text+ werden ATF hinsichtlich verschiedener Fragestellungen evaluiert, wobei drei Aspekte besonders wichtig sind: a) wie gut sind die Textdaten in ATF für unterschiedliche TDM-Aufgaben nutzbar? b) Inwieweit sind die Texte als ATF für Menschen lesbar oder wiedererkennbar? c) Inwieweit sind die Texte als ATF rekonstruierbar? Zurzeit konzentriert sich die Analyse auf die tokenbasierten ATF² (Schöch et al. 2020).

Als Ausgangspunkt wurde die Anwendung von drei Token-basierten ATF (Schöch et al. 2020) im Kontext der stilometrischen Autorschaftsklassifikation³ evaluiert. Die Ergebnisse wurden auf der DHd 2023 präsentiert (Du 2023). Die Untersuchungen wurden auf drei Korpora durchgeführt: einem deutschen Dramenkorpus, einem französischen Romankorpus und einem englischen Zeitschriftenartikel-Korpus. Die Ergebnisse auf den drei Korpora zeigen dieselbe Tendenz: Durch eine selektive Reduzierung der Informationen über einzelne Token kann bis zu einem gewissen Grad sichergestellt werden, dass die Ergebnisse der Autorschaftsklassifikation nicht allzu stark beeinträchtigt werden. Neben der Autorschaftsklassifikation ist die Evaluation der Nutzbarkeit der ATF auch für weitere TDM-Aufgaben, die für die Digital Humanities typisch sind, wie Sentimentanalyse oder Topic Modeling, geplant.

Die Frage, wie gut die Texte als ATF für unterschiedliche TDM-Aufgaben nutzbar sind, lässt sich durch systematische Evaluation gut beantworten. Hierfür muss überprüft werden, wie stark die Performanz einer TDM-Aufgabe bei Verwendung eines ATF von derjenigen bei Verwendung der Originaldaten abweicht. Im Vergleich dazu ist es schwieriger zu beurteilen, ob ein Text als ATF für Menschen verständlich und/oder wiedererkennbar ist. In den folgenden Abbildungen wird zur Illustration gezeigt, wie ein Text aussieht, nachdem er in ein ATF umgewandelt worden ist.

Ob diese Texte als ATF lesbar sind, wird von verschiedenen Menschen unterschiedlich beantwortet werden. Das Problem liegt vor allem darin, dass es schwierig ist, ein allgemein verwendbares, objektives Kriterium für diese Frage zu finden. In Schöch et al. (2020) wurde erläutert, dass Texte als ATF für Normalbürger:innen schwierig zu erkennen sein sollten und ein Werkgenuss ausgeschlossen sein sollte. Wie man dies wissenschaftlich untersuchen und nachweisen kann, bleibt jedoch offen.

Wer Textdaten in ATF umwandeln und veröffentlichen möchte, muss außerdem die Rekonstruierbarkeit der Texte berücksichtigen. Die Transformation der Textdaten muss sicherstellen, dass die Rekonstruktion der Originaltexte nicht trivial ist. Ganz zu schweigen von einem gesamten Text, darf selbst eine kleinere, aber urheberrechtlich relevante Passage des Textes nicht leicht rekonstruiert werden können. Zu diesem Thema gibt es Aspekte bzw. Fragen, die noch offen und diskussionswürdig sind. Vor allem hat sich die Technologie der Large Language Model (LLM) seit einigen Jahren erheblich weiterentwickelt. Modelle wie BERT⁴ bekommen beim Training teilweise maskierte Texte und sollen die unsichtbaren Wörter erraten (siehe Abbildung 4).

Die Rekonstruktion von Texten, in denen Informationen teilweise fehlen, ist daher wohl eine grundlegende Fähigkeit von Sprachmodellen. In Kugler et al. (2023) wurde bereits bestätigt, dass die Rekonstruktion von urheberrechtlich geschützten Texten aus Contextualized Word Embeddings⁵ möglich ist. Aus diesem Grund ist es sinnvoll zu überprüfen, ob die Rekonstruktion der Texte in Token-basierten ATF auch möglich ist. Erste Versuche mit ChatGPT haben gezeigt, dass dies keine leichte Aufgabe ist (siehe Abbildungen 5, 6 und 7). Natürlich ist ChatGPT für diese Aufgabe nicht völlig geeignet. Es ist aber zu erwarten, dass die Rekonstruktion besser funktioniert, wenn ein Sprachmodell speziell für diesen Anwendungszweck entwickelt bzw. trainiert wird. In diesem Bereich bleibt offenbar noch viel zu tun.

Die vorangegangene Diskussion über die vielschichtigen Aspekte der ATF unterstreicht die Notwendigkeit einer eingehenden Erforschung dieses Bereichs. In diesem Kontext wurden in der Task Area Collections in Text+ die Arbeitsgruppen Legal & Ethical Issues und ATF ins Leben gerufen. Die AG ATF legt ihren Schwerpunkt in erster Linie auf die Entwicklung eines Vorschlags für einen ISO-Standard zu ATF. Das primäre Ziel besteht darin, wissenschaftlich fundiert festzustellen, welche Formen der ATF einen sinnvollen Beitrag leisten können. Im Anschluss daran werden die Empfehlungen für ATF, einschließlich einer detaillierten Parameterbeschreibung, als zentraler Bestandteil des ISO-Standards ausgearbeitet. Im Vergleich dazu behandelt die AG Legal juristische Fragestellungen rund um die Rekonstruierbarkeit von ATF. Wir erhoffen uns von diesen Bemühungen, Forschungseinrichtungen dabei zu unterstützen, mehr Textdaten als Open Source zur Verfügung zu stellen. Dies wiederum könnte die Digital Humanities, insbesondere die computergestützte quantitative Textanalyse, mit einer breiteren Auswahl geeigneter Textdaten versorgen und somit die Forschung in diesem Bereich vorantreiben.

Bibliografie

S. Bhattacharyya, P. Organisciak, J. S. Downie, A Fragmentizing Interface to a Large Corpus of Digitized Text: (Post)humanism and Non-consumptive Reading via Features, in: Interdisciplinary Science Reviews 40 (2015), S. 61–77. https://doi.org/10.1179/0308018814Z.000000000105.

K. Du, Understanding the impact of three derived text formats on authorship classification with Delta. DHd 2023 Open Humanities Open Culture. 9. Tagung des Verbands “Digital Humanities im deutschsprachigen Raum” (DHd 2023), Trier, Luxemburg, 10. März 2023. https://doi.org/10.5281/zenodo.7715299.

Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. , Bert: Pre-training of deep bidirectional transformers for language understanding, 2018. arXiv preprint arXiv:1810.04805.

J. Jett, B. Capitanu, D. Kudeki, T. Cole, Y. Hu, P. Organisciak, T. Underwood, E. Dickson Koehl, R. Dubnicek, J. S. Downie, The HathiTrust Research Center Extracted Features Dataset (2.0), 2020. https://doi.org/10.13012/R2TE-C227.

K. Kugler, S. Münker, J. Höhmann, A Rettinger. InvBERT: Reconstructing Text from Contextualized Word Embeddings by inverting the BERT pipeline, in: C. Schöch, E. Gius, P. Trilcke, É. Ripoll, Conference Reader: 2nd Annual Conference of Computational Literary Studies (Version v1). 2nd Annual Conference of Computational Literary Studies (CCLS2023), Würzburg, Germany, 9. Juni 2023. https://doi.org/10.5281/zenodo.8093598.

Y. Lin, J.-B. Michel, E. Aiden Lieberman, J. Orwant, W. Brockman, S. Petrov, Syntactic Annotations for the Google Books NGram Corpus, in: Proceedings of the ACL 2012 System Demonstrations, Association for Computational Linguistics, Jeju Island, Korea, 2012, pp. 169–174. URL: https://aclanthology.org/P12-3029.

D. Ofer, B. Nadav, L. Michal, The language of proteins: NLP, machine learning & protein sequences, in: Computational and Structural Biotechnology Journal 19 (2021), S. 1750–1758.

P. Organisciak, J. S. Downie, Research access to in-copyright texts in the humanities, in: K. Golub, Y.-H. Liu (Hg.), Information and Knowledge Organisation in Digital Humanities, Routledge, 2021, S. 157–177. https://doi.org/10.4324/9781003131816-8.

C. Schöch, F. Döhl, A. Rettinger, E. Gius, P. Trilcke, P. Leinen, F. Jannidis, M. Hinzmann, J. Röpke, Abgeleitete Textformate: Text und Data Mining mit urheberrechtlich geschützten Textbeständen, in: Zeitschrift für digitale Geisteswissenschaften, Wolfenbüttel 2020. URL: http://zfdg.de/2020_006. doi:10.17175/2020_006.

Zitiervorschlag
Keli Du: Abgeleitete Textformate: (Nach-)nutzbarkeit, Wiedererkennbarkeit und Rekonstruierbarkeit, in: Text+ Blog, 29.11.2023, https://textplus.hypotheses.org/8062.

Beitragsbild CC0 via pexels.

1. Nicht die im Text enthaltenen Informationen sind urheberrechtlich geschützt, sondern die individuell geprägte Art und Weise, wie diese sprachlich formuliert wurden. Eine Auflösung dieser sprachlichen Formulierung kann daher dazu führen, dass das transformierte Ergebnis nicht mehr unter den urheberrechtlichen Schutz fällt. Hinweise darauf sind die Lesbarkeit bzw. Verständlichkeit des Textes sowie die Erkennbarkeit der individuellen Prägung des Textes. [↩]
2. Die grundlegende Idee hinter der tokenbasierten ATF besteht darin, bestimmte Informationen aus dem Text auf der Tokenebene zu entfernen, so dass der Text nicht mehr für Menschen lesbar ist [↩]
3. Stilometrie ist eine weit verbreitete Disziplin in Digital Humanities, die den Sprachstil (von Autor:innen, Gattungen usw.) mit Statistik untersucht. [↩]
4. BERT steht für Bidirectional Encoder Representations from Transformers, eine im Jahr 2018 eingeführte Familie von Sprachmodellen (siehe Devlin et al. 2018). [↩]
5. Im Natural Language Processing zielt Word Embedding darauf ab, jedes Wort in den Dokumenten durch einen Vektor zu repräsentieren, um die Bedeutung des Wortes zu kodieren. Contextualized Word Embeddings werden verwendet, um Semantik auf Sequenzebene zu lernen, indem die Sequenz aller Wörter in den Dokumenten berücksichtigt wird. Daher lernen solche Verfahren unterschiedliche Repräsentationen für Polyseme. [↩]

---

---