IT-Nachwuchsforschung in Österreich

WIE KANN MAN SICH SCHÜT-
ZEN?
Der Schutz des Kontextes in LLMs vor
Prompt Injections ist wichtig, aber herausfordernd.
Da der Kontext ein zentraler
Teil des LLM Anweisungspakets
ist und die Prompts der Nutzer*innen
einschließt, sollte er keine sensiblen Informationen
beinhalten. Zusätzlich ist es
entscheidend, das Backend der Applikation
vom LLM zu trennen und bewährte
Sicherheitsmaßnahmen wie Prepared
Statements zu nutzen, um SQL Injections
durch Prompts zu verhindern.
Eine effektive Strategie zur Sicherung
der Applikation ist es auch, die Kontexte
innerhalb der Nutzersitzungen zu begrenzen,
um das Risiko von Angriffen zu
reduzieren.
Insgesamt sind Prompt Injections nur
schwer über klassisches Blacklisting oder
Filtering zu begrenzen, da diese über
natürliche Sprache formuliert werden.
Ein Angriff kann also verschiedensten
Sprachkonstruktionen entspringen, was
solche Ansätze zur Abwehr schwierig gestaltet.
Des Weiteren kann man solche
Filter umgehen, indem man die Anweisungen
verschlüsselt und diese vom LLM
entschlüsseln lässt.
Zusammenfassend lässt sich sagen, dass
LLMs nicht als vertrauenswürdige Quelle
zur Datenverarbeitung betrachtet
werden sollten. Nutzer*innen haben direkten
Zugriff auf den Anweisungscode
des LLMs, wodurch die Ausgaben des
Modells als potenziell nicht vertrauenswürdig
gelten. Dies erfordert besondere
Aufmerksamkeit und angemessene Sicherheitsvorkehrungen.
Caroline
Lawitschka
ist Masterstudentin
für Artificial Intelligence
an der JKU
sowie für Philosophie
an der Universität Wien. Derzeit
ist sie an der Unversität Wien als
Researcher in der Forschungsgruppe
für Security und Privacy tätig.
Transparenz und Nachvollziehbarkeit des Forschungsprozesses
von Josef Taha
FAIRE Forschung mit
dynamischen Daten
Die Welt der Forschung ist im Wandel
– dynamische Datenströme sind
das Rückgrat vieler Wissenschafts- und
Forschungsfelder. Die Fähigkeit, diese
Daten nicht nur zu analysieren, sondern
auch die Forschung zu einem späteren
Zeitpunkt exakt reproduzieren zu
können, ist von entscheidender Bedeutung.
Hier setzt VRE+ an, ein Konzept,
das durch die Integration diverser
Open-Source-Tools eine modulare und
FAIR-konforme virtuelle Forschungsumgebung
darstellt.
In der Wissenschaft rücken Reproduzierbarkeit
und Transparenz, besonders
in Bereichen wie Machine Learning, immer
stärker in den Vordergrund. Es ist
entscheidend, sowohl Ergebnisse als
auch den gesamten Forschungsprozess
nachvollziehen zu können, insbesondere
bei dynamischen Daten, die sich stetig
ändern. Die FAIR-Prinzipien – Findability,
Accessibility, Interoperability und Reusability
– spielen dabei eine Schlüsselrolle,
indem sie die Effizienz und Integrität wissenschaftlicher
Arbeit steigern 1 .
VRE+: FAIR, MODULAR UND
OPEN-SOURCE
VRE+ ist eine an der TU Wien entwickelte,
modulare und FAIRE Architektur für
virtuelle Forschungsumgebungen, die
auf den folgenden Open-Source-Komponenten
basiert: JupyterHub, Binder,
GitLab, InvenioRDM und DBRepo 2 . Diese
Architektur zielt darauf ab, die Reproduzierbarkeit
und Transparenz in der Datenforschung
zu optimieren, insbesondere
im Umgang mit dynamischen Daten 3.
InvenioRDM und DBRepo dienen hierbei
als FAIR-konforme Datenrepositories.
Während InvenioRDM für die Verwaltung
von Dateien und Forschungsartefakten
genutzt wird, spezialisiert sich DBRepo
auf die Handhabung strukturierter relationaler
Daten sowie Echtzeitdaten, die
sich kontinuierlich ändern. GitLab kommt
für das versionierte Management von
Forschungscodes in Form von Jupyter
Notebooks zum Einsatz. JupyterHub und
Binder bilden die Rechenumgebung für
die Forschung und ermöglichen das automatisierte
Aufsetzen von Forschungsumgebungen
mit einem Klick.
VALIDIERUNG MITTELS LUFT-
QUALITÄTSDATEN
Die Luftqualitätsüberwachung in Österreich
diente als Test-Anwendungsbeispiel
für die Evaluierung von VRE+. Sie umfasste
zwei Datenquellen: (i) historische
10 OCG Journal | 01 • 2024