Kaiser, Martin: Das SIARD Format und die zugehörige Tool ...
Kaiser, Martin: Das SIARD Format und die zugehörige Tool ...
Kaiser, Martin: Das SIARD Format und die zugehörige Tool ...
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Inhaltsübersicht• Langzeitarchivierung von DatenbankenEine Lösung: <strong>SIARD</strong> <strong>Format</strong>• Die <strong>Tool</strong>-Landschaft um <strong>SIARD</strong> <strong>Format</strong>• CSV <strong>SIARD</strong>• <strong>Das</strong> <strong>Tool</strong> csv2siard• Kommandozeile / GUI csv2siard• CSV Dateien konvertieren• ODBC Quellen konvertieren14.03.2013 Arbeitskreis AUdS <strong>Martin</strong> <strong>Kaiser</strong>2KOST
Langzeitarchivierung von Datenbanken• Aus Registern werden bereits in den 70er Jahren Datenbank gestützteFachanwendungen• Proprietäre Lösungen <strong>und</strong> Export in CSV Dateien sollen denDatenaustausch zwischen Datenbanken ermöglichen, Archivierungsteht lange Zeit nicht im Vordergr<strong>und</strong>• In <strong>die</strong>sem Jahrh<strong>und</strong>ert tritt neu der Datenexport in XML Dateien alsAlternative hinzu, ohne dass sich ein Standard etablieren könnte• <strong>SIARD</strong> <strong>Format</strong> verbindet XML basierte Datenspeicherung mitSQL:99 orientierter Metadatenbeschreibung, das <strong>Format</strong> wird in deraktuellen Form vom Schweizerischen B<strong>und</strong>esarchiv erstmals 2008 inder Version 1.0 veröffentlicht• Dieses Jahr soll <strong>SIARD</strong>-<strong>Format</strong> als eCH Standard 0165 freigegebenwerden, dazu wurde eine erweiterte <strong>Format</strong>beschreibung erstelltKOST14.03.2013 Arbeitskreis AUdS <strong>Martin</strong> <strong>Kaiser</strong>3
CSV <strong>SIARD</strong>• <strong>Das</strong> CSV <strong>Format</strong> gilt gemeinhin als archivtauglich <strong>und</strong> lange erprobt,warum sollen CSV Dateien in <strong>SIARD</strong> konvertiert werden?• CSV hat gewisse Schwächen, was <strong>die</strong> <strong>Format</strong>spezifikation betrifft,jede CSV Datei ist in der Regel eine Individuallösung, wasTrennzeichen, Zeichensatz, Quotation etc. betrifft• Die Möglichkeiten zur Dokumentation auf Tabellen / Feldebenesind in <strong>SIARD</strong> viel umfänglicher <strong>und</strong> CSV Dateisammlungen könnenin einer <strong>SIARD</strong> Datei zusammengefasst werden• Bei einer zeitnahen Konvertierung können Dateninkonsistenzen inden CSV Dateien erkannt <strong>und</strong> korrigiert werden• Datenbanken <strong>und</strong> datenbankgestützte Fachanwendungen könnenin <strong>SIARD</strong> archiviert werden, auch wenn keine Möglichkeit für dendirekten Zugriff auf <strong>die</strong> Datenbank mit <strong>SIARD</strong>-Suite bestehtKOST14.03.2013 Arbeitskreis AUdS <strong>Martin</strong> <strong>Kaiser</strong>5
<strong>Das</strong> <strong>Tool</strong> csv2siard• CSV Dateien/Dateisammlungen können auch via Datenbank in eine<strong>SIARD</strong> Datei umgewandelt werden, mehrere Gründe haben zurEntwicklung von csv2siard geführt:• Der archivseitige Wunsch, ohne Datenbank <strong>und</strong> DatenbankkenntnisseCSV in <strong>SIARD</strong> konvertieren zu können• Den Konvertierungsvorgang bei Serien von CSV Dateisammlungenautomatisieren zu können• Der archivtheoretische Anspruch, dass ein archivtaugliches <strong>Format</strong>mit mehreren voneinander unabhängigen <strong>Tool</strong>s erstellt <strong>und</strong>betrachtet werden kann• Durch csv2siard ist der Nachweis erbracht, dass <strong>die</strong> <strong>SIARD</strong><strong>Format</strong>beschreibung vollständig <strong>und</strong> inhärent istKOST14.03.2013 Arbeitskreis AUdS <strong>Martin</strong> <strong>Kaiser</strong>6
Kommandozeile / GUI csv2siard• csv2siard steht einerseits als Kommandozeilentool zur Verfügung;damit können umfangreiche Konvertierungsprozesse in Batch Dateienautomatisiert werden• Andererseits gibt es auch eine GUI Version, <strong>die</strong> dem Nichtinformatikerden Umgang mit dem Programm erleichtertKOST14.03.2013 Arbeitskreis AUdS <strong>Martin</strong> <strong>Kaiser</strong>7
CSV Dateien konvertieren• Die CSV <strong>SIARD</strong> Konvertierung verläuft in zwei Schritten: Im ersten Durchgang wird <strong>die</strong> Datenstruktur (Feldtyp, Feldlänge,etc.) der betrachteten CSV Dateien analysiert <strong>und</strong> in einDatenschema geschrieben Im zweiten Durchgang werden <strong>die</strong> CSV Dateien anhand <strong>die</strong>sesSchemas kontrolliert <strong>und</strong> in eine <strong>SIARD</strong> Datei konvertiert• Es ist auch möglich, das Datenschema (nach Apache Torque 4.0)manuell zu bearbeiten, zu spezifizieren <strong>und</strong> mit Kommentaren zuversehen <strong>und</strong> anschliessen <strong>die</strong> Konvertierung direkt mit <strong>die</strong>semSchema vorzunehmen.Damit können Serienkonvertierungensystematischdurchgeführt werdenKOST14.03.2013 Arbeitskreis AUdS <strong>Martin</strong> <strong>Kaiser</strong>8
ODBC Quellen konvertieren• Die Umwandlung von ODBC Quellen verläuft analogzur Umwandlung von CSV Dateien• Zusätzlich können auf ODBC Datenquellen auchmit SELECT über den Ursprungstabellen erstellteAbfragen in einer <strong>SIARD</strong> Datei gespeichert werden• ODBC Quellen sind äusserst flexibel, sie können Datenbanken, aberauch Excel Tabellen oder CSV/Text Dateien sein• Es bietet sich hiermit in csv2siard beinahe <strong>die</strong> gleiche Flexibilität beider Datenaufbereitung wie bei der Gestaltung von Views in einerDatenbank• <strong>Das</strong> SELECT Statement wird selbstredend auch in der <strong>SIARD</strong> DateifestgehaltenKOST14.03.2013 Arbeitskreis AUdS <strong>Martin</strong> <strong>Kaiser</strong>9
<strong>Martin</strong> <strong>Kaiser</strong>Koordinationsstelle für <strong>die</strong> Archivierung elektronischer Unterlagenc/o Schweizerisches B<strong>und</strong>esarchivArchivstrasse 24CH-3003 BernT +41 79 464 08 60E martin.kaiser@kost.admin.chW www.kost-ceco.ch
Change language