Zum Inhalt

Wie Daten ins Portal kommen

Open Data Web zeigt, was im Datenkatalog steht. Wer Daten veröffentlichen will, liefert sie deshalb nicht an ODW, sondern an die Open Data Infrastruktur (ODI). Sie prüft die Daten, reichert sie an und trägt sie in den Katalog ein. Von dort erscheinen sie im Portal – und über GovData bis im europäischen Datenportal.

Gesamtübersicht: Wege ins Portal, Open Data Infrastruktur und Nutzung der Daten

Mehr zu den Beteiligten: Open Data Infrastruktur (ODI) · Datenfabrik SH · X-Road SH

Die Wege ins Portal

Weg Geeignet für So funktioniert es
Web-Oberfläche der ODI einzelne Datensätze, die selten aktualisiert werden Sie laden die Datei im Schema-Repository von Hand hoch und füllen die Metadaten aus – entweder über Datei hochladen oder über die Schema-Bibliothek, wenn es für Ihre Daten bereits ein Schema gibt.
Schnittstelle (API) Daten, die häufig oder automatisch aktualisiert werden, etwa aus einem Geo-Portal Ihr System liefert die Daten selbst an.
Fachverfahren Daten aus einem Verfahren, die regelmäßig anfallen Ein Updater holt die Daten ab, zum Beispiel monatlich, und leitet sie weiter.
Dateiablage Dokumente wie PDFs Die Dateien werden aus der Ablage übernommen.
X-Road SH Daten aus Fachbehörden, die über den sicheren Behördenaustausch angebunden sind Die Behörde liefert über ihren Security Server an die Schnittstelle der ODI – verschlüsselt, signiert und protokolliert.

Für die Anlieferung per API gibt es Schritt-für-Schritt-Anleitungen:

Was Sie vorher brauchen

  1. Ein Konto und die Freischaltung für Ihren Herausgeber. Die Voraussetzungen nennen die Kontoarten, die Seite Autorisierung beschreibt die Freischaltung.
  2. Ein Schema für Ihre Daten. Das Schema beschreibt die Spalten Ihrer Tabelle: Name, Datentyp, Bedeutung, Einheit. Sie wählen ein vorhandenes Schema aus dem Schema-Repository oder legen ein neues an.
  3. Die Metadaten. Titel, Beschreibung, Lizenz, Kategorie, Zeitraum und Raumbezug. Welche Angaben es gibt, steht unter Metadaten.

Was die Infrastruktur mit den Daten macht

Beim Hochladen einer CSV-Datei laufen diese Schritte automatisch ab:

Fachlicher Ablauf des CSV-Uploads von der Prüfung bis zur Veröffentlichung

  1. Prüfen. Die Datei wird gegen das Schema geprüft. Stimmen Spalten, Datentypen oder Regeln nicht, erhalten Sie eine Fehlerliste – und es wird kein Datensatz angelegt.
  2. Anlegen. Der Datensatz wird mit seinen Metadaten im Datenkatalog eingetragen.
  3. Aufbereiten. Neben der CSV-Datei entstehen weitere Fassungen, darunter die Beschreibung der Spalten und eine Fassung für schnelle Abfragen.
  4. Geodaten. Enthält das Schema Koordinaten, entstehen zusätzlich Kartendienste.
  5. Veröffentlichen. Der Datensatz ist im Katalog und damit im Portal sichtbar.

Die Einzelheiten beschreibt Prozess: Datensatz hochladen.

Was ODW aus Ihren Daten macht

Welche Bereiche die Datensatzseite zeigt, hängt davon ab, was Sie liefern.

Sie liefern … ODW zeigt …
eine CSV-Datei, die Parquet-Fassung der ODI – ersatzweise GeoJSON, ein Shapefile oder (nur wenn es keine anderen Dateien gibt) JSON die Datentabelle zum Durchsuchen und Sortieren und die API-Beispielabfrage
ein Schema mit Titeln, Beschreibungen und Einheiten der Spalten verständliche Spaltenköpfe mit Erklärung statt technischer Spaltennamen
Koordinaten im Schema, eine GeoJSON-Datei oder einen WFS-Dienst die Kartenvorschau
Datums- und Zahlenspalten eine gute Grundlage für Diagramme und Zusammenfassungen
andere Formate wie PDF oder WMS den Eintrag unter Dateien
mehrere Ausgaben derselben Daten als Serie die Datensatzserie mit Historie und fester Adresse für die neueste Ausgabe

Welche Datei wird zur Datentabelle?

Ein Datensatz kann mehrere Dateien haben. Für die Datentabelle nimmt ODW genau eine davon und prüft dafür in fester Reihenfolge: zuerst Parquet, dann CSV, dann GeoJSON, dann Shapefile, zuletzt JSON. Die erste passende Datei wird zur Datentabelle. Eine GeoParquet-Datei übernimmt ODW zusätzlich für die Kartenvorschau.

Die Parquet-Fassung, die die ODI beim Hochladen neben der CSV-Datei anlegt, übernimmt ODW ohne Umwandlung – mit den Spaltentypen aus Ihrem Schema, also Zahlen und Datumswerte. Enthält sie nur Textspalten (ältere Fassungen) und gibt es eine CSV-Datei, wandelt ODW stattdessen die CSV um und erkennt Zahlen und Datumswerte selbst.

Eine JSON-Datei wird nur dann zur Datentabelle, wenn der Datensatz ausschließlich aus JSON-Dateien besteht. Gibt es daneben eine CSV- oder Parquet-Datei, bleibt es bei dieser. Außerdem muss die Datei Daten enthalten, keine Metadaten wie eine Tabular Data Resource, ein Data Package, ein JSON Schema oder JSON-LD. So geht ODW vor:

  • Einträge finden: Ist die Datei selbst eine Liste von Objekten ([ {…}, {…} ]), wird jedes Objekt eine Zeile. Sonst nimmt ODW die Liste unter data (z. B. bei JSON:API) und andernfalls die längste Liste von Objekten unter einem anderen Schlüssel. Bei JSON:API werden die Felder unter attributes zu Spalten.
  • Spalten bilden: Vorne steht die Spalte zeile mit der laufenden Nummer des Eintrags. Objekte mit bis zu 11 Feldern werden in eigene Spalten aufgelöst, etwa address_city für city unter address. Größere Objekte und Listen von Objekten bleiben zusammen in einer Spalte und erscheinen in der Tabelle als Strukturierte Daten, Listen einfacher Werte als „Krippe, Kita“.
  • Aufbau beschreiben: Aus dem Inhalt der Datei leitet ODW ein JSON Schema ab und verlinkt es unter Tabellenstruktur.
  • Grenzen: Die Datei darf (entpackt) höchstens 50 MB groß sein; gzip-komprimierte Dateien werden erkannt. Eine Kartenvorschau entsteht aus JSON-Dateien nicht. Enthält die Datei keine Liste von Objekten – etwa nur ein einzelnes Objekt oder null –, hat der Datensatz keine Datentabelle.

Ablauf: Welche Distribution eines Datensatzes zur Datentabelle wird

Mit Zoom, Suche und Hervorhebung einzelner Wege (Bedienelemente auf Englisch). In eigenem Fenster öffnen

Soll eine bestimmte Datei als Tabelle erscheinen, liefern Sie sie als einzige CSV-Datei des Datensatzes und ohne zusätzliche Parquet-Datei – oder laden Sie sie über die ODI hoch, dann passen CSV- und Parquet-Fassung zusammen.

Ein gutes Schema zahlt sich aus

Je genauer das Schema Ihre Spalten beschreibt, desto besser sieht der Datensatz im Portal aus: sprechende Spaltentitel, richtige Sortierung von Zahlen und Datumswerten, Einheiten in Diagrammen und eine Karte ohne weiteres Zutun.

Wann der Datensatz im Portal erscheint

Ein neuer Datensatz ist in der Suche zu finden, sobald er im Datenkatalog steht – in der Regel nach wenigen Minuten. Die Datentabelle bereitet ODW beim ersten Aufruf der Datensatzseite auf. Bei großen Dateien dauert das einige Minuten.

Aktualisieren Sie einen Datensatz, übernimmt ODW die Änderung beim nächsten Aufruf der Seite.

Angaben ändern

Titel, Beschreibung, Lizenz, Kontakt und Kategorien pflegen Sie dort, wo Sie den Datensatz angeliefert haben. ODW übernimmt die Angaben aus dem Datenkatalog und ändert sie nicht.