Schweizer Messer

Datenflut reduzieren

Die Programmiersprache "N" bindet einen Filter an Ereignisse oder Datenpakete. Diese müssen die Daten dann entsprechend weiterverarbeiten, denn im Eingangsbereich muß der NFRD schnellstens Platz für neue Pakete schaffen. Um dieses Weiterverarbeiten zu vereinfachen, steht eine Reihe spezialisierter Funktionen zur Verfügung, die bei der Interpretation der raw-Datenpakete helfen. Die Daten gelangen dann zu einem "Backend". Dieser Prozeß hat zur Aufgabe, die übermittelten Datensätze aufzubereiten, anzuzeigen oder Aktionen auszulösen.

Die Backends übernehmen in Kombination mit dem großen Aufräumer, "Spaceman" genannt, die Aufgabe, die Datenflut auf das notwendige Maß zu reduzieren. Solange die Festplattenkapazität endlich ist, muß der Spaceman den ihm zugewiesenen Platz (etwa per quota) verwalten und ältere Daten archivieren beziehungsweise löschen. Bevor der Spaceman-Dämon sie unwiederbringlich löscht, kann man die Daten in eine Datenbank übernehmen, als "tar"-Datei auf Band speichern oder auf einen anderen Server kopieren. Der Zugriff darauf zu Analysezwekken erfolgt per Java-Browser, ist also von der Echtzeit-Datenanalyse entkoppelt.