Middleware oder was ist es, was ich brauche

[KiloMike]

Hi,

ich bin gerade auf der Suche nach einem Programm oder einer Lösung, und die erste Hürde ist schon zu wissen, was ich eigentlich möchte... Ich weiss noch nicht, wie ich es nennen kann, ich weiss nur, was die Lösung können soll:

Gesucht ist eine Kommunikations/Übersetzungslösung als Art "Universal-Schnittstelle", welche Daten aus verschiedenen Quellen Einlesen kann (sowohl Holen, wie auch bringend) wie auch wieder ausgeben kann.. Als Quelle/Ziel sollten dabei:

- Email (inkl. Dateianhang)
- SQL (T-SQL, Oracle)
- XML
- MQ
- Datei/Files
- SharePoint

abgedeckt sein..

Was will ich jetzt damit? In einer Email hängt eine Datei dran, deren Inhalt soll ausgewertet werden, und in eine SQL-Datenbank eingepflegt werden...

Die Frage ist jetzt: Was ist es, was ich Suche, in welche Richtung geht das? Empfehlungen/Produkte??

[MaverrickTM]

Nabend,

uff, schwer. Wahrscheinlich wirds wohl auf eine Eigenentwicklung hinaus laufen. Scheint sehr speziell zu sein, was du suchst. Würde mich echt wundern wenn es genau das gibt, was du suchst.

letztlich suchst du die eierlegendewollmilchsau unter den Converter Tools.

MfG Mav

[WITM55]

Was du in erster Linie brauchst, ist ein ETL-Programm (Extract, Transform, Load).

Wir haben da was im Einsatz... was die Sache mit den E-Mails angeht: Wir bekommen viele unserer monatlichen Rohdaten per E-Mail, die landen in unserem Notes-Postkorb.

In unserem Fall schaut das Ganze so aus:

- Wir starten im ETL-Programm einen Prozess, der aus mehreren Schritten besteht

- Der Prozess startet seinerseits ein VB-Skript, dass auf Notes zugreift (Notes muss zu diesem Zeitpunkt offen sein, damit das Skript die bestehende Benutzeranmeldung verwenden kann). Dieses Skript durchsucht zum Beispiel einen Postkorb nach E-Mails mit bestimmten Anhängen (CSV-Dateien) und lädt diese runter. Außerdem öffnet es zum Beispiel die Mitarbeiter-Datenbank in einer bestimmten Ansicht und exportiert dort - über eine Schleife - alle Daten in eine weitere CSV-Datei.

- In weiteren Prozess-Schritten werden die CSV-Dateien in einzelne Tabellen auf unserem SQL-Server eingelesen.

- Einige dieser Daten werden als Grundlage für Berechnungen genommen (z. B. "Kennzahlen erzeugen"), die Ergebnisse dieser Berechnungen werden in weiteren Tabellen gespeichert.

Unsere Tabellen haben alle entsprechende Präfixe: ST_ sind Stammtabellen, deren Werte lange Zeit unverändert bleiben bzw. nichts mit unseren Kunden zu tun haben (z. B. ST_Mitarbeiter).

Dann gibt es die Faktentabellen (FA_, zum Beispiel FA_Kunden) mit tatsächlichen "Fakten", z. B. auch Kontostände.

Und zu guter letzt sind da Tabellen, die aus Performancegründen erzeugt werden, um leichter mit anderen Daten zu arbeiten (abgeleitete Tabellen) bzw. Tabellen mit errechneten Kennzahlen. Läuft bei uns beides unter WK_ (Work-Tabellen, also Arbeitstabellen). [Ein Sonderfall sind die WKV_, die Work Views - also keine Tabellen, sondern nur definierte Sichten.]

In weiteren Schritten haben wir zum Beispiel in Cognos Impromptu definierte Berichte, die über das ETL-Programm aufgerufen werden (unser Programm bietet dabei die Möglichkeit, gleichzeitig den Bericht als z. B. Excel-Datei zu speichern).

Wo nötig, werden die fertigen Dateien wiederum über VB-Skripte per Notes verschickt. (Oftmals allerdings entstehen daraus Datenwürfel, die administriert und über ein Portal zugänglich gemacht werden.)

===============

Bei der Software gibt es einiges. Ein bekanntes Open Source ETL-Programm ist Talend; ich habe damit aber noch nicht gearbeitet. Wir haben uns unsere Technologie bei einem BI-Anbieter für den Mittelstand eingekauft (allerdings haben wir deren vorgefertigte Modelle in die Tonne getreten und wirklich ALLES von Grund auf neu modelliert; ist umständlicher, aber man kennt das System danach bis in die kleinste Schraube).

Du brauchst also eine Mischung aus ETL-Software + Zusatzsoftware + eigene Programmierungen (die Sache mit der "Daten automatisiert aus einer E-Mail holen" ist KEINE Standardprozedur in irgendeinem ETL-Programm).

[KiloMike]

Hi,

hätte nicht gedacht, dass das so ein problem darstellt.. Was macht den JBoss z.B.?

Oder anders: Gibt's denn keine Schnittstellenanwendung/Middleware, die Daten aus den Kanälen aufnimmt und weitergibt?? Oder für jeden Kanal eine eigene Lösung?

Grüße

[WITM55]

Hatte noch nicht das Vergnügen mit JBoss.

Aber wie gesagt: Du brauchst einfach nur ein ETL-Programm. Lass mal die E-Mail-Schnittstelle weg - die Datei, die da dran hängt, wirst du ja zur Not auch selbst noch auf die Festplatte speichern können.

Ein ETL-Program ist genau dazu gedacht, Daten aus unterschiedlichen Quellen zu laden und in ein DataWareHouse einzubringen.

Darf ich fragen, um welche Daten es sich handelt bzw. um wie viele verschiedenen Datenquellen es sich handelt? Und was ihr mit den Daten letztlich vorhabt? Davon hängt ab, wie kompliziert das Ganze wird.

Vieles von dem, was ich dir geschrieben habe, hat nichts mit der Funktionalität, die Daten zu übertragen, an sich zu tun. Vielmehr handelt es sich dabei um Fragen der Organisation (was bringen dir Daten, die nicht vernünftig organisiert sind).

[KiloMike]

Hi,

also als Datenquellen ist zum einen eine Email-Schnittstelle, dann noch eine Oracle-Datenbank, diese wird innerhalb des nächsten Jahres durch MQ/XML abgelöst..

Die Daten sollen dann in eine MSSQL-DB geschrieben werden..

Aus den Quellen müssen die Daten nur raus und in die zentrale DB, nennen wir sie mal das Datawarehouse, eingepflegt werden.

Dort raus müssen/sollen sie dann in verschiedenen kleine MSSQL-DB (jeweils teilweise), oder kleine Anwendungen greifen darauf zu..

Außerdem wäre eine Eingabe/Auslesen in Sharepoint-Listen/Dokumentenbibliotheken noch äußerst hilfreich..

Außerdem sehr gut wäre ein Email-Versnd von Daten, zusammengefasst selbstverständlich...

Derzeit habe ich z.B. noch einige ASPX-Webforms, die eine Email bei der Ausführung generieren, diese ASPX-Forms werden mittels Javascript automatisch neu geladen.. Hier wäre ein "echter" Serverjob schöner.. Eventuell über einen MS Report Server?

[WITM55]

"E-Mail" ist keine Datenquelle. An der E-Mail wird eine Datei dranhängen, vermute ich mal Excel/CSV/dergleichen.

Warum gehen die Daten aus dem zentralen DWH in andere Datenbanken rüber? Getrennte physikalische Maschinen? Oder geht es nur darum, die "Ausschnitte" abzubilden? (In dem Fall wären Views gut geeignet.)

Wie gesagt, was die Daten im E-Mail-Versand angeht: Ich würde dafür Berichte erzeugen lassen (z. B. als Excel-Datei) und die dann per Skript als E-Mail verschicken.

Es GIBT verschiedene Anbieter, die dir solche Lösungen anbieten. Leider weiß ich immer noch nicht, über welche Art von Daten du sprichst, über wie viele Daten wir reden und wie die verteilt werden...

Um dir mal ein Beispiel für eine Verteilung zu geben: Bei uns läuft auf dem Server, auf dem die MSSQL-DB läuft, auch ein Apache-Webserver. Darauf läuft eine Portal-Plattform, die wir von unserem BI-Anbieter eingekauft haben. Unsere Mitarbeiter loggen sich dort mit Ihren Zugangsdaten ein und können dann die unterschiedlichsten Berichte auslesen, die sie brauchen.

Wie groß (und damit teuer) deine Lösung werden muss, kann ich dir nicht sagen, ohne den Rahmen zu kennen. Wenn es sich nur um wenige Daten handelt, könnte man theoretisch auch über MS-Access auf die Datenbank zugreifen (ODBC lässt grüßen) und z. B. über Makros bestimmte Schritte ausführen, wie Daten einlesen, etc.

Was den Serverjob angeht: Man kann auch über die Aufgabensteuerung in Windows in regelmäßigen Programmen Programme ausführen lassen, zum Beispiel eine Batch-Datei. (Wir würden da theoretisch eine Batch-Datei starten, die das ETL-Programm aufruft und diesem Mitteilt, dass es den Prozess 2.5 komplett durchlaufen soll - aber wir starten die Dinger eh von Hand, so oft kommen bei uns die Daten nicht rein.)

Ansonsten: "Echte" Server bieten natürlich Cronjobs an