Talend Open Studio – Einbindung einer Datenquelle

 

Datenbankverbindungen sollte man in TOS immer als Meta-Daten im Repository hinterlegen.
In diesem Fall gehe ich davon aus, dass man schon ein Projekt definiert und als Sprache “JAVA” gewählt hat.
Schritte:
  • Auf der linken Seite den Ordner „Meta-Daten“ öffnen
  • Mit Rechter Maustaste auf DB-Verbindungen klicken und „Erstelle Verbindung wählen“
  • „Name“ angeben, auf „weiter“ klicken, -> Der Name muss den Regeln für einen Klassennamen in Java entsprechen
  • DB-Type auswählen

Datenbank-Connection in MetaData

Nun kann man die Datenverbindung in einem neuen Job testen

  • Sobald eine Datenbankverbindung besteht, kann man Jobs erstellen
  • Auf der linken Seite „Job-Design“ wählen
  • Im Kontextmenü dann “Erstelle Job” wählen

DB Connection Test - Job

In der Mitte der Benutzungsoberfläche kann man nun den Job mit Komponenten füllen.

Der erste TOS-Job

Nun kann man auf der linken Seite im Repository unter Meta-Daten, DB-Verbindungen die zuvor erste DB-Connection auswählen und auf den Job-Designer (leere Arbeitsfläche) ziehen.

Beim Fallenlassen auf der Arbeitsoberfläche kann man auswählen, ob diese Datenquelle als “tOracleInput” oder “tOracleOutput” verwendet werden soll.

  • Input > Die Daten werden aus der Datenquelle gelesen und stehen als DAtenstrom im Job zur Verfügung
  • Output > Ein Datenstrom kann in eine Datensenke verschoben werden, mit tOracleOutput würde man den Datenstrom in eine vorhandene oder neu zu erstellende Oracle-Tabelle schreiben.

Der Job sollte nun wie folgt aussehen. In meinem Fall habe ich schon eine Abfrage in die Component-Details eingetragen. Die Abfrage enthält kein sonst übliches “;” ! und wird in ” eingeschlossen.

Meine Abfrage: “select * from xdb_werte”

Der Job bzw. die Komponente kenn nun aber noch kein Schema!

Einmal auf “Guess schema” klicken ! Hierdurch wird das Spalten_Schema der Tabelle ermittelt!

Hier kann man das Schema an die eigenen Bedürfnisse anpassen und schließt mit “OK” ab.

Danach zeigt die Komponente bzw. unser Job-Baustein nur noch eine gelbe Warnung an:

Ok, nun folgt die Ausgabe in eine Excel-Datei; – keine Sorge wir benötigen kein MS-Office auf dem Server auf dem der ETL-Job später laufen soll.

Im Suchfeld “Komponente suchen” sucht man nun nach einer passenden EXCEL-Output-Komponente und zieht sie auch auf den Job-Designer

Ergebnis:

In den Component-Details des Bausteins tFileOutputExcel_1 kann man den Excel_Filenamen entsprechend anpassen.

Nun müssen die beiden Bausteine nur noch miteinander verbunden werden.

Mit der Maus dazu auf den baustein “db_conn_test” klicken und das Kontextmenü öffnen und “Zeile” – “Main” wählen und danach direkt auf den Excel-Baustein klicken.Hierdurch wird der Main-Datenstrom des linken Bausteins mit dem Eingang des rechten Bausteins verbunden.

Die beiden Bausteine haben keine Warnhinweise mehr und wir können den Job starten.

Job ausführen und danach kann man sich das Ergebnis als Ecxel-Datei anschauen.

 

Viel Spaß!!

 

 

 

 

 

 

 

Hinterlasse eine Antwort