Archive of ‘ETL Talend Open Studio’ category

Talend Open Studio (TOS) – Variablen und etwas Java

TOS Jobs kennen unterschiedliche Arten von Variablen

Um eine hohe Flexibilität in entwickelten Jobs zu erhalten versucht man den Job möglichst mittels Parameterübergaben zu steuern. bei TOS werden die Variablen in einem Context zusammengefaßt und in einem File gespeichert. ..  wie in alten “INI”-Files.
Beim Start des Jobs übergibt man nun nur den Namen des Context-File, … by Default lautet der Name “Default”
Somit lassen sich Variablen statisch hinterlegen.
Das Context-File Default.context liegt später im Scriptverzeichnis.

Context-Definition: hier die Variable “emails”

Context-Variablen nutzen:    .. in irgendein Feld reingehen und mal STRG+SPACE (more…)

Talend Open Studio – Einbindung einer Datenquelle

 

Datenbankverbindungen sollte man in TOS immer als Meta-Daten im Repository hinterlegen.
In diesem Fall gehe ich davon aus, dass man schon ein Projekt definiert und als Sprache “JAVA” gewählt hat.
Schritte:
  • Auf der linken Seite den Ordner „Meta-Daten“ öffnen
  • Mit Rechter Maustaste auf DB-Verbindungen klicken und „Erstelle Verbindung wählen“
  • „Name“ angeben, auf „weiter“ klicken, -> Der Name muss den Regeln für einen Klassennamen in Java entsprechen
  • DB-Type auswählen

Datenbank-Connection in MetaData

(more…)

Talend Open Studio ETL – Einführung

ETL steht für

  • Extract
  • Transform
  • Load

Talend Open Studio ist eine Entwicklungsumgebung, die sich genau auf diese 3 ETL-Funktionen spezialisiert hat. Extract, Transform und Load werden hierbei sehr weit gegriffen und zur Instrumentalisierung werden weitere Komponenten angeboten, die weit mehr ermöglichen als Daten von einer Datenquelle zur anderen zu schieben.

Wozu kann man es anwenden?

  • Daten extrahieren, in Informationen wandeln oder Datentypen wandeln, in Zielsystem laden…
  • Datenbestände unterschiedlicher Systeme können zusammengeführt, verglichen und normalisiert werden
  • Import / Export

(more…)