Das Post-ETL

datasqill /ˈdeɪtə skɪl/ ist eine schlanke Transformationslösung für Datenintegration, Datenmigration und Data Warehousing. Die Lösung basiert auf einer modernen und modularen Architektur und realisiert die Konzepte von In-Database Ausführung und SQL-basierten Entwicklung. datasqill ermöglicht die einfache und intuitive Modellierung von Datentransformationen und übernimmt deren automatisierte Ausführung.

In Gegensatz zu gängigen ETL-Lösungen führt datasqill die Transformationen direkt dort aus, wo die Daten gespeichert sind. Mit datasqill holen unsere Kunden das Beste aus Ihren Datenbanken und erreichen eine neue Stufe mit intelligenten Automatisierungs- und Integrationsfeatures. datasqill ist eine perfekte ETL- / ELT- und Transformationslösung für In-Memory und Cloud-Datenbanken als auch für Big Data Integration.

Doku runterladen Demo ansehen

Entwicklung mit SQL

SQL ist eine universelle Schnittstellensprache für Datenbanken und Hadoop (SQL-on-Hadoop). SQL kann in allen Projektphasen von Prototyping bis zur Implementierung verwendet werden, was den Entwicklungsprozess agiler macht. Die Fehleranalyse wird auch einfacher, da der Code direkt ausführbar ist.

In-Database Ausführung

Transformationen werden dort ausgeführt, wo die Daten gespeichert sind, was eine performante und transparente Datenbewirtschaftung für jeden Use Case sicherstellt und sowohl ETL als auch ELT Vorgehen ermöglicht. Dadurch lassen sich die bereits vorhandenen als auch zukünftigen Features der Datenbanken besser ausnutzen (wie z.B. In-Memory).

Smarte Ablaufsteuerung

datasqill erkennt die Abhängigkeiten zwischen den Transformationen auf Basis der Metadaten, wodurch die Transformationen automatisch in korrekter Reihenfolge ausgeführt werden. Die Ausführungsstatistiken werden gesammelt und für die Ablaufoptimierung zukünftiger Ausführungen heranzgezogen.

Modular

datasqill ist modular aufgebaut und bietet ein Spektrum von Modulen für verschiedene Einsatzzwecke u.a. Insert, Merge, Arbeit mit Flat Files, Web Services, Integration mit Reporting Tools und externen Scheduler. Kundeneigene Module lassen sich nach Bedarf in beliebigen Sprache entwickeln (Java, PL/SQL, PL/pgSQL, Lua, Shell-Scripting) und nahtlos integrieren.

Datenhistorisierung

Eine Out-of-the-Box Lösung für technische und fachliche Datenhistorisierung (sogenannte bitemporale Datenhistorisierung) für die Datenbanken ermöglicht effizientes Datenmanagement ohne Notwendigkeit Code zu entwickeln für Szenarien wie SCD2, Quellsystem Historisierung und Pflege von Mapping Tabellen im Data Warehousing.

Flexibles Lizenzmodell

Das datasqill Preismodell orientiert sich an Kennzahlen wie # Umgebungen, # der laufenden Transformationen, Menge der verarbeiteter Datensätze pro Tag. Die Kennzahlen können flexibel kombiniert werden um die Verwendung von datasqill fair wiederzuspiegeln. Einen datasqill Lizenz beinhaltet auch immer ein Beratungskontingent, um den optimalen Nutzen der datasqill Installation für den Kunden sicherzustellen.

Scheduling und Monitoring

datasqill ermöglicht Ausführung der Transformationsbatches nach Plan und unter Berücksichtig der Abhängigkeiten, visualisiert die Ausführungshistorie und ermöglicht die Kontrolle über laufende Prozesse.

Transformationsnetz


Transformationen (blau) werden auf einem Arbeitsblatt platziert. Dabei wird definiert, welche Quell- und Zielobjekte (grau) sie benutzen.

SQL Editor


Transformationslogik wird hier im Beispiel in SQL als ein Select-Statement programmiert. Funktionale Module generieren daraus zur Laufzeit ein Ziel-SQL, welches gegen die Datenbank ausgeführt wird.

Monitor


Durch das Monitoring lassen sich die laufende Transformationen überwachen und steuern.

Batch Editor


Um die regelmäßige Ausführung von Transformationen bestimmter Arbeitsblätter zu planen, werden diese in Batches gruppiert und gemeinsam gestartet.

  • datasqill konnte unser Interesse durch seine Konzepte In-Database Ausführung und Transformationsentwicklung mit SQL wecken.

    Die Verwendung von SQL für Analyse, Implementierung und Test ermöglicht einen weichen Übergang ohne Medienbrüche von einer Entwicklungsphase zur nächsten, die Ausführung in unmittelbarer Nähe zu den gespeicherten Daten sorgt für den performanten Betrieb.

    Das smarte Scheduling, die intuitive Bedienung, die standardisierte Modularität und die bedarfsorientierte Erweiterbarkeit waren weitere wichtige Merkmale, mit denen das Produkt überzeugen könnte.

    datasqill zeichnet sich gegenüber anderen Lösungen durch kurze Entwicklungszeiten und stabilen Produktivbetrieb aus und stellt dadurch heute eine der wichtigsten Säulen unseres Data Warehouses dar. Die Erfolge beim Aufbau unseres Data Warehouses wurden durch verschiedene Auszeichnungen wie etwa von CIO Magazin oder der Business Application Research Center (BARC) entsprechend honoriert.

    Christof Grill, Abteilungsleiter BICC
    M-net Telekommunikations GmbH

  • datasqill wurde durch das Innovationsprogramm “Bayern Innovativ“ des Freistaats Bayern gefördert. Wir sind stolz darauf, dass die Konzepte und Ideen der Lösung überzeugen konnten und diese Anerkennung erhalten haben. Die Umsetzung der datasqill Suite erfolgte in Zusammenarbeit mit der Hochschule Rosenheim sowie Mitarbeitern der Goethe-Universität Frankfurt.

    Bayern Innovativ

  • Die grafischen Modellierung von ETL-Transformationen kombiniert mit ihrer Programmierung in SQL machen datasqill zu einem schnell zu erlernenden und äußerst leistungsfähigen Werkzeug für ETL-Entwickler. Mit Hilfe der intuitiven Kombination aus grafischer Programmierung und Detaillierung in SQL können sich diese ganz auf die effiziente Umsetzung von fachlichen Anforderungen konzentrieren und werden nicht durch proprietäre Tools und ihre Besonderheiten eingeschränkt.

    Cezary Drozd, CEO
    blue veery GmbH

  • SoftQuadrat hat durch flexible Tools, große Branchenerfahrung und pragmatische Einsätze signifikant zu dem Erfolg unseres Projektes ‚Go Business Intelligence‘ beigetragen.

    Die durchdachten und zukunftssicheren Lösungen, die den Kern unseres Data Warehouses und der ETL Landschaft bilden, wurden zeit- und kosteneffizient umgesetzt. Die Ergebnisse unserer Zusammenarbeit haben nicht nur unsere internen Kunden zufriedengestellt, sondern wurden auch im Rahmen der Verleihung des ‚CIO des Jahres 2014‘ gewürdigt.

    Christian Grodau, Bereichsleiter IT
    M-net Telekommunikations GmbH

Data Warehousing und BI

datasqill unterstützt ideal bei der Entwicklung von ETL- oder ELT-Strecken für DWH und BI und sorgt für deren performante und stabile automatisierte Ausführung. Dazu gehören Staging, Beladung der 3NF und Star-schema sowie die bitemporale Historisierung der Daten.

Analyse und Reporting

Nach der Datenanalyse mit SQL können die Analyseskripte ohne ETL-Tool Vorkenntnisse zur Definitionen von Transformationen in datasqill eingesetzt und zur automatisierten Ausführung gebracht weren. Auch die Integration mit Reporting- und Analysetools gestaltet sich einfach.

Data Quality

Date Cleansing in den operativen Prozessen wie zB Addressecleansing in CRM Bereich, Anbindung öffentlichen Web Services für Datenvalidierung und Daten Anreicherung wie zB aktuelle Währungskurse oder Wetterlage.

Data Migration

Transformationen und Datenaufbereitung zur Migration von Daten aus Alt- in die Neusysteme lassen sich mit datasqill schnell entwickeln und produktiv nutzen. Die Daten werden aus den Altsystemen extrahiert, aufbereitet und direkt ins Zielsystem geschrieben (oder z.B. als Flat Files exportiert).

In-Memory Datenbanken

datasqill ermöglicht natives Ausführen der Transformationen in der Datenbank mittels SQL oder mithilfe von nativen Datenbank-Modulen (PL/SQL, Lua, PL/pgSQL), was es zu einem idealen ELT / ETL Tool für In-Memory Datenbanken macht.

Cloud Integration

datasqill ermöglicht nahtlose Steuerung der Transformationen zwischen In-the-Cloud und On-Premises Lösungen als auch Kommunikation über Web Services. Damit haben Sie Ihre Transformationsumgebung im Griff, egal wie stark verteilt sie ist.

datasqill wurde mit von der Firma SoftQuadrat GmbH
datasqill logo

Wir würden uns freuen eine unverbindliche Produktvorstellung für Sie zu organisieren!

Gerne möchten wir auch mit Beratungshäuser in Kontakt treten, die unser Produkt bei ihren Kunden einsetzen möchten.

datasqillsoftquadrat.de
Tel.: 08095 / 87 59 27