Das Post-ETL - Smarter Data Engineering

datasqill /ˈdeɪtə skɪl/ ist eine schlanke Transformations- und Data Engineering Lösung für Datenintegration, Datenmigration und Data Warehousing. Die Lösung basiert auf einer modularen Architektur, realisiert das Konzept der nativen Ausführung und unterstützt SQL als Tranformationsprache. datasqill ermöglicht die einfache und intuitive Modellierung von Datentransformationen und übernimmt deren automatisierte Ausführung.

In Gegensatz zu gängigen ETL-Lösungen führt datasqill die Transformationen direkt dort aus, wo die Daten gespeichert sind. Mit datasqill holen unsere Kunden das Beste aus Ihren Datenbanken und erreichen eine neue Stufe mit intelligenten Automatisierungs- und Integrationsfeatures. datasqill ist eine perfekte ETL- / ELT- und Transformationslösung für In-Memory, MPP und Cloud-Datenbanken als auch für Big Data.

Flyer runterladen Demo anfordern

Native Ausführung

Transformationen werden dort ausgeführt, wo die Daten gespeichert sind, was eine performante und transparente Datenbewirtschaftung für jeden Use Case sicherstellt und sowohl ETL als auch ELT Vorgehen ermöglicht. Dadurch lassen sich die Features der Datenbanken besser ausnutzen (wie z.B. In-Memory, MPP).

SQL als Transformationssprache

SQL ist eine universelle Schnittstellensprache für Datenbanken und Hadoop (SQL-on-Hadoop). SQL kann in allen Projektphasen von Prototyping bis zur Implementierung verwendet werden, was den Entwicklungsprozess agiler macht. Die Fehleranalyse wird auch einfacher, da der Code direkt ausführbar ist.

Smarte Ablaufsteuerung

datasqill erkennt die Abhängigkeiten zwischen den Transformationen auf Basis der Metadaten, wodurch die Transformationen automatisch in korrekter Reihenfolge ausgeführt werden. Die Ausführungsstatistiken werden gesammelt und für die Ablaufoptimierung zukünftiger Ausführungen heranzgezogen.

Modularisierung

datasqill ist modular aufgebaut und bietet ein Spektrum von Modulen für verschiedene Einsatzzwecke u.a. In-Database Transformationen, Arbeit mit Flat Files, Web Services, Integration mit Reporting Tools und externen Scheduler. Kundeneigene Module lassen sich nach Bedarf in beliebigen Sprache entwickeln (Java, PL/SQL, PL/pgSQL, Lua, Shell-Scripting) und nahtlos integrieren.

Datenhistorisierung

Eine Out-of-the-Box Lösung für technische und fachliche Datenhistorisierung (sogenannte bitemporale Datenhistorisierung) für die Datenbanken ermöglicht effizientes Datenmanagement ohne Notwendigkeit Code zu entwickeln für Szenarien wie SCD2, Quellsystem Historisierung und Pflege von Mapping Tabellen im Data Warehousing.

Scheduling und Monitoring

datasqill ermöglicht Ausführung der Transformationsbatches nach Plan und unter Berücksichtig der Abhängigkeiten, visualisiert die Ausführungshistorie und ermöglicht die Kontrolle über laufende Prozesse.

Transformationsnetz


Transformationen (blau) werden auf einem Arbeitsblatt platziert. Dabei wird definiert, welche Quell- und Zielobjekte (grau) sie benutzen.

SQL Editor


Transformationslogik wird hier im Beispiel in SQL als ein Select-Statement programmiert. Funktionale Module generieren daraus zur Laufzeit ein Ziel-SQL, welches gegen die Datenbank ausgeführt wird.

Monitor


Durch das Monitoring lassen sich die laufende Transformationen überwachen und steuern.

Batch Editor


Um die regelmäßige Ausführung von Transformationen bestimmter Arbeitsblätter zu planen, werden diese in Batches gruppiert und gemeinsam gestartet.

  • datasqill konnte unser Interesse durch seine Konzepte In-Database Ausführung und Transformationsentwicklung mit SQL wecken.

    Die Verwendung von SQL für Analyse, Implementierung und Test ermöglicht einen weichen Übergang ohne Medienbrüche von einer Entwicklungsphase zur nächsten, die Ausführung in unmittelbarer Nähe zu den gespeicherten Daten sorgt für den performanten Betrieb.

    Das smarte Scheduling, die intuitive Bedienung, die standardisierte Modularität und die bedarfsorientierte Erweiterbarkeit waren weitere wichtige Merkmale, mit denen das Produkt überzeugen könnte.

    datasqill zeichnet sich gegenüber anderen Lösungen durch kurze Entwicklungszeiten und stabilen Produktivbetrieb aus und stellt dadurch heute eine der wichtigsten Säulen unseres Data Warehouses dar. Die Erfolge beim Aufbau unseres Data Warehouses wurden durch verschiedene Auszeichnungen wie etwa von CIO Magazin oder der Business Application Research Center (BARC) entsprechend honoriert.

    Christof Grill, Abteilungsleiter BICC
    M-net Telekommunikations GmbH

  • datasqill wurde durch das Innovationsprogramm “Bayern Innovativ“ des Freistaats Bayern gefördert. Wir sind stolz darauf, dass die Konzepte und Ideen der Lösung überzeugen konnten und diese Anerkennung erhalten haben. Die Umsetzung der datasqill Suite erfolgte in Zusammenarbeit mit der Hochschule Rosenheim sowie Mitarbeitern der Goethe-Universität Frankfurt.

    Bayern Innovativ

  • Die grafischen Modellierung von ETL-Transformationen kombiniert mit ihrer Programmierung in SQL machen datasqill zu einem schnell zu erlernenden und äußerst leistungsfähigen Werkzeug für ETL-Entwickler. Mit Hilfe der intuitiven Kombination aus grafischer Programmierung und Detaillierung in SQL können sich diese ganz auf die effiziente Umsetzung von fachlichen Anforderungen konzentrieren und werden nicht durch proprietäre Tools und ihre Besonderheiten eingeschränkt.

    Cezary Drozd, CEO
    blue veery GmbH

Data Warehousing und BI

datasqill unterstützt ideal bei der Entwicklung von ETL- oder ELT-Strecken für DWH und BI und sorgt für deren performante, stabile und automatisierte Ausführung. Dazu gehören Staging, Beladung der 3NF und Star-schema sowie die bitemporale Historisierung der Daten.

Mass Data / Big Data

Die Transformationen werden direkt dort ausgeführt, wo die Daten gespeichert sind (Push-Down), was bei der Verarbeitung der größeren Datenmengen besonders wichtig ist. datasqill ermöglicht somit performante und transparente Datenverarbeitung für Massendaten mit minimalem Netzwerktraffik.

Data Integration

Anbindung von heterogenen Datenquellen (Datenbanken, Flat Files, Web Services), zerlegen von unterschiedlichen Datenformaten (wie z.B. CSV, XML, JSON), Datentransformation und Export der verarbeiteten Daten lassen sich mit datasqill perfekt automatisieren.

Data Migration

Transformationen und Datenaufbereitung zur Migration von Daten aus Alt- in die Neusysteme lassen sich mit datasqill schnell entwickeln und produktiv nutzen. Die Daten werden aus den Altsystemen extrahiert, aufbereitet und direkt ins Zielsystem geschrieben (oder z.B. als Flat Files exportiert).

In-Memory und MPP Datenbanken

datasqill ermöglicht natives Ausführen der Transformationen in der Datenbank mittels SQL oder mithilfe von nativen Datenbank-Modulen (PL/SQL, Lua, PL/pgSQL), was es zu einem idealen ELT / ETL Tool für In-Memory und MPP Datenbanken macht.

Cloud

datasqill propagiert die Ausführung der Transformationen in das Zielsystem, egal ob On-Premises oder In-the-Cloud, und ermöglicht nahtlose Steuerung der Transformationsausführung zwischen Cloud und On-Premises Lösungen als auch Kommunikation über Web Services. Damit haben Sie auch Ihre stark verteilte Transformationsumgebung im Griff.

datasqill wurde mit von der Firma SoftQuadrat GmbH
datasqill logo

Wir würden uns freuen eine unverbindliche Produktvorstellung für Sie zu organisieren!

Gerne möchten wir auch mit Beratungshäuser in Kontakt treten, die unser Produkt bei ihren Kunden einsetzen möchten.

contactdatasqill.de
Tel.: 08095 / 87 59 27

Ich habe die Datenschutzerklärung zur Kenntnis genommen. Ich stimme zu, dass meine Angaben zur Kontaktaufnahme und für Rückfragen dauerhaft gespeichert werden. Hinweis: Sie können Ihre Einwilligung jederzeit für die Zukunft per Mail an contact@datasqill.de widerrufen.