Smarter | Data Engineering | Scheduling
datasqill /ˈdeɪtə skɪl/ ist eine schlanke Transformations- und Data Engineering Lösung für Datenintegration, Datenmigration und Data Warehousing. Die Lösung basiert auf einer modularen Architektur, realisiert das Konzept der nativen Ausführung und unterstützt SQL als Tranformationsprache. datasqill ermöglicht die einfache und intuitive Modellierung von Datentransformationen und übernimmt deren automatisierte Ausführung.
In Gegensatz zu gängigen ETL-Lösungen führt datasqill die Transformationen direkt dort aus, wo die Daten gespeichert sind. Mit datasqill holen unsere Kunden das Beste aus Ihren Datenbanken und erreichen eine neue Stufe mit intelligenten Automatisierungs- und Integrationsfeatures. datasqill ist eine perfekte ETL- / ELT- und Transformationslösung für In-Memory, MPP und Cloud-Datenbanken als auch für Big Data.
Flyer runterladen Demoversion runterladenNative Ausführung
Transformationen werden dort ausgeführt, wo die Daten gespeichert sind, was eine performante und transparente Datenbewirtschaftung für jeden Use Case sicherstellt und sowohl ETL als auch ELT Vorgehen ermöglicht. Dadurch lassen sich die Features der Datenbanken besser ausnutzen (wie z.B. In-Memory, MPP).
SQL als Transformationssprache
SQL ist eine universelle Schnittstellensprache für Datenbanken und Hadoop (SQL-on-Hadoop). SQL kann in allen Projektphasen von Prototyping bis zur Implementierung verwendet werden, was den Entwicklungsprozess agiler macht. Die Fehleranalyse wird auch einfacher, da der Code direkt ausführbar ist.
Smarte Ablaufsteuerung
datasqill erkennt die Abhängigkeiten zwischen den Transformationen auf Basis der Metadaten, wodurch die Transformationen automatisch in korrekter Reihenfolge ausgeführt werden. Die Ausführungsstatistiken werden gesammelt und für die Ablaufoptimierung zukünftiger Ausführungen heranzgezogen.
Modularisierung
datasqill ist modular aufgebaut und bietet ein Spektrum von Modulen für verschiedene Einsatzzwecke u.a. In-Database Transformationen, Arbeit mit Flat Files, Web Services, Integration mit Reporting Tools und externen Scheduler. Kundeneigene Module lassen sich nach Bedarf in beliebigen Sprache entwickeln (Java, PL/SQL, PL/pgSQL, Lua, Shell-Scripting) und nahtlos integrieren.
Datenhistorisierung
Eine Out-of-the-Box Lösung für technische und fachliche Datenhistorisierung (sogenannte bitemporale Datenhistorisierung) für die Datenbanken ermöglicht effizientes Datenmanagement ohne Notwendigkeit Code zu entwickeln für Szenarien wie SCD2, Quellsystem Historisierung und Pflege von Mapping Tabellen im Data Warehousing.
Scheduling und Monitoring
datasqill ermöglicht Ausführung der Transformationsbatches nach Plan und unter Berücksichtig der Abhängigkeiten, visualisiert die Ausführungshistorie und ermöglicht die Kontrolle über laufende Prozesse.
Use Case: Data Warehousing und BI
datasqill unterstützt ideal bei der Entwicklung von ETL- oder ELT-Strecken für DWH und BI und sorgt für deren performante, stabile und automatisierte Ausführung. Dazu gehören Staging, Beladung der 3NF und Star-schema sowie die bitemporale Historisierung der Daten.
Use Case: Mass Data / Big Data
Die Transformationen werden direkt dort ausgeführt, wo die Daten gespeichert sind (Push-Down), was bei der Verarbeitung der größeren Datenmengen besonders wichtig ist. datasqill ermöglicht somit performante und transparente Datenverarbeitung für Massendaten mit minimalem Netzwerktraffik.
Use Case: Data Integration
Anbindung von heterogenen Datenquellen (Datenbanken, Flat Files, Web Services), zerlegen von unterschiedlichen Datenformaten (wie z.B. CSV, XML, JSON), Datentransformation und Export der verarbeiteten Daten lassen sich mit datasqill perfekt automatisieren.
Use Case: Data Migration
Transformationen und Datenaufbereitung zur Migration von Daten aus Alt- in die Neusysteme lassen sich mit datasqill schnell entwickeln und produktiv nutzen. Die Daten werden aus den Altsystemen extrahiert, aufbereitet und direkt ins Zielsystem geschrieben (oder z.B. als Flat Files exportiert).
Use Case: In-Memory und MPP Datenbanken
datasqill ermöglicht natives Ausführen der Transformationen in der Datenbank mittels SQL oder mithilfe von nativen Datenbank-Modulen (PL/SQL, Lua, PL/pgSQL), was es zu einem idealen ELT / ETL Tool für In-Memory und MPP Datenbanken macht.
Use Case: Cloud
datasqill propagiert die Ausführung der Transformationen in das Zielsystem, egal ob On-Premises oder In-the-Cloud, und ermöglicht nahtlose Steuerung der Transformationsausführung zwischen Cloud und On-Premises Lösungen als auch Kommunikation über Web Services. Damit haben Sie auch Ihre stark verteilte Transformationsumgebung im Griff.
Transformationsnetz
Transformationen (blau) werden auf einem Arbeitsblatt platziert. Dabei wird definiert, welche Quell- und Zielobjekte (grau) sie benutzen.
Code Editor
Transformationslogik wird hier im Beispiel in SQL als ein Select-Statement programmiert. Funktionale Module generieren daraus zur Laufzeit ein Ziel-SQL, welches gegen die Datenbank ausgeführt wird.
Monitor
Durch das Monitoring lassen sich die laufende Transformationen überwachen und steuern.
Batch Editor
Um die regelmäßige Ausführung von Transformationen bestimmter Arbeitsblätter zu planen, werden diese in Batches gruppiert und gemeinsam gestartet.
Kontakt
Kontaktieren Sie uns über das Kontakformular um eine kostenlose Demoversion von datasqill runterzuladen. Wir würden uns auch freuen eine unverbindliche Produktvorstellung für Sie zu organisieren!
Gerne möchten wir auch mit Beratungshäuser in Kontakt treten, die unser Produkt bei ihren Kunden einsetzen möchten.
datasqill wurde mit von der Firma SoftQuadrat GmbH
contactdatasqill.de
Tel.: +49 8095 87 59 27
Unsere Partner
