Projektvorstellung
Oracle Ladejob für die RIS Marktzahlen von IMS ins Data Warehouse
Die RIS Marktdaten, die monatlich von der IMS geliefert werden, werden durch eine neue, von Comgate entwickelte Schnittstelle ins Marketing Data Warehouse der Novartis Pharma Schweiz importiert.
Datenfluss im optimierten Ladeprozess
Branche: Pharma
Dienstleistung: Datenanalyse, Schnittstellenentwurf, Programmierung, Inbetriebnahme
Technologien: Oracle
Ausgangslage
Die bestehende Ladeprozedur ins Data Warehouse, die für das Laden der umfangreichen Marktdaten bestand, lief zu langsam (8 Stunden) und benötigte viele manuell ausgeführte Schritte. Dadurch standen die jeweils neusten Marktdaten erst nach einigen Tagen Verzögerung den Mitarbeitern zur Verfügung.
Darüber hinaus wurde nur der jeweils letzte Monat dazugeladen, obschon die IMS die letzten 24 Monate liefert inklusive Umsatzkorrekturen und Änderungen an der Produktstruktur. Die Auswertungen waren dadurch rückwirkend nie ganz korrekt.
Anforderungsprofil
Eine neue, optimierte Ladeprozedur sollte sämtliche Daten in kurzer Zeit (unter 3 Stunden) und ohne manuelle Interaktion ins Data Warehouse laden.
Lösung
Comgate analysierte die Datenstruktur der gelieferten Daten und das Zielformat im Data Warehouse genau und entwarf einen optimalen Lade- und Transformationsprozess. Das langsame ETL Tool Datastage wird nur für das Aufrufen und die Überwachung der von Comgate programmierten Oracle Stored Procedures verwendet. Der Ladeprozess dauert neu 1 Stunde 20 Minuten und lädt dabei sämtliche 24 Monate neu.
Der Projektaufwand wurde übrigens unterzogen und entsprechend dem Kunden weitergegeben.