Big Data App auf AWS optimiert Analytik für einen der „Big 4“

Big Data-Anwendung auf AWS für einer globalen Wirtschaftsprüfungsgesellschaft

Einer der „Big 4“

Standort:

USA

Mitarbeiter:

mehr als 100.000

Über den Kunden:

Eine der führenden Wirtschaftsprüfungs- und Beratungsgesellschaften, die ihre Kunden weltweit mit einer breiten Palette von Beratungs-, Risikomanagement-, Rechts-, Steuer- und Finanzberatungsdienstleistungen unterstützt.

Anforderung

Unser Kunde, einer der „Big 4“, unterstützt zahlreiche Unternehmen auf der ganzen Welt und entwickelte im Laufe der Jahre zahlreiche Datenbanken mit wichtigen Kontakten (Kunden, deren Mitarbeiter, Drittanbieter, deren persönliche und Unternehmensdaten, Beziehungen zwischen den einzelnen Parteien usw.) und damit verbundenen Finanz- und Unternehmensdaten. 

Da alle Datenquellen heterogen waren, war es mühsam und zeitaufwändig, die notwendigen Kontakte zu finden und ihre Beziehungen darzustellen, damit die Kommunikation überhaupt aufgenommen werden konnte.

Außerdem wurden die Finanzdaten- und Geschäftsanalysen durch schlechte Datenqualität, fehlende Werte, Dateninkonsistenzen und unterschiedliche Datentypen und -formate erheblich erschwert.

Daher beschloss der Kunde, eine moderne Big-Data-Lösung einzurichten, um sein Kontaktnetz zu vereinheitlichen und datenintensive Prozesse zu automatisieren. Die Lösung sollte darüber hinaus die Flexibilität und Skalierbarkeit ihrer modernen Datenspeicher- und Analyselösung ermöglichen und vor allem die Zuverlässigkeit der geschäftskritischen Daten gewährleisten.

Infopulse ist seit vielen Jahren und in einer ganzen Reihe von Projekten ein verlässlicher Partner diese globalen Prüfungs- und Beratungsunternehmens, unter anderem in den Bereichen Data Engineering und digitale Transformation. Als sich der Kunde für dieses Projekt an Infopulse wandte, kannten wir die Branche und die Geschäftspolitik des Kunden bereits gut und unsere Spezialistinnen und Spezialisten waren mit dem Umfang der Daten und den besonderen Analyseanforderungen vertraut.

big-data-application-on-aws-picture-in-content

Lösung

Infopulse entwickelte eine Unternehmensanalytik-Anwendung, die AWS-Services nutzt und als eine zentrale Big-Data-Plattform arbeitet, die alle Kontakte des Kunden konsolidiert und ihre Interaktionen abbildet. Die Plattform ermöglichte die Aggregation und Analyse großer Mengen von Finanz- und Kontaktdaten aus unterschiedlichen Quellen, die von diversen Nutzern der Wirtschaftsprüfungsgesellschaft erzeugt und verwendet werden.

Die Quelldaten befanden sich in verschiedenen Datenbanken, was die Angelegenheit erheblich verkomplizierte. Unsere Dateningenieure mussten Dateninkonsistenzen, wie z. B. Datenkonflikte, Duplikate und Fehler, die die Datenanalyse und -berichterstattung beeinträchtigen könnten, manuell beheben. Wichtig war auch, dass die Daten täglich geändert werden konnten, was jedoch nicht bei allen Datenbanken möglich war. Die Datenarchitekten von Infopulse entwickelten kundenspezifische Lösungen und Modifikationen wie die Erstellung von Pseudo-Delta der Daten, um die rechtzeitige Änderung großer Datenmengen zu gewährleisten.

Bevor die Lösung ihren Platz im Geschäftssystem des Kunden fand, ermöglichte Infopulse durch seine Dienste die folgenden Punkte:

  • Datenvereinheitlichung zum Ausschluss von Duplikaten und zur Verbesserung der Datengenauigkeit
  • Rasche Analyse von Finanz- und Kontaktdaten über die Beschäftigten der Kunden und deren Interaktionen mit anderen Abteilungen und Führungskräften
  • Abruf von Daten aus verschiedenen Systemen über APIs, Dateireplikation, Direktzugriff auf Datenbanken usw.
  • Sicherstellung der Speicherung großer Mengen von Zwischendaten in einem Objektspeicher Amazon S3, der dank seiner hohen Skalierbarkeit und Ausfallsicherheit als Data Lake fungiert
  • Zur Speicherung von Kontakt- und Finanzdaten von Unternehmen, die mit unserem Kunden zusammenarbeiten, nutzten wir die folgenden Datenbanken:
    • Die kosteneffiziente graph-orientierte Datenbank Amazon Neptune zum Aufbau eines Netzwerks von Kunden (Mitarbeitern, Managern, etc.) und deren Beziehungen zu den verschiedenen beteiligten Parteien
    • RDS-Datenbanken wie Amazon Athena und Aurora zur Speicherung und Analyse von Interaktionen
  • Angewandte AWS Glue-Aufträge zur effizienten Datentransformation und -verschiebung, wodurch saubere und gut formatierte Daten schneller bereitgestellt werden können.
  • Einführung der Änderungsdatenerfassung (Change Data Capture, CDC) zur Verfolgung von Änderungen in Quelldaten.
  • Ermöglichung einer schnellen Datensuche auf der Grundlage verschiedener Attribute (E-Mail, Alias oder Kontaktdaten) mit Amazon OpenSearch.

Die Architektur einer Big Data-Anwendung auf AWS

big-data-application-on-aws-scheme-de
big-data-application-on-aws-dashboard-1
big-data-application-on-aws-dashboard-2

Ergebnis

Infopulse unterstützte einen der „Big 4“ bei der Konsolidierung aller Kontakt- und Finanzdaten und schuf so einen einzigartigen Datensatz über alle beteiligten Personen und ihre Verbindungen. Die Qualität von Big Data hat stark zugenommen und ist aufgrund der Vollständigkeit, der höheren Genauigkeit und der ständigen Aktualisierung der Daten absolut vertrauenswürdig

Zu den weiteren vom Kunden festgestellten Vorteilen gehören:

  • Vereinfachter Datenzugriff für mehr als 100.000 Geschäftsanwender (selbst wenn Datensätze gleichzeitig angefordert werden)
  • Automatisierung der Datenverarbeitung und der Datenverwaltung
  • Verbesserte Big-Data-Analysen und schnellere Entscheidungsfindung
  • Bessere Erkennung von Interaktionen zur Ermittlung von Kontakten, die Dienstleistungen der Wirtschaftsprüfungsgesellschaft in Anspruch genommen haben oder noch in Anspruch nehmen, und deren Beziehungen zu anderen potenziellen Kunden
  • Mit der Möglichkeit, einen Verantwortlichen für eine bestimmte Abteilung oder Funktion zu finden, sei es ein Geschäftsanwender oder ein Kunde, wurde es einfacher, mit diesem in Kontakt zu treten
  • Verbesserte Kommunikation und Zusammenarbeit zwischen den Beschäftigten des Kunden und dessen Kunden

Technologien

Amazon S3 logo
Amazon S3
amazon-athena
Amazon Athena
amazon-aurora
Amazon Aurora
aws-glue1
AWS Glue
amazon-open-search
Amazon OpenSearch
amazon-neptune
Amazon Neptune
aws-lambda
AWS Lambda
amazon-app-sync
Amazon AppSync
aws-step-functions
AWS StepFunctions

Verwandte Services 

Wir haben eine Lösung für Ihre Anforderungen. Senden Sie uns einfach eine Nachricht, und unsere Experten werden sich so schnell wie möglich mit Ihnen in Verbindung setzen.

Bitte spezifizieren Sie Ihre Anfrage

Vielen Dank!

Wir haben Ihre Anfrage erhalten und werden Sie in Kürze kontaktieren.