Data Lake Insight (DLI) ist ein serverloser Big-Data-Abfrage- und Analysedienst, der vollständig mit den Ökosystemen von Apache Spark und Apache Flink kompatibel ist. DLI unterstützt Standard-SQL und ist mit Spark und Flink SQL kompatibel. Er unterstützt außerdem mehrere Zugriffsmodi und ist mit den gängigsten Datenformaten kompatibel. DLI unterstützt SQL-Anweisungen und Spark-Anwendungen für heterogene Datenquellen, einschließlich CloudTable, RDS, DWS, CSS, OBS, benutzerdefinierte Datenbanken auf ECSs und Offline-Datenbanken.
Spark ist eine einheitliche Analyse-Engine, die sich ideal für die Verarbeitung großer Datenmengen eignet. Sie konzentriert sich auf Abfragen, Berechnungen und Analysen. DLI optimiert die Leistung und baut Dienste auf der Grundlage von Open-Source-Spark neu auf. Es ist mit dem Ökosystem und den Schnittstellen von Apache Spark kompatibel und verbessert die Leistung um das 2,5-fache im Vergleich zu Open-Source Spark. Auf diese Weise können Sie mit DLI Abfragen und Analysen von EB-Daten innerhalb weniger Stunden durchführen.
Flink ist eine verteilte Rechenmaschine, die sich ideal für die Stapelverarbeitung eignet, d. h. für die Verarbeitung statischer und historischer Datensätze. Sie kann auch für die Stream-Verarbeitung eingesetzt werden, d. h. für die Verarbeitung von Echtzeit-Datenströmen und die Generierung von Datenergebnissen in Echtzeit. DLI erweitert die Funktionen und die Sicherheit auf der Grundlage des Open-Source-Projekts Flink und bietet die für die Datenverarbeitung erforderliche Stream-SQL-Funktion.
Weitere Informationen finden Sie im Bereich Data Lake Insight (DLI) des Help Centers oder Sie besuchen die GaussDB NoSQL Landing Page für weitere Informationen hier.