DLI bietet neue Features und neue Funktionalitäten

24.11.2023

Die folgenden Features und Funktionalitäten sind verfügbar.

Neue Funktionalitäten:

Feature	Beschreibung
Lastbasierte elastische Ressourcenpools, Warteschlangen und Auftragsskalierung	SQL-Aufträge können je nach Auslastung Ressourcen vorwegnehmen (Graceful Scaling). SQL-Warteschlangen können Ressourcen lastabhängig vorziehen.
Automatische Skalierung von universellen Warteschlangen auf der Grundlage von Auftragsprioritäten und Ressourcenauslastung	Die Job-Warteliste der allgemeinen Warteschlange ist nach Zeit und Priorität sortiert. Die Cluster-Agent-Komponente des Clusters kann Backpressure-Metriken von Flink-Jobs sammeln. Der Cluster Agent kann die Anzahl der Spark-Executors erfassen.
Berechtigungen für DLI-Datenbanktabellen können durch Tags vergeben werden	Berechtigungen für DLI-Datenbanktabellen können per Tag erteilt und authentifiziert werden. APIs, die die Erteilung von Berechtigungen nach Tag unterstützen, wurden hinzugefügt. In der DLI-Konsole können Berechtigungen für DLI-Tabellen per Tag erteilt werden.
Fließende Skalierung von elastischen Ressourcenpools	Elastische DLI-Ressourcenpools können problemlos skaliert werden. Allgemeine Warteschlangen können in elastische Ressourcenpools migriert werden. Verschiedene Flavors in elastischen Ressourcenpools können zugewiesen und freigegeben werden.
DLI kann sich mit mehreren Katalogen verbinden	dli-catalog-client verbindet sich mit DLI-Katalogen über unabhängige Konfigurationselemente. Spark-Images stellen eine Verbindung zu DLI-Katalogen her. Das Spark-Erweiterungs-Plugin verbindet sich unter Verwendung neuer Konfigurationselemente mit DLI-Katalogen.

Neue Eigenschaften:

Auf der Spark Auftragsverwaltungsseite können die Aufträge nach Datum gefiltert werden.
DLI-Berechtigungen können mandantenübergreifend erteilt werden.
Die Spark-Mandantenebene kann über Livy mit Quick BI verbunden werden.
Spark- und Scala-Versionen können angegeben werden, wenn interaktive Aufträge mit Livy eingereicht werden.
Auf DLI-Katalog-Metadaten kann über Spark Jar Jobs zugegriffen werden.
Die OLC-Funktion ermöglicht es dem DLI JobManager, den Fluss auf Microservice-Ebene dynamisch zu steuern.
DLI-Tenant-Cluster können mit nur einem Klick schnell gewechselt werden. In einigen Szenarien können Jobs in bestehenden Clustern reibungslos in neue Cluster migriert werden.
DLI SDKs und Katalog-Clients können temporäre AKs/SKs und Sicherheits-Tokens für die Authentifizierung verwenden.
Flink1.12 OpenSource SQL-Jobs unterstützen die Authentifizierung von Datenquellen.
DLI Spark-Aufträge unterstützen 3.1*.
Die DLI-Überlastungserkennung kann Überlastungsquellen und die Top-Abonnenten und APIs identifizieren, die eine Überlast verursachen.
DLI Catalog Client unterstützt AK/SK-Authentifizierung.
Pods in CCE-Clustern unterstützen eine ausgewogene Auftragsplanung.
DLI Spark-Datenquellen-Jobs unterstützen Spark 3.1*.

Weitere Informationen finden Sie im Bereich des Data Lake Insight HelpCenter.

*Standardmäßig ist Spark 3.1 deaktiviert, und Kunden müssen ein Support-Ticket eröffnen, um diese Version in ihrem Tenant zu aktivieren.

Zurück zur Übersicht Release Notes

Haben Sie Fragen?

Wir beantworten Ihre Fragen zu Testmöglichkeit, Buchung und Nutzung – kostenfrei und individuell. Probieren Sie es aus! Hotline: 24 Stunden am Tag, 7 Tage die Woche
0800 3304477 aus Deutschland / 00800 33044770 aus dem Ausland

E-Mail schreiben