Lastbasierte elastische Ressourcenpools, Warteschlangen und Auftragsskalierung

• SQL-Aufträge können je nach Auslastung Ressourcen vorwegnehmen (Graceful Scaling).
• SQL-Warteschlangen können Ressourcen lastabhängig vorziehen.

Automatische Skalierung von universellen Warteschlangen auf der Grundlage von Auftragsprioritäten und Ressourcenauslastung

• Die Job-Warteliste der allgemeinen Warteschlange ist nach Zeit und Priorität sortiert.
• Die Cluster-Agent-Komponente des Clusters kann Backpressure-Metriken von Flink-Jobs sammeln.
• Der Cluster Agent kann die Anzahl der Spark-Executors erfassen.

Berechtigungen für DLI-Datenbanktabellen können durch Tags vergeben werden

• Berechtigungen für DLI-Datenbanktabellen können per Tag erteilt und authentifiziert werden.
• APIs, die die Erteilung von Berechtigungen nach Tag unterstützen, wurden hinzugefügt.
• In der DLI-Konsole können Berechtigungen für DLI-Tabellen per Tag erteilt werden.

Fließende Skalierung von elastischen Ressourcenpools

• Elastische DLI-Ressourcenpools können problemlos skaliert werden.
• Allgemeine Warteschlangen können in elastische Ressourcenpools migriert werden.
• Verschiedene Flavors in elastischen Ressourcenpools können zugewiesen und freigegeben werden.

DLI kann sich mit mehreren Katalogen verbinden

• dli-catalog-client verbindet sich mit DLI-Katalogen über unabhängige Konfigurationselemente.
• Spark-Images stellen eine Verbindung zu DLI-Katalogen her.
• Das Spark-Erweiterungs-Plugin verbindet sich unter Verwendung neuer Konfigurationselemente mit DLI-Katalogen.