Neue Funktionen für Data Lake Insight (DLI)

Die neue Nebenversion des Data Lake Insight (DLI) bietet neue Funktionen und einige Änderungen bestehender Funktionen.

Gefixte Funktionen:

• [Flink-Open-Source-SMN] Es gab ein ungewöhnliches Verbindungsproblem mit dem SMN-Ziel bei der Erstellung einer offenen SQL.
• Es gab ein Problem mit der SDK-Link-Seite auf der Konsole.
• Wenn man sich von der DLI-Konsole zur API-Referenz-Seite navigiert, wird ein 404-Fehler angezeigt.
• Die SMN-Benachrichtungs-E-Mail für Job-Fehler enthält falsche Informationen aus dem Feld des Cloud-Anbieter.

Neue Funktionen:

• DLI-Motor unterstützt die Sammlung von Metadaten in Echtzeit basierend auf der Grundlage von MetaStoreEventListener. Benutzer können einheitliche Metadaten basierend auf Data Map verwalten.
• DLI-SQL-Aufgaben verbrauchte CPU-Ressourcen werden in der Console angezeigt. SQL-Aufgaben-Metriken werden in der Console hinzugefügt, um Benutzern die SQL-Aufgaben-Informationen intuitiver anzuzeigen.
• DLI unterstützt jetzt Flink 1.15 (diese Funktion ist nur für bestimmten Kunden auf der Whitelist verfügbar). Whitelisted Kunden können jetzt Flink 1.15 Jar-Aufgaben verwenden.
• DLI Hetu Tenant Plane APIs unterstützen jetzt die native Presto JDBC + BI Integration.
• Flink-Aufgaben können sich jetzt mit DLI-Metadaten verbinden und Daten lesen/schreiben.
  • Flink-Bild ist jetzt kompatibel mit DLI-Katalogen.
  • Flink-Erweiterung unterstützt jetzt neue Konfigurationseinträge für DLI-Katalogintegration.
• Hetu-Leistungstest und -Optimierung:
  • Hetu unterstützt jetzt die Selbstanpassung des Containerspeichers, um Speicher-Allokation und -Effizienz zu optimieren.
  • Hetu kann jetzt auf DLI-Metadaten zugreifen.
  • Hetu-Bilderstellung wird jetzt unterstützt.
  • Hetu ist jetzt kompatibel mit JDK17, Hive, Hadoop und anderen Technologien, um die Leistung zu verbessern.
  • Hetu unterstützt jetzt Hive-UDF-Kompatibilitätsmerkmale.
• Benutzer können jetzt Knoten in Echtzeit skalieren, wenn sie ein elastisches Ressourcenpool-Queue skalieren.
  • Die Oberen- und Untergrenzen des elastischen Ressourcenpool-Queues wurden angepasst, um eine Skalierung in Echtzeit zu unterstützen.
• Die Anzahl der Ergebnisse, die in der Vorschau angezeigt werden können, wurde von 1.000 auf 10.000 erhöht.
  • Die Anzahl der Vorschau-Ergebnisse wurde von 1.000 auf 10.000 für Benutzer auf der Whitelist erhöht.
• Der Reporting-Zyklus für DLI-Verwaltungsschleife-Metriken wurde optimiert, um häufigere Überwachungsmetriken für Queues bereitzustellen.
• [Console] Globale Variablen und sensible Variablen werden jetzt durch eine Whitelist eingeschränkt, so dass Benutzer sie nicht mehr verwenden können.
• Spark-SQL-Aufgaben unterstützen jetzt Echtzeit-Metriken während der Aufgaben-Ausführung, die zusammengefasst werden, wenn die Aufgabe abgeschlossen ist.
  • Benutzer können jetzt die aktuellen gleichzeitigen CUs und das gescannte Datenvolumen für einen bestimmten laufenden SQL-Auftrag abrufen.
  • Nach Abschluss eines SQL-Auftrags können Benutzer die insgesamt verbrauchten CUs, das gesamte gescannte Datenvolumen und das gesamte ausgegebene Datenvolumen für diesen Auftrag abrufen.
  • Benutzer können auch die Liste der von einem SQL-Auftrag gelesenen Partitionen und das Datenvolumen der Partitionen abrufen, in die geschrieben wurde.
• DLI unterstützt jetzt Oracle als Quelle.
• DLI-SQL unterstützt jetzt Tabellenlebenszyklus-Verwaltung.
  • SQL-Anweisungen werden erlaubt, um Tabellenlebenszyklus-Aktionen auszuführen.
  • DLI-Tabellenlebenszyklus-Funktion wurde für den Standard-Queue angepasst.
• Nicht-elastische Container-Queues in Ressourcenpools unterstützen jetzt eine automatische Skalierung basierend auf Aufgabenpriorität und Ressourcenauslastung.
• [DLI][Konsole] Die Konsole unterstützt jetzt die Versionsauswahl auf Queue-Ebene für Flink Jar-Aufgaben.
• [Autorisierungen] DLI unterstützt jetzt Daten-Schlagwort-basierte Autorisierung.
  • DLI-Tabellen unterstützen Schlagwörter.
  • Datenbank-Tabellen-Autorisierung unterstützt jetzt Schlagwort-basierte Autorisierung.
  • DLI-Tabellen können jetzt mit TMS integriert werden.
  • Die Console wurde für die Daten-Schlagwort-basierte Autorisierung angepasst.
• [Überlastintervention] Sie können jetzt Tenants, die durch Überlastung verursacht werden, über das O&M-Interface verlangsamen.
• [Data-AI-Konvergenz] DLI unterstützt jetzt die Integration des elastischen Ressourcenpools von EI-Workspace, der für die Bereitstellung von Notebook-Instanzen verwendet werden kann.
• Die Anzahl von Parametern, die in einer Warteschlange laufen, kann jetzt dynamisch konfiguriert werden. Die maximale Anzahl von SQL-Anweisungen und die maximale Anzahl von laufenden Anweisungen in einer Warteschlange können jetzt dynamisch über das O&M konfiguriert werden.
• Die allgemeinen DLI-Warteschlangen unterstützen jetzt die Ausführung von Notebooks.
• Nutzer können jetzt auf Lakehouse-Funktionen zugreifen (wobei diese Funktion nur für diejenigen verfügbar ist, die auf der Whitelist stehen).
  • Nutzer können die Erstellung/Abfrage-Schnittstelle über Lakehouse-Pfade festlegen.
  • Über eine allgemeine Warteschlange kann auf Metadaten zugegriffen werden
  • Lakehouse-Pfade können jetzt auf dem Backend bei der Erstellung von verwalteten Tabellen verwendet werden.
  • Lakehouse-Datenbanktabellen können asynchron über Benutzeragenturen gelöscht werden.
  • Lakehouse-Bucket-Typen werden jetzt auf parallele OBS-Dateisysteme begrenzt.
  • Spark Lakehouse-Bilder können jetzt erstellt und veröffentlicht werden.

Änderungen

• Rekonstruiert das Lebenszyklusmanagement von SQL-Spark-Instanzen:
  • SQL-Queues unterstützen jetzt mehrere Treiber für Instanzen (mehrere Spark-Kontexte).
  • Optimiert vorgestartete Spark-Treiberinstanzen, einschließlich Unterstützung für benutzerdefinierte Spark-Parameter.
  • Verbessert die Ausgabe von Cluster Agent-Metrikenprotokollen.
• [API] Optimiert die Verarbeitung der getJobResult-API für SQL-Aufgaben, indem die Größe des Ergebnisses beschränkt wird.
• Optimiert die Standardparameter für die Auswahl des Master-Node im ClusterAgent für Kubernetes.
• [Benutzerfreundlichkeit] Verbessert die Ansicht von DLI-Spark-UI-Logs.
• Tabellenlebenszyklus zu DLI hinzugefügt und SQL-Job-Abfragen aktualisiert, um Standard-Job-Typen anzuzeigen:: DDL, DCL, QUERY, INSERT, UPDATE und DELETE.
• Wenn Sie Paketgruppen erstellen, sind jetzt Bindestriche (-) in der Gruppenbezeichnung zulässig.
• Stärkt die Berechtigungen für Secrets im Kubernetes-Cluster.
• Nutzer können jetzt elastische Ressourcenpools erstellen und aktivieren, ohne die Notwendigkeit einer Whitelist-Kontrolle.

Weitere Informationen finden Sie im Bereich des Data Lake insight (DLI) Help Center.