In diesem Artikel lesen Sie, 

• zu welchen Ergebnissen der Performance- und Preis-Leistungs-Benchmark zwischen Open Telekom Cloud und US-Hyperscalern kommt
• welche Werkzeuge und Methoden die Analysten von Cloud Mercato für das Benchmarking verwendet haben
• warum die Analysten die CPU-Flavors aus der Open Telekom Cloud als beste Angebote einstufen

Wer bietet die beste Performance und das beste Preis-Leistungs-Verhältnis im Segment Infrastructure as a Service (IaaS)? Wer bildet die Workloads seiner Kunden mit höchstmöglicher Effizienz ab? Das unabhängige Analystenhaus Cloud Mercato hat Anbieter von Cloud Computing unter die Lupe genommen. Im Fokus des Benchmarks standen die virtuellen Maschinen (VM) der Provider.

Wie andere Hyperscaler hat die Open Telekom Cloud 2020 neue VM-Produkte in ihr Angebot aufgenommen, die auf der aktuellen Generation von Prozessoren (CPUs) basieren und mehr Performance bieten. Damit erhalten Kunden zusätzliche Computing-Power für ihr Geld. Unter den neuen VM-Offerten treten die Flavors s3 und c4 die Nachfolge der bisherigen Generationen s2 und c3 an. c3 bietet Anwendern im Unterschied zu s2 dedizierte Ressourcen, ohne dass Virtuelle Maschinen aus demselben Pool davon CPU-Kapazitäten abzweigen können.

Im Benchmark verglichen die Experten von Cloud Mercato verschiedene CPU-Flavors mit 16 CPUs sowie Block Storage aus der Open Telekom Cloud mit führenden Hyperscalern wie Amazon Web Services (AWS), Microsoft Azure und Google Cloud Platform (GCP). In der folgenden Tabelle sind die entsprechenden VMs der Provider aufgelistet.

Für die Arbeit einer Virtual Machine ist die Zuweisung von Block Storage erforderlich. Um einen fairen Vergleich zu ermöglichen, wurde der benötigte Speicher als Faustregel mit 50 GB pro CPU bemessen. Das folgende Schaubild zeigt, welcher Block Storage je Anbieter im Benchmark verwendet wurde.

Die Performance von VMs hängt von der Rechenleistung der zugrunde liegenden CPU-Ausstattung ab. Um die Performance eines Workloads zu messen und die Leistung der einzelnen VMs zu vergleichen, reichen die von den CPU-Herstellern angegebenen Messgrößen wie MIPS (Million Instructions Per Second) oder FLOPS (Floating-Point Operations Per Second) nicht aus.

Cloud Mercato nutzte daher die Benchmark-Suite Geekbench 5, um vergleichbare Performance-Werte zu ermitteln. Diese Software verarbeitet Workloads mit Integer, Floating Point und kryptographischen Domains. Zur Bestimmung der Performance kamen verschiedene Verfahren zum Einsatz, wie etwa Kompressionstests, Machine Learning oder Computer Vision.

Das Ergebnis ist eindeutig: Die VMs aus der Open Telekom Cloud lassen die VMs der anderen Hyperscaler hinter sich – schon die vorherige Generation der s2- und c3-Flavors zeigt eine höhere Performance. Mit den neuen c4- und s3-Flavors bietet die Open Telekom Cloud gar eine doppelt so hohe Multithreading-Performance wie die vergleichbare AWS-VM. Die folgende Tabelle verdeutlicht die Unterschiede:

Keine Rolle spielte bei den Tests der gelegentlich in Cloud-Umgebungen zu beobachtende CPU-steal. Dass die Performance einer VM mitunter erheblich sinkt, lässt sich vor allem dann feststellen, wenn VMs nicht akkurat voneinander getrennt werden. Dadurch kann es bei der Abarbeitung von Aufgaben zu Zeitverzögerungen kommen. Die von Cloud Mercato untersuchten Hyperscaler wiesen alle lediglich minimalen CPU-steal und dementsprechend geringe Zeitverluste auf (siehe folgende Tabelle).

Für einige Anwendungsfälle ist der verfügbare Arbeitsspeicher (RAM) noch wichtiger als die CPU-Leistung. Dazu gehören etwa speicherintensive Workloads bei In-Memory-Datenbanken wie SAP HANA. Um die RAM-Performance zu messen, nutzten die Analysten Sysbench und testeten die Bandbreite zwischen Prozessor und Speicher mit lesendem und schreibendem Modus. Am besten schnitt der c4-Flavor aus der Open Telekom Cloud ab, der mit dedizierten CPUs ausgestattet ist.

Cloud-Anbieter verfügen generell über interne Netze mit hoher Performance, die für alle Kunden ein bestimmtes Service Level gewährleisten. Um die maximale Bandbreite der jeweiligen Hyperscaler zu evaluieren, nutzten die Analysten iPerf3 und setzten ein Test-Setup mit zwei identischen VMs aus derselben regionalen Verfügbarkeitszone auf. Hierbei erreichte Google das beste Ergebnis, gefolgt von c4-VMs aus der Open Telekom Cloud.

Persistenter Block Storage wird vor allem durch seine Kapazitäten an Input/Output pro Sekunde (IOPS) definiert. Dadurch lässt sich die maximale Zahl an möglichen Transaktionen bestimmen. So wie die Netzwerkbandbreite ist auch der Speicher eine geteilte Ressource, die von den Anbietern gedeckelt wird. Jeder Provider definiert dabei seine eigenen Regeln for IOPs. Für den Test setzten die Analysten Flexible I/O Tester (FIO) ein. Resultat: AWS and Azure deckeln bei rund 3.000 IOPS, während GCP and Open Telekom Cloud die Bandbreite bei über 20.000 IOPS begrenzen.

Performance und Preis sind zwei Seiten derselben Medaille. Mit Hilfe dieser beiden Kriterien lässt sich am besten einschätzen, welchen Nutzen Anwender aus dem Angebot eines Cloud-Providers ziehen. Die Analysten haben deshalb die ermittelten Performance-Werte für Speichern und Computing ins Verhältnis gesetzt zu den Listenpreisen der Anbieter. (Die Wechselkursrate US-Dollar zu Euro betrug dabei: 1 US$ = 0.858 €.)

Um das Preis-Performance-Verhältnis zu bestimmen, legten die Analysten die per Geekbench ermittelten Multi-Score-Werte der getesteten VMs und CPUs zugrunde. Da die Abrechnungsmodelle der Provider unterschiedlich sind, verglich Mercato Cloud sowohl den stündlichen (On-Demand-Nutzung) als auch den jährlichen Verbrauch (Dauerbetrieb).

War die vorherige Generation der VMs aus der Open Telekom Cloud schon auf gleicher Höhe mit den besten Hyperscalern, so übertrifft die neue Generation alle anderen getesteten VMs deutlich. Außerdem bietet sie ein unerreichtes Preis-Performance-Verhältnis. Das mit Abstand beste Angebot, das Kunden die größten Vorteile für ihr Geld liefert, bietet s3, gefolgt von c4 – unabhängig davon, ob Kunden sich für eine Abrechnung auf Stunden- oder Jahresbasis entscheiden. 

Um die Storage-Rangliste zu ermitteln, verglichen die Analysten die jeweiligen Stundenpreise für VMs und Speichervolumen, inklusive der Werte für lesenden und schreibenden Zugriff.(siehe folgendes Schaubild) 

Die Ergebnisse spiegeln die großen Unterschiede in der Performance beziehungsweise der Deckelung von Bandbreiten wider. Neben Google zeigt die Open Telekom Cloud das beste Preis-Performance-Verhältnis im Bereich Storage.

Die unabhängigen Tests und Berechnungen von Cloud Mercato zeigen: Die Open Telekom Cloud hat ihre Performance mit der Einführung der neusten CPU-Generation noch einmal deutlich verbessert. Der s3-Flavor übertrifft das nächstbeste Angebot AWS r5s um 61 Prozent, der c4-Flavor liegt gar 65 Prozent über AWS r5s – damit weisen die VMs der Open Telekom Cloud eine herausragende Performance auf.  

Auch im Preis-Performance-Verhältnis erhalten Kunden mit der Open Telekom Cloud die Best-in-Class-Lösung im Vergleich mit den führenden Hyperscalern: s3-Flavors bieten ein um 40 Prozent und c4-Flavors ein um 12 Prozent besseres Preis-Performance-Verhältnis als das nächstbeste Angebot AWS r5. Diese Ergebnisse bestätigen Erhebungen, die die Performance-Analysten von Cloud Spectator durchgeführt hatten. Während die aktuelle Generation von c4-VMs herausragende Performance liefert, ist s3 die beste Wahl für kostenbewusste Kunden, die das günstigste Preis-Performance-Verhältnis anstreben.