Handbuch EMD Cluster Services

Zur deutschen Hauptseite | Alle deutschsprachigen Seiten

EMD Clusterberechnungen

Im Jahr 2013 wurde bei EMD der erste Hochleistungs-Rechencluster in Betrieb genommen, um Berechnungen durchzuführen, die auf einem normalen PC zu zeitaufwändig wären. Seitdem wurde die installierte Rechenleistung etwa verfünffacht und entspricht heute etwa 2500 Standard-Laptoprechnern.

Ein Teil des EMD-Hochleistungs-Rechnerclusters:

Derzeit gibt es zwei Arten von Clusterberechnungen, die von windPRO aus genutzt werden können:

• WAsP-CFD-Strömungsmodellierung: Hochauflösende CFD-Modellierung von DTU (Ellipsys3D)
• EMD-WRF On-demand Mesoscale service: Berechnung von Langzeitreihen mit dem Weather Research Forecast model (WRF)

Betrieb und Unterhaltung eines Hochleistungs-Clusters (High performance cluster, HPC) sind komplexe Aufgaben und das Durchführen aufwändiger Modellierungen verlangt ein detailliert ausgearbeitetes Zusammenspiel vieler Softwarekomponenten. Das Anstoßen einer HPC-Berechnung in windPRO ist dagegen relativ einfach: die Berechnungsparameter werden an den Cluster übermittelt, dieser führt die Modellierung durch und der Anwender wird per Email informiert, wenn die Ergebnisse heruntergeladen werden können.

Ein HPC ist eine große Investition, zum Teil ist dies die Harware selbst, aber auch der Energieverbrauch des Rechners und der Kühlung ist hoch. Diese Kosten werden über die einzelnen Berechnungen refinanziert, die von den Anwendern beauftragt werden. Es können zwei Arten von Berechnungscredits erworben werden: Für EMD-WRF-Zeitreihenmodellierungen und für WAsP-CFD-Kachelberechnungen.

WAsP-CFD

Die Windenergienutzung in sehr komplexem Gelände erfordert angemessene Werkzeuge, um die Windverhältnisse vorherzusagen. Linearisierte Strömungsmodelle wie WAsP stoßen in solchen Geländekategorien an ihre Grenzen. Mit nicht-linearen Stömungsmodellen (CFD – Computational Fluid Dynamics) lassen sich diese Anforderungen besser bewältigen - Wenn sie korrekt ausgeführt werden, sind die Unsicherheiten von CFD-Analysen im komplexen Gelände im Allgemeinen geringer als die linearisierter Modelle.

Bisher hatten CFD-Anwendungen zwei zentrale Nachteile:

• CFD erfordert hochspezialisierte Anwender, in der Regel mit Hochschulbildung in den Bereichen Meteorologie oder Physik.
• Um Modell- und numerische Fehler zu minimieren, erfordert CFD Rechnerressourcen, die weit über reguläre Anwendercomputer hinausgehen.

WAsP-CFD hat seine eigene Herangehensweise an diese Probleme:

• WAsP-CFD-Berechnungen sind vollautomatisch und die Einrichtung einer Berechnung entspricht weitgehend der einer traditionellen WAsP-Berechnung
• Da die tatsächliche Modellierung auf einem Hochleistungs-Rechencluster abläuft, müssen keine Kompromisse zwischen verfügbarer Rechenzeit und Qualität der Berechnung eingegangen werden

Modellüberblick

Eine traditionelle WAsP-Berechnung schließt vier Modelle ein (siehe rechts):

1. Berechnung von Orographie-Speedups (IBZ)
2. Berechnung des Effekts von Rauigkeitswechseln
3. Berechnung des Einflusses von Nicht-neutralen Stabilitätsbedingungen auf den vertikalen Transport
4. Berechnung der Reduktion der Windgeschwindigkeit durch Hindernisse

In WAsP-CFD werden die Modelle (1) und (2) ersetzt durch ein kombiniertes Modell der Strömungsänderungen, berechnet vom nicht-linearen CFD-Solver Ellipsys3D auf dem EMD Hochleistungscluster. Diese Modelle setzen eine neutrale atmosphärische Schichtung voraus, was ebenso für ihr WAsP-CFD-Gegenstück gilt. Die vom CFD-Solver berechneten Strömungsänderungen beziehen sich auf eine mittlere Rauigkeit im Luv (Upstream), die als Referenz- oder Mesoskalen-Rauigkeit bezeichnet wird und die das Ausgangsprofil für jeden der 36 Modellsektoren definiert.

Die Ausführung der Modellierung ist vollautomatisch und benötigt ausschließlich Geländedaten, keine Winddaten. WAsP-CFD konfiguriert das Geländemodell basierend auf den Geländedaten in windPRO, erzeugt ein Berechnungsraster und definiert Grenzbedingungen. Dann wird die eigentliche CFD-Berechnung auf dem Hochleistungs-Cluster so lange ausgeführt, bis die Konvergenzkriterien erfüllt sind. Die Ergebnisse der Geländemodellierung werden dem Anwender in Form von relativen Windgeschwindigkeitsänderungen (Speedups) und Richtungsänderungen für die weitere Verarbeitung (in der Regel die Kalibrierung mit eigenen Winddaten) zur Verfügung gestellt.

Die Grafiken unten zeigen als Beispiel eines der automatischen Verarbeitungsschritte von WAsP CFD die Handhabung der Höhenlinien durch das Modell:

Weitere Informationen zu WAsP-CFD finden Sie in A. Bechmann: WAsP CFD – A new beginning in wind resource assessment, Troen/Hansen: Wind resource estimation in complex terrain: Prediction skill of linear and non-linear micro-scale models sowie auf der Produkthomepage des Herstellers DTU. Dort findet sich auch eine Beschreibung des eigentlichen Strömungsmodells.

Systemvoraussetzungen

WAsP-CFD stellt keine spezifischen Hardware-Anforderungen, da der rechnerisch aufwändige Teil der Berechnung auf dem Hochleistungs-Cluster von EMD durchgeführt wird. Eine Internetverbindung wird benötigt, um das Geländemodell hoch- und die Ergebnisse herunterzuladen. Die Kommunikation mit dem Cluster geschieht über eine verschlüsselte HTTPS-Verbindung.

Die folgenden Lizenz-Voraussetzungen müssen gegeben sein:

• WAsP 11 (oder höher) mit gültiger Lizenz. Dieses muss in windPRO als aktive WAsP-Version ausgewählt sein (Menüband Einstellungen und Hilfe → Einstellungen → Register WAsP ).
• windPRO 2.9 oder höher mit einer gültigen Lizenz für die Module BASIS und MODEL

Weiterhin muss für jede Berechnungsfläche von 2x2 km Größe ein sogenannter Calculation Credit erworben werden. Neben Einzelcredits oder größeren Mengen von Credits existieren auch Abonnement-Modelle. Eine Online-Bestellung ist über die Homepage von EMD möglich.

WAsP-CFD Schritt für Schritt

• Richten Sie ein Geländemodell mit Orographie und Rauigkeiten ein
• Erzeugen Sie ein Terraindatenobjekt mit dem Zweck CFD
• Definieren Sie die Berechnungsflächen (Kacheln)
• Starten Sie die WAsP-CFD-Berechnung
• Laden Sie die WAsP-CFD-Ergebnisse herunter und Verwenden Sie sie in Wind- und Ertragsberechnungen.

Benötigte Eingangsdaten

Die Berechnungsvoraussetzungen für eine WAsP-CFD-Berechnung werden in einem Terraindatenobjekt definiert, das für den Zweck WAsP-CFD definiert ist.

• Höhenlinien sollen mindestens einen Radius von 20 km um die Berechnungsfläche(n) abdecken. Sie sollen bis zu einer Entfernung von 8 km einen vertikalen Linienabstand von 5 m nicht überschreiten, jenseits von 8 km reicht ein Vertikalabstand von 10 m. Wenn die Höhendaten in einem Höhenraster-Objekt vorliegen, prüfen Sie die Linienabstände für die Konvertierung in Linien auf dem Register Höhenraster-Objekt → WAsP-Einstellungen .
• Rauigkeitsdaten sollen mindestens einen Radius von 20 km um die Berechnungsfläche(n) abdecken.
• Die Berechnungsflächen werden auf dem Register RESOURCE-/CFD-Fläche definiert. Die Berechnungsflächen dürfen sich überlappen. Wenn die Windparkfläche so geformt ist, dass ein Messmast am Rande einer Fläche liegen würde, sollte dieser eher eine eigene Berechnugsfläche bekommen (in der er dann mittig liegt).
• Das verwendete Koordinatensystem sollte möglichst das gleiche sein, in dem die weiteren Berechnungen vorgenommen werden sollen, insbesondere bei anschließender Erstellung von Ressourcenkarten.

WAsP-CFD-Berechnung

Das windPRO-Modul WAsP-CFD ist zu finden im Menüband Energie:

Zu Allgemeinen Informationen zum Start einer Berechnung siehe Berechnungen - Grundlagen.

Register Hauptteil

Hier wird ein Name für die Berechnung angegeben und das Terraindatenobjekt ausgewählt (falls mehrere existieren).

Register Berechnungen

Sobald Sie auf das Register Berechnungen wechseln, meldet sich windPRO am Hochleistungs-Cluster („Cerebrum“) an. Wenn die Anmeldung fehlschlägt, überprüfen Sie bitte Ihre Internet-Verbindung und ggf. Firewall-Einstellungen. Schlägt die Anmeldung dennoch fehl kontaktieren Sie EMD.

Wählen Sie die gewünschten Teilflächen aus und klicken Sie auf Gewählte starten (rechts unten).

Die Spalte Erwartete Fertigstellung wird nach kurzer Verzögerung ausgefüllt. Verlassen Sie das Berechnungsfenster mit Ok . Während der Wartezeit können Sie mit anderen Projekten weiterarbeiten oder windPRO vollständig schließen. Nach Abschluss der Berechnung auf dem Cluster erhalten Sie eine Information per Email.

Statusprüfung der Berechnung

• Öffnen Sie die laufende CFD-Berechnung in WindPRO
• Gehen Sie auf das Register Berechnungen
• In der Tabelle sehen Sie das geschätzte Berechnungsende unter Erwartete Fertigstellung

Wenn die Berechnung fertiggestellt ist, laden Sie die WAsP-CFD-Ergebnisse herunter und verwenden Sie diese in Windberechnungen

WAsP-CFD-Ergebnisse

Download der Ergebnisse

Nach Abschluss der Berechnung erhalten Sie eine Email (an die Email-Adresse Ihrer WindPRO-Aktivierung) mit dem Inhalt "Job completed OK". Nun können Sie die Ergebnisse herunterladen:

• Starten Sie windPRO und laden Ihr Projekt.
• Öffnen Sie die CFD-Berechnung in windPRO.
• Gehen Sie auf das Register Berechnungen.
• Über den Knopf Auswahl herunterladen werden die Ergebnisse heruntergeladen.
• Es werden automatisch Ergebnislayer für die heruntergeladenen Kacheln erstellt.

Die Ergebnisdateien werden standardmäßig in einen Unterordner des Projektordners namens OnlineCFDResults heruntergeladen und haben die Endung CFDRES. Sie enthalten für 13 Stützhöhen und 36 Richtungssektoren jeweils Speedups, Richtungswechsel, Turbulenz und Neigungswinkel der Anströmung.

Sie können die Ergebnisse jeder CFD-Berechnung auch von einem anderen Projekt aus via Menüband Werkzeuge → Clusterservice Status  herunterladen. Dabei sollten Sie sicherstellen, die Ergebnisdateien im richtigen Projekt-Ordner zu speichern. Wenn es nötig sein sollte, können die Ergebnislayer manuell erstellt werden (Ergebnislayer-Fenster → Kontextmenü → Layer laden ).

Verwenden der CFD-Ergebnisse

Im bisherigen CFD-Berechnungsablauf haben Winddaten noch keine Rolle gespielt, die CFD-Modellierung und Berechnung der CFDRES-Kacheln basierte ausschließlich auf Geländedaten. Die CFDRES-Kacheln beinhalten lediglich Informationen darüber, wie sich (bisher undefinierte) Windverhältnisse aufgrund des Geländes relativ ändern würden.

Die Winddaten können auf zwei unterschiedliche Arten in Berechnungen eingebracht werden:

• Über den Scaler, der für Zeitreihen-basierte Berechnungen verwendet wird. Im Scaler wird bei der traditionellen WAsP-Methode ein Terraindatenobjekt zur Definition des Mikrostandorts verwendet. Soll stattdessen WAsP-CFD verwendet werden, wird dieses durch CFDRES-Dateien ersetzt. Diese müssen die Position des METEO-Objekts mit der Zeitreihe sowie die WEA-Standorte abdecken.
• In Form einer regionalen Windstatistik:
  • Verwenden Sie keine mit der traditionellen WAsP-Methode erzeugte regionale Windstatistik zusammen mit WAsP-CFD-Berechnungen. Die regionale Windstatistik muss ebenfalls mit WAsP-CFD berechnet sein. Dies geschieht im Modul STATGEN oder in MCP, wo anstelle eines Terraindatenobjekts auch eine CFD-Kachel ausgewählt werden kann.
  • In PARK-, WAsP interface- und RESOURCE-Berechnungen, in denen ein Terraindatenobjekt als Ausgangspunkt für eine traditionelle WAsP-Berechnung ausgewählt werden kann, können stattdessen auch CFDRES-Kacheln in Kombination mit WAsP-CFD-erzeugten Windstatistiken verwendet werden.
  • Bei der Windprofilberechnung im METEO-Objekt und der Kreuzvorhersage im METEO-Analyzer können ebenfalls CFDRES-Kacheln anstelle eines Terraindatenobjekts verwendet werden. Die zusätzliche Angabe einer regionalen Windstatistik ist hier nicht notwendig, da die Winddaten in diesem Fall direkt aus METEO-Zeitreihe kommen und intern in eine regionale Windstatistik umgewandelt werden.

EMD-WRF On-demand Mesoscale service

Mesoskalendaten von hoher Qualität werden zunehmend ein wichtiger Faktor bei Ertragsprognosen. Solche Daten haben ein breites Spektrum möglicher Anwendungen bei Windfarm-Planungen, z.B.

• Langzeitkorrektur von Messungen
• Erstabschätzungen
• Produktionsanalyse
• Abschätzung von Vereisungs-Verlusten
• Abschätzung von Schattenwurf-Verlusten anhand der Strahlungsparameter
• Evaluierungen der atmosphärischen Stabilität

Hier finden Sie den Quickguide EMD-WRF On-Demand.

windPRO bietet bereits seit vielen Jahren Zugriff auf Onlinedaten verschiedener Quellen, z.B. ERA5, MERRA2, NCAR, CFSR), die zur Langzeitkorrektur mit MCP verwendet werden. Die räumliche Auflösung dieser Daten bewegt sich im Bereich von 30 bis 250km. Trotz oftmals guter Korrelation der Windgeschwindigkeiten können sie deshalb mesoskalige Effekte des Windklimas nicht erfassen, die in Maßstäben von einigen Kilometern stattfinden.

In windPRO 2.9 wurde der Mesoskalen-Datensatz EmdConWx (Beschreibung auf Englisch) eingeführt, der Europa mit einer räumlichen Auflösung von 3 km abdeckte. Nach Einstellung des zugrunde liegenden Datensatzes ERA-Interim im Jahr 2019 ersetzt ihn seitdem für Europa der Mesoskalen-Datensatz EMD-WRF Europe+, der auf ERA5 basiert. Wenn ein jährliches Abonnement abgeschlossen wird, können Daten für den abgedeckten Bereich sofort über ein METEO-Objekt heruntergeladen werden. Seitdem wurden von EMD Mesoskalen-Modellierungen von weiteren Regionen durchgeführt, die nun unter dem Produktnamen EMD-WRF angeboten werden.

Für Bereiche, in denen keine vorberechneten Mesoskalen-Datensätze verfügbar sind, können WRF-Modellierungen auf Anforderung (on-demand) durchgeführt werden. Hier stehen einige zusätzliche Optionen zur Verfügung, z.B. kann anstelle von ERA5 auch ERA5-T verwendet werden, oder eine spezifische WRF-Modelleinstellung für Vereisungs-Berechnungen.

Ergebnislayer mit Karte der Vereisungsparameter als Ergebnis einer Eisverlust-Berechnung

Vorbereiten einer Berechnung in windPRO

Eine EMD-WRF on-demand-Berechnung einzurichten ist einfach. Es muss definiert werden:

• die Position, für die die Zeitreihe benötigt wird
• Die Modellkonfiguration
• der Zeitraum

Weiterhin muss vor der Berechnung eine ausreichende Anzahl Meso-Credits erworben werden.

Starten Sie eine Berechnung:

Menüband Klima → Mesoskalen-Daten 

(Hier klicken für Versionen vor windPRO 4.0)

Modulfenster → Cluster services (am Ende der Modulliste) → EMD WRF Meso on-demand 

Die Berechnungseinstellungen öffnen sich:

Der Login am Hochleistungs-Cluster erfolgt automatisch.

Name: Geben Sie einen Namen für die Berechnung an. Dies ist hier besonders wichtig, damit sie die Ergebnisse auch zu einem späteren Zeitpunkt noch identifizieren können, wenn Sie sie später erneut vom Server herunterladen müssen.

Position: Je nachdem was für Objekte bereits im Projekt verfügbar sind können Sie hier aus einigen vordefinierten Objektpositionen auswählen. Alternativ können Sie Benutzerdefinierte Koordinaten ("User defined" im Ausklappmenü) wählen oder eine Position über die Karte auswählen.

Anzahl Punkte: Es wird ein einzelner Punkt berechnet.

Modellierung|Konfiguration: Als Höhenmodell wird stets SRTM verwendet, als Rauigkeitsdatensatz GlobCover. Als Winddatengrundlage werden erfahrungsgemäß mit ERA5 die besten Ergebnisse erzielt, nichtsdestotrotz kann es Positionen geben, an denen ein anderer Datensatz besser performt. Beachten Sie bei der Wahl der Winddatengrundlage auch den darunter angegebenen Endzeitpunkt. Soll eine Vereisungs-Berechnung durchgeführt werden, wird eine WRF-Einstellung verwendet, die spezifisch für diese Aufgabe vorbereitet wurde (Thompson-Schema).

Info: Über diesen Button können Sie die Details der Datengrundlagen anzeigen lassen, wie die räumliche Auflösung und den maximal verfügbaren Datenzeitraum.

Zeitraum: Geben Sie die Länge der zu erstellenden Zeitreihe (Anfang und Ende) ein. Wenn eine Standortmessung vorliegt, können Sie zunächst den Messzeitraum berechnen lassen, um die Korrelation zu prüfen, und dann zu einem späteren Zeitpunkt einen Langzeitraum berechnen lassen.

Für Vereisungsberechnungen müssen mindestens 10 Winter im Berechnungszeitraum enthalten sein, um die erweiterte statistische Ausgabe zu erhalten, da diese ohne einen betrachteten Mindestzeitraum wenig Aussagekraft hat.

Nach den Eingaben klicken Sie auf den Knopf Start on Server. Vor Start der Berechnung auf dem Server wird eine Zusammenfassung der verfügbaren und benötigten Meso-Credits angezeigt:

Bestätigen Sie mit Ok wird eine finale Bestätigung abgefragt:

Nach Bestätigung mit Ok startet die Berechnung auf dem Server. windPRO wechselt auf das Register Berechnungen und zeigt nach kurzer Zeit den erwarteten Zeitpunkt der Fertigstellung. Verlassen Sie das Berechnungsfenster mit Ok und speichern Sie das Projekt.

Ergebnisse

Sie können windPRO schließen oder mit anderen Projekten arbeiten, während die WRF-Modellierung auf dem Cluster läuft.

Wenn die Berechnung abgeschlossen ist, erhalten Sie eine Email. Diese wird an dieselbe Mailadresse gesendet, die Sie auch bei der Aktivierung von windPRO verwendet haben (siehe Menüband Einstellungen & Hilfe → Einstellungen → Register Anwender ).

Öffnen Sie das Projekt, von dem aus Sie die Berechnung gestartet haben. Doppelklicken Sie dort auf die EMD-WRF-Berechnung im Berechnungsfenster. Auf dem Register Berechnungen wird die fertige Berechnung angezeigt und Sie können das Ergebnis herunterladen. Nach dem Herunterladen wird es automatisch in ein METEO-Objekt umgewandelt. Bei Vereisungs-Berechnungen wird auch ein 10 x 10 km großes Ergebnislayer hinzugefügt, über das verschiedene Parameter dargestellt werden können, z.B. der erwartete AEP-Verlust.

Parameter in der Zeitreihen-Ausgabe

Die in EMD-WRF On-demand-Zeitreihen enthaltenen Signale sind hier beschrieben.

Anmerkungen zu Turbulenz in WRF

Bei der Ausführung des WRF-Modells gibt es zwei verschiedene Ansätze zur Handhabung von Turbulenz:

1. Multiplikation der mit WRF modellierten Turbulenz mit der Wurzel von 2 (~1,41).
2. Verwendung "so wie es ist"

Ansatz 1 wird in EMDConWx und WRF-on-demand in der derzeitigen Implementierung verwendet.

Ansatz 2 wird für den Datensatz EMD-WRF Europe+ und andere neue vorberechnete Datensätze verwendet.

Ansatz 1 basiert auf überlieferten Erfahrungen, während Ansatz 2 auf einer Validierung mit der internen EMD-Mastdatenbank basiert, die im Mittel zeigt, dass die Korrektur nicht erforderlich ist. Es bestehen jedoch weiterhin Zweifel, welcher Ansatz der richtige ist. Offshore-Validierungsbeispiele deuten darauf hin, dass die Korrektur mit der Wurzel von 2 notwendig ist. Das Problem ist, dass die von WRF modellierte Turbulenz im Allgemeinen recht unsicher ist, da Turbulenzen oft ein sehr lokales Phänomen sind. Es wurde daher eine Option zur Skalierung der Turbulenz hinzugefügt, wenn diese z. B. in einer PARK-Berechnung verwendet wird, und empfehlen für Offshore-Standorte die Skalierung mit 1,41 (Wurzel von 2), wenn vorberechnete EMD-WRF-Datensätze verwendet werden. Grundsätzlich wird empfohlen, mit lokalen Messungen zu vergleichen, falls verfügbar, und die Skalierungsentscheidung davon abhängig zu machen.

Meso-Credits

Um EMD-WRF on-demand-Berechnungen zu starten, werden seitens windPRO keine Berechnungsmodule benötigt (um die Ergebnisse innerhalb von windPRO zu verwenden, wird aber das Modul METEO benötigt). Es fallen Kosten pro Berechnung an, die von der Länge der berechneten Zeitreihe abhängen. Die Abrechnung erfolgt über vorab zu erwerbende Meso-Credits, wobei ein Monat generierte Zeitreihe 1 bzw. 2 Credits kostet (2 Credits für Vereisungs-Berechnung, 1 Credit für alles andere). Für eine 10-Jahres-ERF-Windzeitreihe werden also z.B. 120 Credits benötigt (12 Monate * 10 Jahre). Meso-Credits können via Email an sales-de@emd.dk oder Online auf der EMD-WRF-Orderseite erworben werden.

Validierung und zusätzliche Informationen

Unsere Erfahrung zeigt, dass der ERA5- und der ERA5-T-Datensatz im Allgemeinen die beste Korrelation der Windgeschwindigkeiten mit lokalen Messmastdaten zeigt. ERA5 wurde als Grenzbedingungs-Datensatz im EMD-WRF Europe+-Datensatz verwendet und hat dort sehr gute Performance gezeigt (siehe Tech Note 7: EMD-WRF Europe+ Validation).

Weitere Informationen über die Performance des EMD-WRF-On-Demand-Modells finden Sie hier: Tech Note 6: EMD-WRF On-Demand und Details zu Parametern und Verfügbarkeit finden Sie auf unserer Wiki-Seite EMD-WRF-On-Demand-Datensätze (englischsprachig).

Für Details zur Vereisungs-Berechnung siehe EMD-WRF On-Demand ICING (englischsprachig).

Referenzen