Entwicklung eines Softwaretools zur Simulation der zukünftigen Netznutzung in einem aktiven Verteilnetz

Neben der zunehmenden Unsicherheit im Betriebsplanungsprozess aktiver Verteilnetze aufgrund der notwendigen Vorlaufzeiten betrieblicher Entscheidungen oder aufgrund von Markterschließungszeitpunkten mit größerem Vorlauf zum Betriebszeitpunkt, können auch zusätzliche Unsicherheiten bezüglich eines veränderten zukünftigen Kundenverhaltens entstehen. Durch einen steigenden Anteil flexibler Anlagen sowie der Flexibilisierung bereits bestehender Anlagen im Verteilnetz ist zukünftig eine Teilnahme dieser Anlagen an den Strommärkten zu erwarten. Diese Entwicklung wird durch den wachsenden Anteil aktiv direktvermarkteter Energie auf Basis von regenerativen Quellen verstärkt. Das Kundenverhalten ist dann zunehmend nicht mehr nur durch Primärenergiedargebot und den die Last bestimmenden typischen Verbrauchsprozessen bestimmt, sondern auch durch Marktpreise. Die Unsicherheit bzgl. des Kundenverhaltens wird zusätzlich verschärft, wenn der Netzbetreiber zur Behandlung von Netzrestriktion an einem regionalen Flexibilitätsmarkt wirkt, der in Wechselwirkung zu überregionalen Märkten steht. Durch die Möglichkeit der parallelen Vermarktung an beiden Märkten kann für Marktakteure ein Anreiz entstehen, ihre derzeitige – oder die aus heutiger Sicht zu erwartende – Vermarktungsstrategie auf den überregionalen Strommarkt zu ändern, um lokale Netzengpässe zu beeinflussen und somit ihre Einnahmen am Flexibilitätsmarkt zu maximieren. Um Gegenmaßnahmen ergrei­fen zu können, müssen die Netzbetreiber in der Lage sein, diese potenzielle strategische Bieterverhalten zu überwachen oder sogar vorherzusagen. Eine Verallgemeinerung des flexiblen Bieterverhaltens ist jedoch aufgrund der hohen Komplexität bzgl. Marktmechanismen, Kundenverhalten und zahlreicher Netznutzungssituationen nicht möglich.

Für die Betrachtung der zukünftigen Netzbetriebsplanung müssen daher alle diese Aspekte detailliert modelliert und berücksichtigt werden. Dazu wurde im Beitrag der FGH im Rahmen von enera ein Modell zur Simulation des zukünftigen Netzkundenverhaltens entwickelt.  Mit Hilfe dieses Modells können dabei folgende Punkte abgebildet werden:

• die Abbildung der veränderten Kundenstruktur durch die Flexibilisierung bestehender Anlagen sowie innovativer Netzkunden durch Sektorenkopplung,
• die Prognose der Netznutzung für die Betriebsplanung in einem aktivem Verteilnetz unter Berücksichtigung zunehmender Teilnahme an überregionalen Strommärkten und dem regionalen Flexibilitätsmarkt,
• und die Erkennung von individuellem netzengpassverschärfenden Kundenverhalten.

Im Gegensatz zu einem überregionalen Markt entstehen für Marktakteure an einem regionalen Flexibilitätsmarkt Preisanreize, die durch lokale Netzstrukturen und durch Wechselwirkungen mit anderen Marktakteuren charakterisiert sind. Aufgrund der heterogenen Landschaft deutscher Verteilnetz und der unterschiedlichen Ausprägung unterschiedlicher Netzkundendurchdringungen ist hier eine generalisierte Ableitung des Kundenverhaltens nicht möglich. Vielmehr müssen diese individuell im Kontext ihrer Systemumgebung betrachtet und simuliert werden. Dabei ist insbesondere auch die Berücksichtigung der individuellen Verbrauchsprozesse, oder bei Erzeugungseinheiten, das lokale Primärdargebot zu berücksichtigen. Um das Verhalten der einzelnen Netzkunden und die Interaktionen miteinander sowie mit dem Verteilnetzbetreiber abbilden zu können, wurde ein Multi-Agenten System implementiert. Mittels eines Multi-Agenten Systems bietet die Möglichkeit komplexe Probleme zu lösen, indem sie in kleinere Teilaufgaben unterteilt werden. Die Teilaufgaben werden autonomen Agenten zugeordnet. Jeder Agent entscheidet in Abhängigkeit von vielfältigen endogenen und exogenen Einflüssen aus seiner Systemumwelt, welche Maßnahmen er zur Erreichung seiner Ziele ergreift. Die Agenten müssen miteinander konkurrieren oder kooperieren, um das aus ihrer Sicht beste Gesamtergebnis zu erzielen. Das System stellt im Verfahren das Verteilnetzgebiet dar.

Die Kundenanlagen werden als Agenten modelliert, die am konventionellen Strommarkt und lokalen Flexibilitätsmarkt agieren können. Der Verteilnetzbetreiber als Agent hat das Ziel, sein Netz sicher und zu minimalen Gesamtkosten zu betreiben. Für die Netzbetriebssimulation, wird das Multi-Agenten System als ein Markov Entscheidungsprozess aufgebaut. Dabei wird der zu simulierende Zeitraum in mehrere Zustände aufgeteilt.  Für jeden Zustand wird die zeitübergreifende optimale Entscheidung ermit­telt. Analog zu dem in enera vorgestellten Konzept eines lokalen Flexibilitätsmarkts wird dieser im Verfahren nur bei einem drohenden Engpass aktiviert. Somit entsteht für den Markov-Entschei­dungsprozess eine weitere Dimension, die mittels eines zweistufigen Ablaufs dargestellt wird (siehe Abbildung 1). Dafür prüft der Verteilnetzbetreiber erst nach Abschluss des „Spot-Zustandes“, welches als Prognose der Netznutzung im Betriebsplanungsprozess interpretiert werden kann, ob der Flexibilitätsmarkt geöffnet wird. Im sogenannten „Flex-Zustand“ können flexible Agenten ein beliebiges Maß an Flexibilität zu einem selbstbestimmten Preis anbieten, woraufhin der Netzbetreiber-Agent die bestmögliche Auswahl aus den verfügbaren Angeboten zur Beseitigung der Engpässe trifft.

Abbildung 1:             Verfahrensablauf zur Simulation des Netzkundenverhaltens an überregionalen Strommarkt und lokalen Flexibilitätsmarkt

Aufgrund der hohen Freiheitsgrade der Agenten und der Abhängigkeit von vielen exogenen Faktoren des Systems, wie z.B. der lokalen Netzsituation und dem Verhalten der anderen Agenten, sind die Zustände des Markov-Entscheidungsprozesses nicht stationär, was den Lösungsraum erheblich vergrößert. Die Anwen­dung analytischer Optimierungsmethoden für diese Art von Problemen erfordert die Ableitung eines komplexen Modells, bei dem die Parametrisierung an jede Veränderung der Umgebung angepasst werden muss. Oft ist es schwierig oder fast unmöglich, diese Modelle abzuleiten. Daher wurde für die Lösung des Multi-Agenten-Systems Ansätze aus dem Bereich des Reinforcement Learning angewendet (Tran, Pfeifer, Krahl, & Moser, 2020). Dabei Durchlaufen die Agenten iterativ die einzelnen Zustände, interagieren mit ihrer Umwelt und erhalten Belohnungen in Abhängigkeit ihrer Aktionen. Aus den gewonnenen Erkenntnissen erlernen sie Strategien, die durch die spezifischen lokalen Strukturen charakterisiert sind.

Vorläufiges Ergebnis:

Das entwickelte Multi-Agenten-System wurde an einem synthetischen Mittelspannungsnetz getestet. Um erste Handlungsempfehlungen abzuleiten, beschränkt sich die Betrachtung der Grenzwertverletzungen zunächst nur auf Transformatorüberlastungen, wodurch der Rechenaufwand minimiert wird. Der resultierende Lastfluss für jeden Zustand wurde unter Verwendung eines DC-Leistungsflusses berechnet. Die maximale Transformatorleistung wurde auf 30 MVA gesetzt, um kritische Netzsituationen zu simulieren. Die Daten der Netzkunden sind in Tabelle 1 aufgeführt.

Tabelle 1: Übersicht der Netzkunden im untersuchten synthetischen Mittelspannungsnetzgebiet

Um den Lösungsraum zu begrenzen und damit die Rechenzeit zu verkürzen, werden die Batterieagenten bei einem durch Erzeugungsüberschuss verursachten Netzengpass in ihrer Entladekapazität eingeschränkt. Somit werden zunächst nur die durch Bieterstrategie verursachten Engpässe in Lastrichtung betrachtet. Der simulierte Zeitraum beträgt ein Jahr. Für eine detaillierte Analyse werden im Folgenden Ergebnisse von 160 Zustände dargestellt, die je ein 15‑Minutenintervall entsprechen. Abbildung 2 zeigt den Spotmarktpreisverlauf und die resultierende Transformatorlast für den betrachteten Zeitraum. Das Lastprofil des Transformators wurde dabei ohne die Berücksichtigung der Batteriespeicher bestimmt. Es ist zu erkennen, dass der Transformator insbesondere in Lastrichtung bereits überlastet wird.

Abbildung 3 zeigt die Ergebnisse nach Abschluss des Lernprozesses und Lösung des Markov-Problems. Zunächst ist im oberen Teil der Abbildung das Ergebnis der „Spot-Zustände“ – also vor netzdienlichem Einsatz von Flexibilität – dargestellt. In den roten Markierungen ist zu erkennen, dass die flexiblen Agenten im Verlauf des Lernprozesses die Netzauslastung antizipieren konnten. Aus Sicht der Agenten konnte somit eine Maximierung ihrer Belohnung erreicht werden, indem sie kooperativ einen Engpass verschärfen oder sogar erzeugen. Im unteren Teil der Abbildung ist der Endzustand nach netzdienlichem Flexibilitätseinsatz dargestellt. Da die Engpässe überwiegend durch die Bieterstrategien der Agenten verursacht worden sind, konnten diese auch durch deren Beitrag im Rahmen eines Flexibilitätszukauf beseitigt werden. Zudem konnten die bereits vor Berücksichtigung der Agenten festgestellten Engpässe mittels der Agentenflexibilität behoben werden.

Abbildung 2:             Spotmarktpreisverlauf (oben), Transformatorauslastung ohne Agenten (unten)

Abbildung 3:             Transformatorprofil vor netzdienlichem Flexibilitätseinsatz und strategischem Bieterverhalten (oben), Transformatorprofil nach Einsatz netzdienlicher Flexibilität (unten)

Die Ergebnisse zeigen, dass das entwickelte Modell in der Lage ist, das zukünftige Netzkundenverhalten individuell und unter Berücksichtigung lokaler Netzstrukturcharakteristiken zu simulieren. Unter Voraussetzung geeigneter technischer und regulatorischer Rahmenbedingung, kann das verstärkt marktpreisorientierte Kundenverhalten zukünftig zu einer veränderten Netznutzung und durch Bieterstrategien  – bei gleichbleibender Netzdimensionierung – zu vermehrten Engpässen und höheren Systemkosten führen.

Literaturverzeichnis

Pfeifer, P., Tran, J., Krahl, S., & Moser, A. (2020). Modelling of uncertainty for smart grid congestion management. CIRED 2020 Berlin Workshop.

Tran, J., Pfeifer, P., Krahl, S., & Moser, A. (2020). A deep reinforcement learning approach for simulating the strategic bidding behavior of distributed flexibilities in smart markets. CIRED Workshop. Berlin.