Rotational equivariance in Convolutional Neural Networks (CNNs) for modelling heat plumes of heat pumps in groundwater

Abstract

The growing frequency of weather anomalies driven by climate change necessitates energy-efficient heating solutions to reduce carbon emissions. Geothermal heat pumps offer an ecological alternative, but their installation requires precise planning to avoid negative impacts on groundwater. Pelzer and Schulte proposed a Convolutional Neural Network (CNN) to predict steady-state heat plumes from these heat pumps, but their model isn't built to generalize across varying input orientations. To address this limitation, we introduce three approaches: (1) the Oriented Boxes approach, which rotates input data during inference to match a fixed training orientation; (2) the Data Augmentation approach, which extends the training dataset with rotated data samples; and (3) the Equivariant Convolutional Neural Network (ECNN) approach, which directly incorporates rotational equivariance into the network architecture. Evaluated on metrics such as the Mean Absolute Error (MAE) and the Root Mean Square Error (RMSE), the ECNN approach shows the most significant improvement, enhancing performance by up to 50% compared to the baseline CNN. The other approaches achieve gains of 30%-40%. These results demonstrate that introducing approximate rotational equivariance, especially through ECNNs, is highly effective for improving the generalization of CNNs to data with varying orientations. Die zunehmende Häufigkeit von Wetteranomalien infolge des Klimawandels erfordert energieeffiziente Heizlösungen, um die menschengemachten Kohlenstoffemissionen zu reduzieren. Geothermische Wärmepumpen bieten eine ökologische Alternative, jedoch erfordert ihre Installation eine präzise Planung, um negative Auswirkungen auf das Grundwasser zu vermeiden. Pelzer and Schulte haben ein Convolutional Neural Network (CNN) vorgeschlagen, um stationäre Wärmefahnen dieser Wärmepumpen vorherzusagen, doch ihr Modell ist nicht dafür gemacht auf Eingabedaten mit unterschiedlichen Ausrichtungen zu generalisieren. Um dieses Problem zu lösen, stellen wir drei Ansätze vor: (1) den Oriented Boxes-Ansatz, bei dem die Eingabedaten während der Inferenz so gedreht werden, dass sie mit einer festen Trainings-Ausrichtung übereinstimmen, (2) den Data Augmentation-Ansatz, bei dem der Trainingsdatensatz durch rotierte Datenpunkte erweitert wird und (3) den Equivariant Convolutional Neural Network (ECNN)-Ansatz, der Rotationsäquivarianz direkt in die Netzwerkarchitektur integriert. Bewertet anhand von Metriken wie dem Mean Absolute Error (MAE) und dem Root Mean Square Error (RMSE) zeigt der ECNN-Ansatz die signifikanteste Verbesserung und steigert die Leistung um bis zu 50% im Vergleich zum ursprünglichen CNN. Die anderen Ansätze erzielen Leistungssteigerungen von 30% bis 40%. Diese Ergebnisse zeigen, dass die Einführung von ungefährer Rotationsäquivarianz, insbesondere durch ECNNs, äußerst effektiv ist, um die Generalisierungsfähigkeit von CNNs auf Daten mit unterschiedlichen Ausrichtungen zu verbessern.