Improving Google’s open-source machine learning system TensorFlow

Abstract

Die künstliche Intelligenz und das maschinelle Lernen werden ein immer wichtigeres Thema. Viele von ihren Algorithmen haben eine Graphstruktur oder können als ein Datenflussgraph repräsentiert werden, wie z.B. ein neuronales Netz. Ein System, welches auf dem Konzept von Datenflussgraphen aufbaut, ist TensorFlow.Bei diesem baut der Nutzer einen Datenflussgraphen, welcher dann von TensorFlow ausgewertet wird. Da für das maschinelle Lernen ein einzelner Datenflussgraph sehr häufig ausgeführt werden muss, ist es nicht unüblich, dass zum Lernen eines Modells Wochen vergehen können. Eine weitere Beobachtung ist, dass die Graphen immer größer werden, und dadurch es vorkommen kann, dass ein Graph im Ganzen nicht mehr auf eine GPU passt. Aus diesen Gründen ist es interessant eine gute Partitionierung für die Graphen zu finden. Momentan bietet TensorFlow noch keine Möglichkeit an, mit der die Graphen automatisch partitioniert werden können. Ein üblicher Ansatz ist daher eine Expertenplatzierung, bei welcher ein Experte eine gute Partitionierung findet. In dieser Arbeit untersuchen wir Algorithmen für die automatische Partitionierung der Graphen. Dabei stellen wir drei Algorithmen vor, welche eine ähnliche oder bessere Geschwindigkeit als eine Expertenplatzierung erreichen. Eine wichtige Beobachtung, die wir in dieser Ausarbeitung gemacht haben ist, dass mehr GPUs nicht immer mehr bringen, sondern es sinnvoll ist den Graphen auf so wenig Geräte wie möglich zu verteilen.