Neuronale Netze lernen mit ETH-Software schneller

Zwei Wissenschaftler aus dem Scalable Parallel Computing Lab der ETH Zürich haben eine Software entwickelt, die das Training von Deep Learning-Anwendungen deutlich beschleunigt. Das ist bedeutsam, weil dies bei der Arbeit mit neuronalen Netzen der aufwändigste und teuerste Arbeitsschritt überhaupt ist, so die ETH in einer Mitteilung. Er mache bis zu 85 Prozent der Trainingszeit aus. So könne etwa ein einziger Trainingslauf bei einem ausgefeilten Spracherkennungsmodell rund 10 Millionen Dollar kosten.

Die neue Software namens NoPFS von Roman Böhringer und Nikoli Dryden nutzt das Konzept der Clairvoyance (Englisch: Hellsichtigkeit): „Sie nutzt einen vorhersagbaren Vorgang beim Training aus – und zwar konsequenter als andere Programme dies bisher tun“, so die ETH. NoPFS kann die Reihenfolge der Datenproben vorhersagen. „Dieses Wissen nutzen wir, um häufig verwendete Datenelemente im Voraus zu laden“, so Dryden. „So werden die Daten vorzeitig bereitgestellt, was das Training beschleunigt.“

Je nach jeweiligem Supercomputer, Anzahl der verwendeten Grafikprozessoren und der Grösse des Datensatzes konnte NoPFS das Training neuronaler Netze um den Faktor 2,1 bis 5,4 beschleunigen. Mit auf Künstliche Intelligenz abgestimmten Systemen wie dem neuen Supercomputer Alps könnte die Trainingseffizienz etwas weniger ansteigen. Alps wird im Frühjahr 2023 das bisherige Flaggschiff unter den Schweizer Supercomputern, Piz Daint im CSCS, dem an die ETH angeschlossenen Nationalen Supercomputing-Zentrum, ablösen. mm