Mit GENO haben wir die mathematische Optimierung einfach zugänglich gemacht: Das gewünschte Optimierungsproblem wird in einer natürlichen Modellierungssprache spezifiziert und der zughörige Löser einfach auf Knopfdruck erzeugt. Insbesondere im maschinellen Lernen war es zuvor üblich, zu jedem Problem einen neuen Löser zu schreiben. Durch GENO konnte der Entwicklungsaufwand so von Tagen oder gar Wochen auf Minuten gesenkt werden.

Intern nimmt GENO die Spezifikation des gegebenen Optimierungsproblems und transformiert sie in mehreren Schritten in die gewünschte Lösungssoftware. Der in der Lösungssoftware implementierte Algorithmus ist ein sogenanntes L-BFGS-B Quasi-Newton Verfahren. Leider kann dieses Verfahren nicht vom massiven Parallelismus moderner GPUs (Graphics Processing Units) profitieren, da es einen inhärent sequenziellen Schritt, die sogenannte Cauchy-Punkt Berechnung, enthält.

Wir haben eine Variante des L-BFGS-B Algorithmus entwickelt, die die Cauchy-Punkt Berechnung vermeidet und dadurch effizient parallelisierbar wird. Wir konnten die Konvergenz des Algorithmus theoretisch beweisen und praktisch auf verschiedenen Benchmark-Problemen aus dem maschinellen Lernen zeigen, dass die neue Variante signifikant schneller ist als die alte Multicore CPU-Version.

Den Artikel, in dem der neue Algorithmus beschrieben wird, werden wir an der diesjährigen Konferenz der Association for the Advancement of Artificial Intelligence (AAAI) präsentieren.

Veröffentlichung: S. Laue, M. Blacher and J. Giesen. Optimization for Classical Machine Learning Problems on the GPU. Proceedings of the 36th AAAI Conference on Artificial Intelligence (AAAI)