OPRO

L'ottimizzazione è onnipresente. Sebbene gli algoritmi basati su derivate siano stati strumenti utili per vari problemi, l'assenza di gradienti impone sfide in molte applicazioni del mondo reale. In questo lavoro, proponiamo Optimization by PROmpting (OPRO), un approccio semplice ed efficace per sfruttare i grandi modelli di linguaggio (LLMs) come ottimizzatori, dove il compito di ottimizzazione è descritto in linguaggio naturale. In ogni passo di ottimizzazione, l'LLM genera nuove soluzioni dal prompt che contiene soluzioni precedentemente generate con i loro valori, quindi le nuove soluzioni vengono valutate e aggiunte al prompt per il passo di ottimizzazione successivo. Iniziamo a mostrare OPRO nella regressione lineare e nei problemi del commesso viaggiatore, per poi passare alla nostra applicazione principale nell'ottimizzazione dei prompt, dove l'obiettivo è trovare istruzioni che massimizzino la precisione del compito. Con una varietà di LLMs, dimostriamo che i migliori prompt ottimizzati da OPRO superano i prompt progettati da umani fino all'8 % su GSM8K e fino al 50 % nei compiti Big-Bench Hard. Codice disponibile su https://github.com/google-deepmind/opro.