FILM

Dies ist das offizielle Repo für das Papier Make Your LLM Fully Utilize the Context. Dieses Repo kann dir helfen, die Ergebnisse von FILM-7B zu reproduzieren, einem 32K-Kontext-LLM, das das Problem des Verloren-Gehens-in-der-Mitte überwindet. FILM-7B wird aus Mistral-7B-Instruct-v0.2 trainiert, indem Information-Intensive (In2) Training angewendet wird. FILM-7B erreicht nahezu perfekte Leistung bei Probeaufgaben, SOTA-Niveau-Leistung bei realen Langkontextaufgaben unter ~7B großen LLMs und beeinträchtigt nicht die Leistung bei Kurzkontexten.