legml-v0.1

legml-v0.1 est un grand modèle de langage (LLM) en français, capable de gérer une multitude de tâches telles que la programmation, les mathématiques, et bien d'autres domaines. Ce modèle est une version étendue d'un LLM basé sur Qwen, optimisé spécifiquement pour le français. Il a été entraîné sur un vaste corpus de données françaises nettoyées et annotées avec soin pour exécuter des instructions en français avec précision et cohérence.

L'entraînement intensif a été réalisé sur 4 GPU A100 pendant une durée de deux jours, utilisant cet ensemble de données spécialisé pour améliorer ses performances globales.

Détails du Modèle

• Modèle de Base : Qwen-2.5 LLM avec 14 milliards de paramètres
• Données d'Entraînement : Corpus français annoté et nettoyé
• Méthode d'Entraînement : Affinage complet approfondi

Exemples d'Utilisation

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda"  # Appareil sur lequel charger le modèle

model_name = "legmlai/legml-v0.1"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Expliquez les principes fondamentaux de la théorie de la relativité restreinte."
messages = [
    {
        "role": "system",
        "content": "Vous êtes un assistant virtuel compétent, prêt à fournir des réponses claires et détaillées aux questions posées."
    },
    {
        "role": "user",
        "content": prompt
    }
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    temperature=0.5,
    top_k=40,
    top_p=0.8,
    max_new_tokens=512,
    repetition_penalty=1.05,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Exemples de Générations

Exemple 1

Question :

Expliquez les principes fondamentaux de la théorie de la relativité restreinte.

Réponse :

La théorie de la relativité restreinte, proposée par Albert Einstein en 1905, repose sur deux principes fondamentaux :

1. Principe de Relativité : Les lois de la physique sont les mêmes dans tous les référentiels inertiels, c'est-à-dire pour tous les observateurs en mouvement rectiligne uniforme les uns par rapport aux autres.

2. Invariance de la Vitesse de la Lumière : La vitesse de la lumière dans le vide est constante et indépendante du mouvement de la source ou de l'observateur, soit approximativement ( c = 299,792,458 ) mètres par seconde.

Ces principes entraînent des conséquences majeures, telles que la dilatation du temps, la contraction des longueurs et l'équivalence masse-énergie exprimée par la célèbre formule ( E = mc^2 ).

Exemple 2

Question :

Comment installer une bibliothèque externe en Python, par exemple NumPy ?

Réponse :

Pour installer une bibliothèque externe en Python comme NumPy, vous pouvez utiliser le gestionnaire de packages `pip`. Voici comment faire :

1. Ouvrez le terminal ou l'invite de commande de votre système.

2. Exécutez la commande suivante :

   pip install numpy
   

3. Vérifiez l'installation en important la bibliothèque dans un script Python :

   import numpy as np
   print(np.__version__)
   

Cette commande installera NumPy sur votre système, et vous pourrez l'utiliser dans vos scripts pour des calculs scientifiques et mathématiques.

Résultats de l'Évaluation

Les performances de LegML-v0.1 ont été évaluées sur divers benchmarks en français. Voici les résultats obtenus :

Benchmark	Métrique	Valeur (%)
BBH-fr	Précision normalisée	37.17%
GPQA-fr	Précision normalisée	16.49%
IFEval-fr	Précision stricte	14.68%
MUSR-fr	Précision normalisée	9.93%
MATH-lvl5-fr	Correspondance exacte	22.27%
MMMLU-fr	Précision	68.31%
Moyenne		28.81%

Ces résultats démontrent les capacités du modèle sur une gamme variée de tâches complexes en français, tout en indiquant les domaines où des améliorations peuvent être apportées.