Retour aux projets

Projet · 2026

NL to SQL

Interroger une base de données RH en langage naturel, avec une évaluation transparente de sa fiabilité.

Une question en français → SQL généré → résultats en direct

92.3%

accuracy (comparaison tolérante)

69.2%

accuracy (comparaison stricte)

26

questions de test

Le problème

Interroger une base de données relationnelle demande de connaître SQL. Peut-on permettre à un utilisateur de poser sa question en français et obtenir un résultat fiable — et surtout, comment mesurer cette fiabilité ?

L'approche

Plutôt qu'un fine-tuning coûteux, le système repose sur un LLM généraliste guidé par prompt engineering. Le schéma est extrait dynamiquement et enrichi de valeurs réelles avant d'être envoyé au modèle.

01

Extraction du schéma

Tables, colonnes et clés étrangères extraites dynamiquement depuis SQLite.

02

Enrichissement

Les colonnes catégorielles sont complétées avec des valeurs réelles (ex: status : ['Approuvé', 'En attente', 'Refusé']).

03

Génération

Le LLM reçoit le schéma, quelques exemples et la question, puis produit le SQL.

04

Exécution

La requête est exécutée sur la vraie base — pas de comparaison textuelle.

L'évaluation

26 questions de complexité croissante, évaluées par execution accuracy : on compare le résultat réel de la requête générée à celui de la référence. Les versions V1 et V2 portent sur une première génération de requêtes ; les suivantes sur une génération avec le schéma enrichi.

ItérationChangementAccuracy
V1Comparaison littérale des lignes57.7%
V2Tolérance aux colonnesMesure assouplie (colonnes en plus acceptées)69.2%
V3Schéma enrichi de valeurs réellesSystème amélioré (corrige les erreurs de format)80.8%
V4Comparaison symétriqueMesure assouplie (colonnes en plus ou en moins)92.3%
ContrôleComparaison stricte sur les mêmes requêtes que V3Mesure la plus exigeante69.2%

Enseignement clé : la qualité de l'évaluation compte autant que celle du modèle. Seul l'enrichissement du schéma (V3) a amélioré les requêtes générées ; V2 et V4 ont seulement modifié la façon de mesurer.

Décisions clés

Pourquoi pas de fine-tuning ?

Le fine-tuning demande un dataset dédié et du calcul GPU. Pour un problème où le schéma change souvent, un LLM généraliste guidé par prompt engineering est plus rapide à adapter et à maintenir.

Pourquoi enrichir le schéma avec des valeurs réelles ?

Sans exemples concrets (ex: status : ['Approuvé', 'En attente', 'Refusé']), le modèle inventait des formats. Ce changement a fait passer l'accuracy de 69.2% à 80.8% (+3 questions sur 26) : c'est la seule itération qui a réellement amélioré le système.

Pourquoi évaluer par execution accuracy ?

Comparer le SQL textuellement pénalise des requêtes équivalentes. Exécuter la requête et comparer le résultat mesure ce qui compte vraiment : est-ce que la réponse est correcte ?

Limites assumées

  • Jeu de test de 26 questions seulement, utilisé pour améliorer le prompt : le score réel sur des questions jamais vues est probablement plus bas.
  • Le résultat dépend de la méthode de comparaison : entre 69 % (stricte) et 92 % (tolérante).
  • LLM généraliste, pas un modèle spécialisé Text-to-SQL — pas de garantie sur des requêtes très complexes.
  • Base synthétique de 150 employés — la robustesse sur un schéma réel reste à valider.
  • Pas de protection contre les requêtes destructrices — acceptable en lecture seule, à sécuriser en production.

Stack

PythonLLMGroq (gpt-oss-20b)Prompt EngineeringFastAPISQLiteRender