Retour aux projets

Projet · 2026

UFO Data Analysis

80 000 observations d'OVNI (1949-2014) avec NLP et classification. Peut-on prédire la forme rapportée à partir du témoignage ?

Description de témoin → forme prédite + probabilités · Cliquez pour agrandir

80K

observations

41.1%

accuracy finale

+18.5

pts apportés par le texte

Le problème

Peut-on prédire la forme d'un OVNI rapportée par un témoin, à partir de ses métadonnées et de sa description textuelle ? Et surtout : quelle source d'information porte réellement le signal ?

L'approche

01

Nettoyage

80 332 observations d'OVNI (1949-2014), déduplication, normalisation des formes et des localisations.

02

EDA temporelle

Analyse de la croissance des signalements par décennie, du pic des années 2000-2012 et de la distribution des formes.

03

Analyse textuelle

Traitement NLP des témoignages : WordCloud, TF-IDF, extraction des mots-clés (light, sky, moving).

04

Classification

Random Forest pour prédire la forme à partir des métadonnées (heure, durée, lieu) et du texte du témoignage.

Décisions clés

Pourquoi comparer métadonnées seules vs texte ?

Pour isoler la contribution réelle de chaque source. Les métadonnées seules donnent 22.6% — à peine mieux que la classe majoritaire (20.6%). Ajouter le texte fait passer à 41.1%. C'est le témoignage humain qui porte le signal, pas l'heure ou le lieu.

Pourquoi avoir identifié un potentiel data leakage ?

Une partie des descriptions contient explicitement la forme ('it was a triangle', 'looked like a saucer'). Le modèle pourrait apprendre à repérer ces mots plutôt qu'à généraliser. Cette hypothèse est documentée dans le notebook et testée sur des exemples sans le nom de la forme.

Modélisation — prédire la forme

Trois configurations comparées pour mesurer la contribution réelle de chaque source d'information.

ModèleFeaturesAccuracy
Dummy (majoritaire)—20.6%
Random ForestMétadonnées seules22.6%
Random Forest enrichiMétadonnées + TF-IDF41.1%

Le saut de 22.6% à 41.1% montre que c'est la description du témoin qui porte le signal — pas l'heure, le lieu ou la durée.

Limites assumées

  • Biais de reporting : les signalements dépendent de la volonté des témoins, pas des observations réelles.
  • Biais géographique : le dataset est massivement centré sur les États-Unis.
  • Un potentiel data leakage est identifié et discuté, mais pas totalement éliminé.
  • Le vocabulaire des témoignages évolue dans le temps, ce qui peut biaiser la classification par époque.

Stack

PythonPandasNLTKTF-IDFScikit-learnRandom ForestMatplotlibStreamlit