Projet · 2026
UFO Data Analysis
80 000 observations d'OVNI (1949-2014) avec NLP et classification. Peut-on prédire la forme rapportée à partir du témoignage ?
Description de témoin → forme prédite + probabilités · Cliquez pour agrandir
80K
observations
41.1%
accuracy finale
+18.5
pts apportés par le texte
Le problème
Peut-on prédire la forme d'un OVNI rapportée par un témoin, à partir de ses métadonnées et de sa description textuelle ? Et surtout : quelle source d'information porte réellement le signal ?
L'approche
01
Nettoyage
80 332 observations d'OVNI (1949-2014), déduplication, normalisation des formes et des localisations.
02
EDA temporelle
Analyse de la croissance des signalements par décennie, du pic des années 2000-2012 et de la distribution des formes.
03
Analyse textuelle
Traitement NLP des témoignages : WordCloud, TF-IDF, extraction des mots-clés (light, sky, moving).
04
Classification
Random Forest pour prédire la forme à partir des métadonnées (heure, durée, lieu) et du texte du témoignage.
Décisions clés
Pourquoi comparer métadonnées seules vs texte ?
Pour isoler la contribution réelle de chaque source. Les métadonnées seules donnent 22.6% — à peine mieux que la classe majoritaire (20.6%). Ajouter le texte fait passer à 41.1%. C'est le témoignage humain qui porte le signal, pas l'heure ou le lieu.
Pourquoi avoir identifié un potentiel data leakage ?
Une partie des descriptions contient explicitement la forme ('it was a triangle', 'looked like a saucer'). Le modèle pourrait apprendre à repérer ces mots plutôt qu'à généraliser. Cette hypothèse est documentée dans le notebook et testée sur des exemples sans le nom de la forme.
Modélisation — prédire la forme
Trois configurations comparées pour mesurer la contribution réelle de chaque source d'information.
| Modèle | Features | Accuracy |
|---|---|---|
| Dummy (majoritaire) | — | 20.6% |
| Random Forest | Métadonnées seules | 22.6% |
| Random Forest enrichi | Métadonnées + TF-IDF | 41.1% |
Le saut de 22.6% à 41.1% montre que c'est la description du témoin qui porte le signal — pas l'heure, le lieu ou la durée.
Limites assumées
- Biais de reporting : les signalements dépendent de la volonté des témoins, pas des observations réelles.
- Biais géographique : le dataset est massivement centré sur les États-Unis.
- Un potentiel data leakage est identifié et discuté, mais pas totalement éliminé.
- Le vocabulaire des témoignages évolue dans le temps, ce qui peut biaiser la classification par époque.