![](images/logoSIDbigdata.png)
WatchNews (2018)
Besoin
Lien vers la présentation du projet
En 2018, le projet s'est focalisé sur l'analyse de la presse en ligne. L'idée était de développer un site web effectuant quotidiennement et en temps réel cette analyse, et permettant d'obtenir des statistiques générales, par thème ou par mot-clé.
![20 mn](watchnews/20_Minutes.png)
![Futura Sciences](watchnews/Futura-Sciences.png)
![La Dépêche](watchnews/La_Depeche.jpg)
![Le Figaro](watchnews/Le_Figaro.jpg)
![Le Gorafi](watchnews/Le_Gorafi.png)
![Le Monde](watchnews/Le_Monde.png)
![Le Point](watchnews/Le_point.png)
![L'équipe](watchnews/Lequipe.jpg)
![L'Humanité](watchnews/LHumanite.jpg)
![iberation](watchnews/Liberation.png)
![L'obs](watchnews/LObs.png)
![Sciences et Vie](watchnews/Science_et_Vie.png)
Le site doit permettre la comparaison du traitement d'un thème en fonction des sources, permettant ainsi d'étudier les éventuels biais de traitements des différentes sources.
Organisation du projet
Pour ce projet, les étudiants ont été répartis en 9 groupes de travail, dirigés par un groupe de gestion de projet, composé de 6 étudiants. Cette année, les technologies utilisées ont été imposées.
Les groupes de travail étaient les suivants :
- Groupe 1: Supervision
- Groupe 2: BD-Index
- Groupe 3: BD-Serveur
- Groupe 4: Robot
- Groupe 5: Filtrage de texte
- Groupe 6: Analyse sémantique
- Groupe 7: Prédiction / Classification
- Groupe 8: Analyse de tendance / statistiques
- Groupe 9: Application Web
- Groupe 10: Qualité / Communication
![](watchnews/architecture.png)
Technologies utilisées
![mySQL](watchnews/mySQL.png)
![flask](watchnews/flask.png)
![laravel](watchnews/laravel.png)
![html](watchnews/html.png)
![python](watchnews/python.jpg)
![nltk](watchnews/nltk.jpg)
![spacy](watchnews/spacy.png)
![spacy](watchnews/textblob.png)
Quelques fonctionnalités de l'application finale
Deux étudiants de L3 ont repris en stage le travail effectué par les 3 promos pour aboutir à un produit fini et visible de tous. L'application est en ligne ici.
![](watchnews/sentiments.png)
Jauges d'évolution des tendances liées aux sentiments du jour et de la semaine par rapport à la tendance globale.
La flèche noire correspond au jour tandis que la grise est pour la semaine. Pour les sentiments négatifs (Peur, Colère, Tristesse, Dégoût), une augmentation se traduira par une jauge dans le rouge. A l'inverse, pour les sentiments positifs (Joie, Surprise), l'augmentation sera montrée dans la jauge verte.
![](watchnews/statistiques.png)
Nuage des mots-clés de la semaine, c'est-à-dire des mots les plus présents.
Plus le mot est écrit en gros, plus son niveau de pertinence est élevé. La couleur du mot indique sa tendance, s'il est écrit en rouge, alors cela signifie qu'il est de moins en moins présent. Au contraire, la couleur verte indique qu'il aura pris de l'importance.
![](watchnews/sentimentsmot.png)
Ratio de sentiments pour les articles qui contiennent le mot choisi, ici le mot "vaccin".
Analyse possible sur la semaine, le mois,l'année ou bien une période choisie.
![](watchnews/evolution.png)
Evolution du nombre d'articles de la période donnée contenant le mot choisi (ici "vaccin" de nouveau) selon le jour et le thème.
Pour visualiser un thème en particulier, il est possible de retirer un thème de l'affichage en cliquant sur sa légende. .
Plus en détail
Voici quelques documents effectués par les étudiants à l'issue des 15 jours de travail: