• Page d’accueil
  • Portfolio-projets
  • articles
  • Qui Suis-je ?
  • Suivez-moi sur

    Facebook Pagelike Widget
  • Page d’accueil
  • Portfolio-projets
  • articles
  • Qui Suis-je ?

Dans ce projet d’analyse de données concernant les Charts Spotify en France depuis janvier 2017 (date de début des données disponibles), mes objectifs sont les suivants :

  • utiliser l’ETL Mage-ai (concurrent direct d’Airflow) en full python,
  • récupérer les charts france hebdomadaires,
  • récupération de données via les endpoints d’API spotify,
  • scraper les paroles des chansons présentes dans les données,
  • réaliser une classification par genre musical (spotify fournit des infos bien trop floues),
  • réaliser une base de donnée qui sera automatisée grâce à l’ETL,
  • coder un programme d’analyse des chansons (présence de mots vulgaires, nuages de mots mettant en avant les thématiques, analyse des rimes, richesse des mots, type de rimes, récupération automatique de la langue …)

 

C’est parti !

# création de l'environnement virtuel : python -m venv .env # chargement de l'environnement : source .env/bin/activate # sur mac ./.env/Scripts/activate # sur windows # installation du package mage-ai pip install mage-ai

 


Dans cette première partie du projet, je vous présente l’installation et une utilisation sommaire de l’ETL :

 

  • Share On Facebook
  • Tweet It


Michael Tirat
  • Catégories

    • Base de données (1)
    • Data visualisation (1)
    • dataviz python (1)
    • pandas (1)
    • Power BI (2)
    • Projets (1)
    • Python (9)
    • SQL (3)
    • Tips (5)
    • web scraping (2)
  • Mots clé

    aleatoire astuce automatisation base de données BeautifulSoup carte choroplèthe dashboard data cleaning data visualisation dataviz départements EDA folium geospatial jupyter notebook NLP notebook pandas pivot plotly power BI python random Regex snippet SQL tableau de bord tips vscode web scraping





  • Connectons-nous !

    • github
    • linkedin

© Copyright Michaël Tirat 2024 - Data Analyst