Formation Architecture Big Data

Cette formation s’adresse à un public large, du DSI au développeur, en passant par le Data Scientist. L’objectif est de réaliser un tour complet du Big Data en permettant d’en comprendre les enjeux et les implications pour les professionnels.

Définition des concepts, écosystème technologique, collecte de données ou encore les technologies de traitement, nous abordons ensemble tous les sujets qui vous permettent d’appréhender le Big Data avec un oeil de professionnel. 

%

de travaux pratiques

%

de satisfaction client

jours de formation

À qui s’adresse cette formation Architecture Big Data ?

data scientist - illustration

Architectes SI

data scientist - illustration

Développeurs

développeur web, full stack, android, ios - portrait

Chefs de projet

data scientist - illustration

DSI

data scientist - illustration

Data Scientist

développeur web, full stack, android, ios - portrait

Data Miners

Description de la formation

Architecture Big Data

Présentation

Si le Big Data est LE sujet du moment, il est souvent considéré comme une boîte noire dans laquelle il est très difficile de se retrouver. 

Large regroupement de pratiques, d’objectifs et de technologies différentes, il demeure l’objet de nombreux questionnements : 

  • A partir de quand parlons-nous de Big Data ?
  • Quels outils pour gérer de gros volume de données ?
  •  Traitement batch ou traitement en continue ? 
  •  La data science implique t’elle nécessairement une approche Big Data ? 
  • Quelle compétence pour un data scientist ?

Méthode pédagogique

La formation se passe en mode présentiel (face à face), et se compose de 70% de travaux pratiques (Mises en situation, débats, exercices).

Une évaluation quotidienne de l’acquisition des connaissances de la veille est effectuée.

Une synthèse est proposée en fin de formation. 

Un support de cours sera remis à chaque participant comprenant les slides de la théorie, les exercices et travaux pratiques ainsi que leurs corrigés

Une évaluation à chaud sera proposée au stagiaire à la fin du cours. 

Une feuille d’émargement par demi-journée de présence est fournie en fin de formation ainsi qu’une attestation de fin de formation si le stagiaire a bien assisté à la totalité́ de la session. 

Objectifs

  • Définir les concepts et identifier l’apport du Big Data
  • Déterminer l’écosystème technologique
  • Organiser la collecte des données
  • Choisir une technologie de stockage de données
  • Connaître les technologies pour traiter les gros volumes de données
  • Définir et comprendre le rôle du datascientist

Audience

  • DSI
  • Architecte SI
  • Chef de projet
  • Développeur
  • Data Miner
  • Data Scientist

Pré-requis

Les compétences professionnelles suivantes sont souhaitables : la connaissance d’un langage de programmation structuré et les bases du monde relationnel.

Le formateur

Le formateur est un expert du domaine qui intervient sur le sujet depuis plusieurs années en formation mais aussi en conseil.

Doté d’une grande qualité d’écoute, sa pédagogie et sa compétence technique vous permettront d’acquérir les compétences sur les architectures Big Data.

Le programme

Comprendre les concepts et les enjeux du BigData
  • Origines et définition du BigData.
  • Les 3 V : Volume, Vélocité et Variété
  • Diversité dans les cas d’usage : données chaudes, données froides
  • Big Data : Une approche réservée aux GAFA ?
  • Un exemple d’architecture Big Data.
  • Exercice / Démo : Parcourir différentes sources de données accessibles via le WEB (API)
Expliquer les technologies du Big Data
  • Définir les outils de collecte de données
  • Anticiper les moyens de stockage en fonction des usages
  • Le datalake : votre référentiel de données
  • Paralléliser ou traiter vos données en continue ?
  • S’approprier les données avec des analyses visuelles : la dataviz
Stocker des données
  • État de l’art : Le BigData, sonne t’il le glas des bases de données relationnelles ?
  • Le triangle de CAP
  • Pourquoi le NoSql ?
  • Les différentes approches : document / wide column / key-value
  • Tour d’horizon des solutions à disposition : MongoDB, Cassandra, HBase…
  • Exercice / Démo : définir et mettre en place un modèle de stockage de type document avec MongoDB
Collecter les données
  • Comprendre les différentes sources de données : iOT / SI / Réseau sociaux / API : D’où viennent les données ?
  • Gérer des formats de données différents : JSON, XML, CSV, binaires, …
  • De l’importance des connecteurs…
  • Tour d’horizon des outils du marché : NIFI / Node Red / Flume / Sqoop
  • Exercice / Démo : Utiliser NIFI pour collecter les données d’une API publique 
Hadoop
  • Comprendre le périmètre de Hadoop : Stockage et traitement
  • Une plateforme de traitement batch et de stockage de données froides
  • Architecture et composants de la plateforme Hadoop.
  • HDFS, YARN et Mapreduce : les 3 piliers
  • Un écosystème complexe et complet : Hive, HBase
  • Exercice / Démo : Manipuler des fichiers via Hue, mise en place de tables et requêtes Hive sur une plateforme Hadoop
Spark
  • Un framework pour paralléliser des traitements
    Positionnement Spark / Hadoop
  • Quelle infrastructure de déploiement 
  • Comprendre la complexité de la parallélisation des traitements
  • SparkML : une librairie pour la datascience
  • Exercice / Démo : Mise en place et analyse d’un traitement simple
Stream processing
  • Le besoin de traitement au fil de l’eau
    Streaming ETL
  • Streaming analytics
  • Prise de décision en temps réel
  • Les approches et outils de streaming : Spark Streaming / Kafka Streaming / Flink…
  • Exercice / Démo : analyse en continue d’un flux de données simple
Transporter vos données : Kafka
  • Définir le besoin d’un bus de données
  • Les middleware Orienté Messages dans un contexte BigData
  • Définir les acteurs : Producers & Consumers
  • Comprendre les composants : Messages, brokers, topics, …
  • Un outil taillé pour les performances
  • Kafka Connect : Connectez vos outils à Kafka
  • Exercice / Démo :  Mise en place d’un bus Kafka pour permettre à Elasticsearch de manipuler des données extraites via NIFI 
Big Data et Machine Learning
  • Présentation du Machine Learning
  • Positionnement de la datascience dans un contexte Big Data
  • Les différentes approches : Clusterisation, classification, régression
  • Les implémentations : Scikit Learning / SparkML
  • Spark et DASK : des frameworks de distribution des traitements
  • Le « Deep learning » 
  • Le « Online learning » ou machine learning en streaming 
  • Démo : processus complet d’un projet de datascience (analyse des données, sélection de données, apprentissage, scoring)
Datavisualization
  • Pourquoi faire ?
  • Dataviz pour comprendre les données
  • L’écosystème de la Dataviz : outils et API
  • Exercice / Démo : Analyse visuelle d’un jeu de données

Tarif

1980 € HT

Les prochaines dates pour cette formation

Pas d'événement actuellement programmé.

Nos clients parlent de nous

« Un transfert/partage de savoir que j'ai rarement vu dans une formation. Denis est capable aussi de faire participer les membres du groupe et d’enrichir la formation de l'expertise individuelle. Chapeau ! »

Claire Chartier

Medical Director Cardiology BMS

« Je suis très satisfait de la formatrice qui connait évidemment bien le sujet, elle a de très bonnes qualités humaines et se montre très patiente quand il le faut ! »

Camille GODON

Ingénieur d'Étude et de Développement, Sudalis

« J'ai beaucoup apprécié le partage d'expérience d'Alexia et son parcours qui sont très inspirants (…….) Merci pour ces 4j de grand plaisir !!!! »

Arnaud B.

Chef de Service, Thalès Avionics

Nos autres formations en hautes technologies

Formations agilité, Safe et scrum master

Architecture

formations big data - Retengr - icone

Data

Formation Devops Toulouse et Paris - Retengr

DevOps

Formation web mobile, android et ios - Toulouse et Paris - Retengr

Agilité

Formation web Html, css, javascript, angular - Retengr

Web client

pictogramme formations développement applications mobiles

Web mobile

Prêt(e) à vous former en Architecture Big Data ?

Envoyez-nous un message !

1.

Vous remplissez ce formulaire

2.

Nous vous recontactons sous 48h

3.

Nous finalisons ensemble votre inscription

12 + 15 =