Analyse de données pour Hadoop 2.X Hortonworks avec Pig & Hive

4 jours (28 heures) - 2550 Euros HT

Certification 280 Euros HT

 Formation Perspectives et évolution de la DSI

PROGRAMME

Jour 1

COMPRENDRE HADOOP 2.X

• L’architecture de Hadoop 2.X

• The Hortonworks Data Platform (HDP)

LE SYSTÈME DE FICHIERS DISTRIBUÉ HDFS

• Architecture fonctionnelle de HDFS
- Exercice d’interaction en ligne de commande avec HDFS

ALIMENTER HDFS EN DONNÉES

• Prise en main de l’outil Flume

• Prise en main de l’outil Sqoop
- Application de ces deux outils d’import et d’export des données

LE FRAMEWORK MAPREDUCE

• Architecture et fonctionnement général de MapReduce
- Exemples d’utilisation d’un job MapReduce


Jour 2


INTRODUCTION À PIG

• Types et mots-clés dans Pig
- Exploration de données avec Pig

PROGRAMMATION PIG AVANCÉE

• Mots-clés et fonctionnalités avancées dans Pig

• Jointures dans Pig

• Astuces d’optimisation de scripts Pig
- Analyse de cas d’usages métier divers avec Pig


Jour 3


PROGRAMMATION HIVE

• Types et mots-clés dans Hive

• Concept de table et base de données dans Hive

• Présentation et explication des types de jointures
- Démonstration de jointures
- Analyse de cas d’usages métier

UTILISER HCATALOG

• Fonctionnement et utilisation de HCatalog
- Démonstration du fonctionnement de HCatalog


Jour 4


PROGRAMMATION HIVE AVANCÉE

• Les vues dans Hive

• Les différents formats de stockage des tables Hive

• Optimisation de scripts Hive
- Illustration des fonctions avancées

HADOOP 2.X ET YARN

• Architecture de YARN
- Démonstration d’une application YARN

CRÉER ET UTILISER UN WORKFLOW OOZIE

• Workflow et coordinateur Oozie

• Actions possibles avec Oozie

OBJECTIF

Identifier et définir les différents composants de l’écosystème Hadoop
Appréhender l’architecture de Hadoop 2.X
Expérimenter les outils d’exploration et d’analyse avancée de données

PUBLIC

Analyste
Statisticien
Développeur

PRÉREQUIS

Connaissances de base en scripting (SQL, Python, R) ou en programmation

Demande d'informations


Liste des sous-pages