Formation Ingestion de données avec NiFi

Qu'est-ce qu’Apache NiFi ?

Apache NiFi est une solution open source de gestion des flux de données (Dataflow). Conçu pour automatiser le déplacement et la transformation des données entre systèmes hétérogènes, il repose sur une interface graphique intuitive permettant de concevoir des pipelines de données complexes. NiFi se distingue par ses capacités de traçabilité, de sécurité et de gestion en temps réel des flux.

Pourquoi suivre une formation Ingestion de données avec NiFi ?

Dans un monde dominé par la donnée, maîtriser NiFi permet d’intégrer efficacement des flux hétérogènes, en provenance de multiples sources (bases de données, API, systèmes distribués, IoT…). Cette formation offre aux participants la capacité de concevoir, déployer et superviser des pipelines robustes, réduisant les temps de développement et optimisant la gouvernance des données. C’est un atout essentiel pour les ingénieurs et architectes data, désireux d’accélérer les projets Big Data et d’assurer la fiabilité des échanges d’information.

Objectif opérationnel :

Savoir concevoir, déployer et administrer des flux d’ingestion de données robustes avec Apache NiFi.

Objectif pédagogiques :

À l'issue de cette formation Ingestion de données avec NiFi, vous aurez acquis les connaissances nécessaires pour :

• Décrire l'architecture de NiFi, y compris les configurations autonomes et en cluster
• Naviguer, configurer les flux de données et utiliser les informations sur les flux de données avec l'interface utilisateur NiFi
• Organiser et simplifier les flux de données
• Connecter les flux de données avec d'autres systèmes, tels que Kafka et HDFS.

Public :

Cette formation s’adresse aux développeurs, Data engineers, Data scientists, Data stewards et toute personne intéressée par l'ingestion de données.

Prérequis :

Avoir des connaissances en développement Java, C# ou Python. Avoir de l'expérience en ETL.

Apache NiFi : les fondamentaux

NiFi : concepts

NiFi Dataflow

NiFi : concepts avancés

NiFi Registry
Les attributs de Flowfile
NiFi Expression Language
- Syntaxe
- Structures propriétés
- Configuration
L'optimisation des flux de données
L'architecture NiFi
Management du cluster Edge
MiNiFi
Monitoring et rapports
NiFi, sécurité
- Security configuration
- User authentication
- Lightweight Directory Access Protocol (LDAP)
HDF and HDP

40 % de mise en pratique : conception de flux, configuration de processeurs, déploiement d’un cluster et supervision. Les TPs se font à l’aide de NiFi en environnement Linux.