INTÉGRATION BRIGHTDATA n8n : AUTOMATISER BRIGHTDATA AVEC N8N

Cette action utilise le Web Unlocker de BrightData pour accéder à des pages web protégées et en extraire le contenu brut. Le Web Unlocker gère automatiquement les proxies, les rotations d'IP et le contournement des protections anti-bot, vous permettant d'accéder à pratiquement n'importe quelle page web.

Paramètres clés : Zone : Spécifie la zone BrightData à utiliser (ex: "web_unlocker1"). Ce paramètre texte est requis et correspond à votre configuration dans le dashboard BrightData. Country : Code pays depuis lequel la requête sera émise (ex: "us", "fr"). Champ texte requis pour géolocaliser vos requêtes. Method : Méthode HTTP à utiliser, par défaut "GET". Requis. URL : L'URL cible à scraper. Champ texte requis. Format : Format de la réponse, typiquement "Raw" pour obtenir le HTML brut. Requis.

Cas d'usage typiques : Accéder à des pages e-commerce protégées par Cloudflare, récupérer le contenu de pages avec des protections anti-bot avancées, collecter des données depuis des sites qui bloquent les requêtes classiques.

Cette action récupère la liste des snapshots disponibles depuis vos Web Scrapers BrightData, avec possibilité de pagination et de filtrage par date. Idéale pour inventorier vos collectes de données avant traitement.

Paramètres clés : Dataset : Sélection du dataset source via menu déroulant. Requis. Skip : Nombre d'éléments à ignorer pour la pagination. Valeur numérique, par défaut 0. Optionnel. Limit : Nombre maximum de résultats à retourner, par défaut 50. Optionnel. From Date : Date de début pour filtrer les snapshots. Accepte des expressions dynamiques. Optionnel.

Cas d'usage typiques : Lister tous les snapshots d'une campagne de scraping, paginer à travers un grand nombre de résultats, filtrer les snapshots par période pour analyse temporelle.

Cette action déclenche une extraction batch sur une liste d'URLs via le Web Scraper BrightData. Parfaite pour lancer des collectes massives de données sur des centaines ou milliers de pages simultanément.

Paramètres clés : Dataset : Dataset cible pour l'extraction. Menu déroulant requis. URLs : Liste d'URLs au format JSON à scraper. Champ texte requis. Endpoint : Endpoint de destination pour les requêtes. Requis. Notify : Endpoint de notification pour suivre la progression. Requis.

Cas d'usage typiques : Lancer une extraction quotidienne de prix sur des centaines de produits, collecter des fiches entreprises en masse depuis LinkedIn via n8n, scraper une liste de pages produits pour analyse concurrentielle.

Cette action permet de scraper des URLs spécifiques et d'obtenir des données structurées directement exploitables. BrightData parse automatiquement le contenu selon le type de dataset sélectionné.

Paramètres clés : Dataset : Type de données à extraire (produits Amazon, profils LinkedIn, etc.). Requis. URLs : Liste d'URLs au format JSON. Champ texte requis. Include Errors : Interrupteur on/off pour inclure les erreurs dans la sortie. Optionnel. Format : Format de sortie, typiquement "JSON". Requis.

Cas d'usage typiques : Extraire les détails de produits Amazon (prix, avis, stock), récupérer des profils LinkedIn structurés, collecter des données immobilières formatées.

Cette action télécharge le contenu d'un snapshot spécifique depuis vos Web Scrapers. Elle permet de récupérer les données collectées par batch, avec contrôle sur la taille et le format.

Paramètres clés : Batch Size : Nombre d'enregistrements par requête. Valeur numérique requise. Part : Numéro de la partie à télécharger (pour les gros snapshots). Entier requis. Snapshot ID : Identifiant unique du snapshot. Champ texte requis. Format : Format de téléchargement (JSON, CSV). Menu déroulant requis. Compress : Option pour compresser les données. Interrupteur optionnel.

Cas d'usage typiques : Télécharger les résultats d'une extraction batch, récupérer des données par morceaux pour traitement progressif, exporter des snapshots vers d'autres systèmes.

Cette action permet de monitorer la progression d'un snapshot en cours d'exécution. Essentielle pour les workflows qui doivent attendre la fin d'une extraction avant de continuer.

Paramètres clés : Resource : Type de ressource, fixé sur "Web Scraper". Requis. Operation : Opération "Monitor Progress Snapshot". Requis. Snapshot ID : Identifiant du snapshot à surveiller. Champ texte optionnel.

Cas d'usage typiques : Vérifier si une extraction batch est terminée avant traitement, implémenter une boucle d'attente dans vos workflows, alerter en cas d'erreur sur une extraction longue.

Cette action récupère les métadonnées d'un snapshot spécifique depuis un Marketplace Dataset. Utile pour obtenir des informations sur la structure et la taille des données avant téléchargement.

Paramètres clés : Resource : Fixé sur "Marketplace Dataset". Requis. Operation : "Get Snapshot Metadata". Requis. Snapshot ID : Identifiant du snapshot. Champ texte optionnel.

Cas d'usage typiques : Vérifier la taille d'un snapshot avant téléchargement, obtenir la structure des données disponibles, valider qu'un snapshot contient les champs attendus.

Cette action livre un snapshot directement vers un stockage externe comme Amazon S3 avec n8n. Elle automatise l'export de vos données collectées vers votre infrastructure.

Paramètres clés : Snapshot ID : Identifiant du snapshot à livrer. Champ texte requis. Deliver Type : Destination (ex: "Amazon S3"). Menu déroulant requis. Filename Template : Template de nommage du fichier. Champ texte optionnel. File Extension : Format du fichier (JSON, CSV). Requis. Bucket : Nom du bucket S3. Champ texte optionnel.

Cas d'usage typiques : Archiver automatiquement les résultats de scraping sur S3, alimenter un data lake avec des données fraîches, déclencher des pipelines de transformation en aval.

Cette action liste tous les identifiants de snapshots disponibles pour un dataset du Marketplace. Pratique pour inventorier vos données avant traitement.

Paramètres clés : Resource : "Marketplace Dataset". Requis. Operation : "List Snapshots". Fixe. Dataset : Dataset source. Menu déroulant requis. View : Vue spécifique à appliquer. Champ texte optionnel. Status : Statut actuel (lecture seule).

Cas d'usage typiques : Lister les snapshots disponibles pour un dataset, identifier les dernières mises à jour de données, automatiser le traitement de nouveaux snapshots.

Cette action divise un snapshot volumineux en plusieurs parties pour faciliter le téléchargement et le traitement. Indispensable pour gérer de gros volumes de données.

Paramètres clés : Resource : "Marketplace Dataset". Requis. Operation : "Get Snapshot Parts". Requis. Snapshot ID : Identifiant du snapshot à diviser. Champ texte requis.

Cas d'usage typiques : Préparer le téléchargement d'un gros snapshot, paralléliser le traitement de données volumineuses, gérer les limites de mémoire en découpant les données.

Cette action liste tous les datasets disponibles sur le Marketplace BrightData. Point de départ pour explorer les données pré-collectées accessibles.

Paramètres clés : Credential to connect with : Credentials BrightData. Menu déroulant requis. Resource : "Marketplace Dataset". Menu déroulant requis. Operation : "List Datasets". Fixe et requis.

Cas d'usage typiques : Explorer les datasets disponibles sur le Marketplace, automatiser la découverte de nouvelles sources de données, vérifier la disponibilité d'un dataset spécifique.

Cette action (variante Marketplace) livre un snapshot du Marketplace vers Amazon S3 avec configuration complète des credentials AWS.

Paramètres clés : Snapshot ID : ID du snapshot à livrer. Requis. Deliver Type : "Amazon S3". Requis. File Extension : Format (JSON, etc.). Requis. Bucket : Nom du bucket S3. Requis. AWS Access Key : Clé d'accès AWS. Requis. AWS Secret Key : Clé secrète AWS. Requis.

Cas d'usage typiques : Exporter des données Marketplace vers votre infrastructure AWS, automatiser l'alimentation d'un data warehouse, créer des backups réguliers de données achetées.

Cette action permet de filtrer un dataset du Marketplace selon des critères spécifiques avant récupération. Évite de télécharger des données inutiles.

Paramètres clés : Dataset : Dataset à filtrer. Menu déroulant requis. Records Limit : Nombre max d'enregistrements. Valeur numérique requise. Filter Type : Type de filtre (ex: "Single Filter"). Requis. Field Name : Champ sur lequel filtrer. Champ texte requis. Operator : Opérateur de comparaison (ex: "Equals"). Requis. Field Value : Valeur à matcher. Champ texte requis.

Cas d'usage typiques : Filtrer des entreprises par pays ou secteur, récupérer uniquement les produits d'une catégorie, cibler des profils correspondant à des critères précis.

Cette action récupère les métadonnées d'un dataset complet du Marketplace (structure, champs disponibles, volume).

Paramètres clés : Resource : "Marketplace Dataset". Requis. Operation : "Get Dataset Metadata". Requis. Dataset : Dataset cible. Menu déroulant avec suggestion texte, requis.

Cas d'usage typiques : Analyser la structure d'un dataset avant achat, vérifier les champs disponibles pour mapping, documenter les sources de données utilisées.

Cette action récupère le contenu complet d'un snapshot du Marketplace, avec contrôle sur le format et la pagination.

Paramètres clés : Snapshot ID : Identifiant du snapshot. Champ texte requis. Compress : Compression de la sortie. Interrupteur optionnel. Batch Size : Taille des lots. Valeur numérique requise. Part : Partie à récupérer (pagination). Valeur numérique requise. Format : Format de sortie (JSON recommandé). Requis.

Cas d'usage typiques : Télécharger des données Marketplace par morceaux, alimenter une base de données avec des données fraîches, traiter de gros volumes de données progressivement.