Comment utiliser UNION ALL BY NAME pour simplifier vos requêtes BigQuery SQL ?

UNION ALL BY NAME dans BigQuery supprime la contrainte d’ordre des colonnes lors des unions, alignant les données par nom et non par position, ce qui évite erreurs et complexifie la maintenance. Cette fonction améliore clairement la robustesse des requêtes SQL.

3 principaux points à retenir.

UNION ALL BY NAME permet d’unir des résultats SQL sans se soucier de l’ordre des colonnes.
Les colonnes sont associées par leur nom, réduisant les risques d’erreurs de type ou de mélange lors de la fusion de jeux de données.
Facilite l’écriture, la lecture et la maintenance des scripts SQL complexes dans BigQuery, notamment sur des datasets avec colonnes multiples ou variables.

Qu’est-ce que UNION ALL BY NAME en BigQuery et pourquoi c’est un game changer ?

Quand on parle d’union en SQL, on fait référence à cette opération classique qui permet de combiner les résultats de deux ou plusieurs requêtes. Le problème avec la méthode classique, c’est qu’elle impose que les colonnes soient dans le même ordre et qu’elles aient des types compatibles. On peut facilement tomber dans le piège des erreurs de correspondance, ce qui complique la maintenance des requêtes sur des tables ou des vues multiples.

Et c’est là qu’intervient UNION ALL BY NAME dans BigQuery. Cette fonctionnalité brise la contrainte classique en permettant de fusionner les ensembles de résultats en associant les colonnes par leur nom plutôt que par leur position. Cela signifie que, même si les colonnes apparaissent dans des ordres différents ou si les types varient (par exemple, un champ texte vs un champ numérique), tant que les noms correspondent, l’union peut se faire. C’est un véritable gain de temps et une simplification des requêtes.

Imaginons que vous ayez deux tables, TableA et TableB. Si elles contiennent des colonnes identiques mais dans une séquence différente, avec UNION ALL, vous auriez à réorganiser chaque colonne pour garantir que tout soit aligné. Ceci est non seulement fastidieux, mais également sujet à des erreurs humaines. En revanche, avec UNION ALL BY NAME, vous pouvez tout simplement les combiner sans stress.

Non seulement cette approche réduit les risques d’erreurs, mais elle améliore aussi la lisibilité et la robustesse de vos requêtes. En termes de productivité pour les data engineers, c’est un changement de jeu. Moins de temps passé à ajuster les colonnes signifie plus de temps pour se concentrer sur des analyses et des insights de valeur. En somme, UNION ALL BY NAME est un atout non négligeable pour quiconque travaille avec BigQuery, repoussant les limites de ce que vous pouvez faire avec vos données.

Comment écrire des requêtes SQL efficaces en utilisant UNION ALL BY NAME dans BigQuery ?

Pour illustrer l’utilisation de UNION ALL classique, prenons un exemple simple :


SELECT name, age FROM table1
UNION ALL
SELECT age, name FROM table2;

Ce code va générer une erreur. Pourquoi ? Parce que l’ordre des colonnes dans chaque requête ne correspond pas. Une promesse d’union qui tombe à l’eau.

Pour corriger cela, utilisons UNION ALL BY NAME :


SELECT name, age FROM table1
UNION ALL BY NAME
SELECT name, age FROM table2;

Cette version fonctionne parfaitement, même si l’ordre des colonnes était initialement différent. La magie ici, c’est que BigQuery se base sur les noms des colonnes pour créer l’union, rendant la vie bien plus simple.

Passons à un deuxième exemple, cette fois avec des colonnes manquantes :


SELECT name, age FROM table1
UNION ALL BY NAME
SELECT name FROM table2;  -- La colonne 'age' manquante ici

Cette requête ne fonctionnera pas non plus, car la colonne age étant absente dans la deuxième requête, BigQuery ne sait pas comment gérer cela. Il faut toujours s’assurer que toutes les colonnes soient présentes ou bien gérer les absences.

Voici donc un tableau synthétique des règles d’association des colonnes par nom :

Condition	Résultat
Tous les noms de colonnes sont présents	Union réussie
Une ou plusieurs colonnes manquantes	Erreur
Noms de colonnes correspondant mais ordre différent	Union réussie

Exemple de requête complète commentée :


SELECT name, age FROM table1  -- Sélection des colonnes 'name' et 'age'
UNION ALL BY NAME
SELECT name, age FROM table2;  -- Union des résultats par nom

Conseils pratiques : pour optimiser la lecture des requêtes, évitez les noms de colonnes similaires qui pourraient prêter à confusion. Gardez une convention de nommage claire et uniforme à travers vos tables. Une meilleure lisibilité augmente la maintenabilité.

Vous voulez aller plus loin ? Découvrez des exemples supplémentaires dans cet article sur BigQuery.

Quelles sont les limites et précautions à connaître avec UNION ALL BY NAME ?

Utiliser UNION ALL BY NAME dans BigQuery peut sembler séduisant, mais il ne faut pas croire que cela élimine tous les problèmes potentiels. Premièrement, l’opération ne garantit pas une fusion sans friction. Quelles sont les limites auxquelles vous devez réfléchir ? Voici les points essentiels.

Types de colonnes incompatibles : Si vous essayez de combiner des colonnes avec des types de données différents (par exemple, une colonne de type STRING et une de type INTEGER), BigQuery va lever une erreur. Par conséquent, harmonisez vos types avant la fusion.
Colonnes absentes : Si l’une de vos requêtes n’inclut pas une colonne que les autres ont, BigQuery prépare un résultat avec cette colonne à NULL, ce qui peut conduire à des interprétations erronées de vos données. Assurez-vous que toutes vos requêtes en incluent les mêmes colonnes.
Volume de données : Les gros volumes peuvent avoir un impact considérable sur la performance. BigQuery est conçu pour traiter des volumes massifs, mais cela vient avec un coût. Surveillez les quotas pour éviter des frais imprévus.

BigQuery gère intelligemment ces cas, mais cela ne vous dispense pas d’être vigilant. Par exemple, si des colonnes sont manquantes dans les résultats, vérifiez vos requêtes pour éviter des pertes d’informations. En cas de types incompatibles, utilisez des fonctions de conversion de type (comme CAST ou SAFE_CAST) pour normaliser vos données avant l’union.

Comparons cela à UNION classique et UNION DISTINCT. Contrairement à UNION, UNION ALL ne supprime pas les doublons, ce qui est pratique, mais restez conscient que cela peut alourdir vos résultats. Dans certains cas, UNION DISTINCT pourrait être la meilleure option si vous cherchez à éviter les répétitions tout en maintenant l’intégrité des données.

En résumé, pour exploiter au mieux UNION ALL BY NAME, suivez ces bonnes pratiques : normalisez les noms et types des colonnes, et testez vos requêtes étape par étape pour éviter les pièges habituels. Besoin d’un rappel rapide ? Consultez cet article pour enrichir vos connaissances.

Comment UNION ALL BY NAME facilite-t-il l’intégration des données Google Analytics dans BigQuery ?

Quand on parle de Google Analytics, il est difficile d’ignorer les changements fréquents dans le schéma des données. Les colonnes peuvent disparaître, apparaître, ou changer d’ordre. Cela devient vite un véritable casse-tête lorsqu’il s’agit de fusionner les données dans BigQuery. C’est là qu’intervient la fonction UNION ALL BY NAME.

Cette méthode permet de fonder une union sur les noms de colonnes plutôt que sur leur position. Imaginez que vous ayez plusieurs fichiers exportés de Google Analytics, avec des colonnes de données qui évoluent au fil des mois. Vous pouvez vous retrouver avec des colonnes pour les pages vues, mais parfois, certaines sont renommées ou réorganisées. Grâce à UNION ALL BY NAME, vous pouvez créer une requête qui accepte ces modifications sans avoir à écrire une nouvelle requête chaque fois que le schéma change. Pratique, non ?

Considérons un cas concret : Vous reposez sur des exports mensuels de Google Analytics dans BigQuery. Supposons que vous ayez deux ensembles de données avec uniquement quelques différences dans les colonnes. Pas de panique. Vous pouvez écrire une requête comme celle-ci :


SELECT * FROM (
  SELECT page_views AS views, date FROM `project.dataset.jan_data`
  UNION ALL BY NAME
  SELECT page_views AS views, event_date AS date FROM `project.dataset.feb_data`
)

Dans cet exemple, la requête fusionne les vues de page de janvier et février en utilisant les noms de colonnes pour définir l’union. Cela simplifie considérablement le processus d’intégration des données. Vous n’avez pas à vous soucier de la manière dont les colonnes sont réorganisées dans les différents exports. Vous rédigez une fois, et cela fonctionne pour toutes les variations.

C’est un gain de temps colossal pour les data analysts et les data engineers, surtout lorsqu’il s’agit d’assurer l’intégrité des analyses sur des datasets massifs. En évitant d’éventuelles erreurs lors d’une réécriture systématique des requêtes, vous vous concentrez sur l’analyse, plutôt que sur la correction de bugs liés à des colonnes mal alignées.

En somme, UNION ALL BY NAME est un outil indispensable pour quiconque travaille avec des données variées et en évolution, rendant l’intégration fluide et moins sujette à des erreurs inutiles. Pour explorer plus de cas d’utilisation, vous pouvez consulter cette ressource.

Alors, prêt à booster vos requêtes SQL avec UNION ALL BY NAME ?

UNION ALL BY NAME révolutionne le jeu des unions dans BigQuery en supprimant la contrainte d’ordre des colonnes et en associant les résultats par nom, ce qui simplifie drastiquement la vie des développeurs SQL et des data analysts. Fini les erreurs de type ou les ajustements constants de colonnes. Cette fonction améliore aussi la maintenabilité et l’adaptabilité des scripts, notamment dans des environnements complexes comme l’intégration des données Google Analytics. Malgré ses limites à connaître, c’est un outil incontournable pour qui veut écrire des requêtes plus robustes, fiables et évolutives dans BigQuery.

FAQ

Qu’est-ce qui différencie UNION ALL BY NAME d’un UNION ALL classique ?

UNION ALL classique associe les colonnes selon leur ordre, ce qui impose un alignement strict des colonnes. UNION ALL BY NAME les associe selon le nom des colonnes, rendant l’ordre sans importance et réduisant les erreurs.

Est-ce que les colonnes doivent avoir le même type pour utiliser UNION ALL BY NAME ?

Oui, pour que l’union fonctionne correctement, les colonnes avec même nom doivent avoir des types compatibles, sinon BigQuery renverra une erreur.

Que se passe-t-il si une colonne est absente dans une des requêtes avec UNION ALL BY NAME ?

BigQuery insère NULL dans les colonnes absentes d’une requête, ce qui garantit la compatibilité des résultats mais peut influencer l’analyse selon le contexte.

Cette fonction est-elle disponible dans tous les environnements SQL ?

Non, UNION ALL BY NAME est une spécificité récente de BigQuery. D’autres systèmes SQL classiques ne la supportent pas encore ou ont des alternatives différentes.

Comment UNION ALL BY NAME améliore-t-il l’intégration des données Google Analytics ?

Google Analytics génère souvent des exports de données avec des schémas variables. UNION ALL BY NAME permet de fusionner ces données efficacement sans devoir réadapter les colonnes, simplifiant l’analyse et le reporting.

Franck Scandolera

⭐ Analytics engineer, Data Analyst et Automatisation IA indépendant ⭐

Ref clients : Logis Hôtel, Yelloh Village, BazarChic, Fédération Football Français, Texdecor…

Mon terrain de jeu :

Data Analyst & Analytics engineering : tracking avancé (GTM server, e-commerce, CAPI, RGPD), entrepôt de données (BigQuery, Snowflake, PostgreSQL, ClickHouse), modèles (Airflow, dbt, Dataform), dashboards décisionnels (Looker, Power BI, Metabase, SQL, Python).
Automatisation IA des taches Data, Marketing, RH, compta etc : conception de workflows intelligents robustes (n8n, App Script, scraping) connectés aux API de vos outils et LLM (OpenAI, Mistral, Claude…).
Engineering IA pour créer des applications et agent IA sur mesure : intégration de LLM (OpenAI, Mistral…), RAG, assistants métier, génération de documents complexes, APIs, backends Node.js/Python.