Tuto R : Utiliser l’API de Google Search Console

Créer ses propres outils et automatiser ses actions est un Graal pour beaucoup de SEO. Pour y arriver, il est nécessaire de maîtriser quelques « briques » de base et la récupération des données via une API est un de ces fondamentaux.

Comme vous le savez, j’utilise le langage R et je fais aujourd’hui la plupart de mes actions SEO grâce à ce langage qui me fait gagner un temps considérable. Si vous découvrez le langage R, je vous invite à lire mon article sur les usages du langage R pour le SEO et pour une initiation complète à la data science, à vous inscrire à la prochaine formation Labs on Mars « Data Science SEO ».

Dans ce tutoriel, vous verrez comment se connecter à l’API Search Console de Google en utilisant le langage R et deux exemples de scripts de récupération des données grâce à l’API.

Se connecter à l’API de Google Search Console

Si vous n’avez jamais utilisé d’API ou si vous connaissez peu la Search Console de Google, vous vous posez peut-être une question :

Commençons tout de suite par un pré-requis à l’utilisation de l’API.

1. Créer un projet dans l’API de Google

1. 1. Pour pouvoir utiliser la Search Console de Google via l’API, connectez-vous à la page suivante grâce à vos identifiants Gmail, puis créez votre projet : https://console.developers.google.com/projectcreate.
      Une fois le projet créé, vous serez redirigé vers la page Dashboard de votre projet.
   2. Cliquez sur le bouton « → Accéder à l’aperçu des API » (lien sous la tuile API). La page « Tableau de bord » s’ouvre.
   3. Cliquez sur « + ACTIVER LES API ET LES SERVICES » Une nouvelle page s’ouvre.
   4. Cherchez « Google Search Console API » dans le moteur de recherche puis cliquez sur la tuile correspondante.
   5. Cliquez maintenant sur le bouton bleu ACTIVER.
      L’API est maintenant en cours d’activation, l’opération peut prendre plusieurs secondes. Une fois l’activation terminée, la page de dashboard de la Google Search Console API s’ouvre.

À ce stade, vous êtes bien avancé mais ne pouvez pas encore utiliser l’API. Un peu de patience, nous avons bientôt terminé. Passons à l’étape suivante.

2. Créer vos identifiants

1. Cliquez sur le lien « Identifiants » dans le menu de gauche
   
   Une nouvelle page s’ouvre.
2. Cliquez maintenant sur Créer des identifiants, puis sélectionnez « ID client OAuth »
   
   La page Créer un ID client s’ouvre.
3. Cliquez sur le bouton bleu « Configurer l’écran d’autorisation »
   
4. Dans l’onglet « Ecran d’autorisation OAuth », remplissez les champs « Adresse e-mail » et « Nom de produit affiché pour les utilisateurs » par le nom de votre choix. Notez que vous pouvez écrire ce que vous voulez ici, il peut s’agir d’un nom totalement fictif.
   
5. Cliquez sur Enregistrer. Une nouvelle page s’ouvre pour vous demander le type d’application. Sélectionnez « Autre », donnez là aussi le nom que vous souhaitez (par exemple « ScriptR ») puis cliquez sur le bouton bleu Créer.
   Quelques secondes plus tard une pop-up apparait : vos identifiants de connexion à l’API de Google sont créés ! Ils vous serviront dans votre script R. Pensez à les sauvegarder quelque part (KeePass, note, …).

Exemple d’utilisation de l’API Search Console avec le package R searchConsoleR

Nous allons maintenant récupérer des données de l’API de Search Console.
Je vous vois déjà faire des triples saltos arrière dans vos sièges : vous aussi, vous allez faire partie de ces gens qui « tapent dans une API » !

Vous aurez donc besoin de R et R Studio. Veuillez suivre promptement mon tuto d’installation si vous ne les avez pas encore.

Commencez par copier-coller le script suivant dans un nouveau script sur R Studio (New File > R Script), puis remplacez https://xxxxxxxxxxxxxxxxx.com par le nom du site web dont vous voulez récupérer les données (attention aux « / », « www » ou « s » dans https car le nom doit être exactement le même que dans la Search Console). Remplacez ensuite les yyyyyyyy et zzzzzz par vos identifiants d’API Google créés précédemment.

install.packages("searchConsoleR")
install.packages("googleAuthR")

library(searchConsoleR)
library(googleAuthR)

#Setting your data
website <- "https://xxxxxxxxxxxxxxxxx.com" # <-- Enter your website here
nbrow <- 10000  #Number of rows you will collect from Search Console

options("googleAuthR.scopes.selected" = 
          c("https://www.googleapis.com/auth/webmasters",
            "https://www.googleapis.com/auth/webmasters.readonly"))

options("googleAuthR.client_id" = "yyyyyyyyyyyyyyyyyyyyyyy")
options("googleAuthR.client_secret" = "zzzzzzzzzzzzzzzzzzzzzz")

googleAuthR::gar_auth()

Une fois les éléments remplacés, exécutez le script.

Concrètement, vous venez d’installer et de charger le package R « searchConsoleR » (créé par Mark Edmondson, illustre spécialiste des packages R pour utiliser les applications de Google).

Une nouvelle page de votre navigateur s’ouvre, vous demandant de copier un code et de l’ajouter dans la console de R Studio.

Voici votre premier ticket pour votre voyage en terre du Data SEO et pouvez maintenant « requêter » en toute décontraction l’API de la Search Console, paisible, à la fraiche.

C’est parti pour la première requête : récupérer l’ensemble des sites web que vous avez dans la Search Console. Nous utilisons ici la fonction list_websites() du package searchConsoleR, et grâce à un print(), nous affichons le résultat de la requête dans la console de R Studio.

#REQUEST 1. Getting all websites you have in Search Console
websites <- list_websites()
print(websites)

Bravo, c’est un excellent début ! Vous avez maintenant accès à l’ensemble des sites ainsi que votre niveau de permission pour chacun d’entre eux.

La seconde requête « va vous étonner » !

Nous allons ici utiliser la fonction search_analytics() issue elle aussi du package searchConsoleR. On s’en sert ici pour récupérer l’intégralité des mots-clés sur lesquels se positionne notre site, et cela par URL. Pour chaque ligne de notre tableau, nous récupérerons les clics, impressions, CTR et position : une excellente base pour de nombreuses analyses.

#REQUEST 2. Query search traffic keyword data

start <- Sys.Date() - 93    #Start of analysis period (D-93)
end <- Sys.Date() - 3    #End of analysis period (D-3)
download_dimensions <- c('query', 'page')    #Dimensions to dowload: data, query, page, device, country
type <- c('web')    #Search type: 'web', 'video', 'image'

mydataset <- search_analytics(siteURL = website
                              ,startDate = start
                              ,endDate = end
                              ,dimensions = download_dimensions
                              ,searchType = type
                              ,rowLimit = nbrow
                              #,dimensionFilterExp = dimensions_filtres
                              ,walk_data = "byBatch")

Il existe une multitude de requêtes que vous pouvez faire à la Search Console, n’hésitez pas à en tester d’autres en modifiant les paramètres. Vous pouvez par exemple remplacer le type ‘web’ par ‘image’ ou encore changer les paramètres du download_dimensions pour récupérer d’autres informations.

Pour voir l’intégralité des possibilités offertes par le package searchConsoleR, consultez l’aide en tapant ??searchConsoleR dans la console de R Studio.

À vous de jouer !

Merci à Guillaume Bot pour avoir beta-testé le tuto 😉

Bonus : Connexion via JSON : Notez qu’il existe une autre façon de se connecter à l’API de Search Console en mode « serveur à serveur ». Cela est par exemple très utile dans le cas du développement d’une application. Pour cela il faut recourir à l’utilisation d’un fichier JSON. Je vous invite à garder ce tuto sous le coude.