Google Serp Bot: gratter les données des résultats à l’aide d’API Easy2digital

Je crois que nous ne pouvons plus vivre sans les moteurs de recherche dans la vie et au travail. Selon les pays, Google, Yahoo, Naver, Baidu, etc. font partie du corps. Chaque médaille a deux faces : en tant que spécialistes du marketing, nous pourrions souffrir d'une utilisation excessive des moteurs de recherche pour rechercher des informations sur le marché et sur les concurrents. Nous avons le vertige en regardant l'écran devant l'ordinateur portable pendant une longue journée de travail.

Dans ce chapitre, je parlerais de la façon de récupérer toutes les informations des résultats de recherche à l'aide de Python, Pandas, de l'API de recherche personnalisée de Google et du CSE (moteur de recherche personnalisé). À la fin de ce didacticiel Python, il vous suffit d'ajouter des mots-clés. Ensuite, vous pouvez trouver des éditeurs potentiels, des blogueurs, des concurrents et du contenu populaire, télécharger les images, etc. En outre, vous pouvez stocker les informations avec le titre, l'URL de destination, etc. dans un fichier CSV local.

Table des matières : Google SERP Bot pour récupérer les données SERP à l'aide de la recherche Google et des API Easy2Digital

• API de recherche personnalisée Google
• Moteur de recherche personnalisé
• Créez l'objet de service et utilisez la fonction CSE
• Fonction de boucle For, fonction de liste et arguments
• Limitation de l'API Google personnalisée gratuite
• API Easy2Digital – Grattoir Google SERP
• Script Python complet de Google SERP Scraper
• FAQ
• GOOGLE Dernière recommandation de point de terminaison d'API tendance

Bot Google SERP – API de recherche Google

L'API du moteur de recherche personnalisé de Google est une API RESTful qui permet aux développeurs d'obtenir des données de résultats de recherche Web ou d'images au format JSON ou Atom. Avec l'API, les développeurs peuvent ajouter des fonctionnalités de recherche sur le Web et de recherche de site à leur site Web, leur blog ou leur collection de sites Web. En outre, l'API permet aux spécialistes du marketing de récupérer les informations sur les résultats d'une requête de mot clé et de les stocker dans un fichier CSV. Cela facilite la recherche de partenaires, tels que des blogueurs, des éditeurs et des concurrents.

Comme mentionné précédemment dans l'article sur l'API Youtube, nous pouvons rechercher l'API Google dans la bibliothèque de la console API Google et l'installer dans le projet. Si vous souhaitez en savoir plus sur la création d'un projet API Google, veuillez vous référer à l'autre article ici :

Chapitre 5 – Créer un robot Youtube pour récupérer les vidéos tendances à l'aide des API Youtube et Easy2Digital

Après avoir installé l'API de recherche personnalisée, vous pouvez la trouver dans les informations d'identification. Et veuillez copier la clé API dans le presse-papiers, qui sera utilisée dans le script python.

Google SERP Bot – Moteur de recherche personnalisé

CSE est l'abréviation de moteur de recherche personnalisé, ou également appelé moteur de recherche programmable. Fondamentalement, il vous permet d'inclure un moteur de recherche sur votre site Web pour aider vos visiteurs à trouver les informations qu'ils recherchent. Le moteur de recherche programmable étant basé sur la technologie de recherche de base de Google, vous pouvez être sûr que vos utilisateurs obtiennent des résultats pertinents et de haute qualité. Si vous diffusez des annonces du réseau AdSense sur votre site Web, vous devez être familier avec CSE, car les annonces de la barre de recherche proviennent également de CSE.

Pour extraire les résultats de recherche via Python, les données proviennent essentiellement de l'API CSE et nous aurions besoin de l'ID. L'indexation SERP du CSE et de Google.com est la même, à l'exception de certains formats d'extraits de résultats et les classements en temps réel peuvent être différents.

Créez l'objet de service et utilisez la fonction CSE

Comme nous le faisons dans l'article Youtube, nous importons build() la fonction depuis le client API Google. Découverte. Et nous importons également des pandas pour ajouter les données et les stocker dans un fichier local.

Nous connectons la clé API de recherche personnalisée et créons la fonction de construction. Il y a deux choses auxquelles nous devons prêter attention ici. Tout d’abord, nous devons suivre les paramètres de la fonction de construction et intégrer la valeur de recherche personnalisée. Deuxièmement, comme nous appellerions les données de l'API CSE, nous devons donc ajouter la fonction CSE() dans cet objet.

Fonction de boucle For, fonction de liste et arguments

Nous devons créer une boucle car chaque SERP contient 10 informations, nous ajouterions donc un code de boucle pour récupérer les autres informations de pagination.

Dans la syntaxe et les arguments JSON de l'API de recherche personnalisée, nous devons répertorier les fonctions et au moins utiliser les arguments q, cx et start si nous souhaitons récupérer des données SERP. Nous devons brancher l'identifiant unique du projet CSE dans CX. Au final, exécuter() est nécessaire pour activer la fonction.

Si vous essayez de print(result) , vous pouvez voir l'ensemble de données SERP au format JSON. L'extrait et le nom sont presque les mêmes que ceux de l'ensemble de données YouTube JSON. Vous pouvez sélectionner l'ensemble de données que vous souhaitez récupérer en fonction de l'ensemble de données JSON donné.

Pour la configuration de la pagination et le filtre d'ensemble de données à appeler, vous pouvez vous référer à l'autre article ici :

Limitation de l'API Google personnalisée gratuite

L'API de recherche personnalisée Google limite actuellement les recherches à 100 résultats par requête et à 100 requêtes gratuites par jour. Il n'y a pas de limite de requêtes quotidiennes si vous activez la facturation sur votre compte (Google facturera 5 $ pour 1 000 requêtes supplémentaires par jour).

API Easy2Digital – Scraper de produits Shopify

Si vous trouvez que le script peut être compliqué et nécessite également que vous mettiez à jour les scripts et corrigiez les bogues de temps en temps, vous pouvez tirer parti de l'API de grattage Easy2Digital Google SERP. Voici le point de terminaison du jeton comme suit :

https://www.buyfromlo.com?token=&=&googleKey=&keyword=&totalPage=

En utilisant ce point de terminaison d'API, il vous suffit de ajoutez le jeton Easy2Digital, la clé de recherche Google, ainsi que le mot-clé spécifique et le nombre total de pages SEPR que vous souhaitez récupérer . Le résultat gratté est le même que celui présenté ci-dessus.

Pour plus de détails sur les API marketing, veuillez consulter cette page.

Jeton gratuit Easy2Digital et script Python complet de Google SERP Scraper

Si vous souhaitez disposer d'un jeton API Easy2Digital gratuit et de la version complète du script Python du scraper Google SERP, veuillez vous abonner à notre newsletter en ajoutant le message Python Tutorial 11 . Nous vous enverrons le script immédiatement dans votre boîte aux lettres.

Contactez-nous

Tellement facile, non ? J'espère que vous apprécierez la lecture du chapitre 11 : Google SERP Bot pour récupérer les données SERP à l'aide de la recherche Google et des API Easy2Digital. Si c'est le cas, veuillez nous soutenir en effectuant l'une des choses répertoriées ci-dessous, car cela aide toujours notre chaîne.

• Soutenez et faites un don à notre chaîne via PayPal ( paypal.me/Easy2digital )
• Abonnez-vous à ma chaîne et activez la cloche de notification. Chaîne Youtube Easy2Digital .
• Suivez et aimez ma page Page Facebook Easy2Digital
• Partagez l'article sur vos réseaux sociaux avec le hashtag #easy2digital
• Achetez des produits avec le code de réduction Easy2Digital 10 % ( Easy2DigitalNewBuyers2021)
• Vous vous inscrivez à notre newsletter hebdomadaire pour recevoir les derniers articles, vidéos et codes de réduction d'Easy2Digital
• Abonnez-vous à notre abonnement mensuel via Patreon pour profiter d'avantages exclusifs ( www.patreon.com/louisludigital )