Gratteur de produits Amazon en utilisant Selenium, BeautifulSoup et Easy2Digital APIs
Dans ce chapitre, je vais partager avec vous comment créer un gratteur de produits Amazon et enregistrer les données récupérées sur Google Sheets
Amazon product information in the search result has great value for you to understand 2 things. They are the sales performance of a product and the customer review on this product and merchant. Then, it can extend to a much wider application, such as the price tracker, and P&L market value.
Dans ce chapitre, je partagerais avec vous comment créer un grattoir de produit Amazon et enregistrer les données récupérées sur Google Sheets. À la fin de ce chapitre, vous pouvez apprendre à installer le module gspread et où trouver les éléments de données dans le HTML.
Table des matières: grattere de produit Amazon utilisant le sélénium, la belle et les API Easy2digital
- Importer du sélénium, module BeautifulSoup
- Créer un prototype de grattoir de recherche de produit
- Gratter plusieurs pages du résultat de la recherche
- Enregistrer l’ensemble de données récupéré sur Google Sheets
- Amazon Product Scraper Full Python Script
- FAQ
- Amazon Dernière recommandation de point de terminaison de l’API à tendance Amazon
Amazon Product Scraper – Import Selenium, BeautifulSoup, and gspread Module
Cela ne vous permet pas de visiter le site Web en utilisant BeautifulSoup dans un script Python. Cela reviendrait à la suite de «Désolé, quelque chose de mal». Au lieu de cela, vous pouvez récupérer en douceur les données du produit comme vous aimez l’utilisation du sélénium. L’importation de ces deux modules est le même processus que les scripts précédemment que j’ai fait pour d’autres robots
De plus, ce script n’est pas seulement pour récupérer et enregistrer les informations sur les produits dans une feuille. Il vise également à actualiser automatiquement les données dans un calendrier et à suivre les informations marketing des concurrents et les prix des produits. Pour le tracker de prix, je publierais un autre article. Pour cette raison, je recommanderais d’utiliser Google Sheet API et de gérer les données sur la feuille Google. Ici, je recommande d’utiliser GSPread, car cela rend les choses plus simples.
Pour créer l’API Google Sheet et la configuration du compte de service, vous pouvez vous référer à l’autre article. J’ai déjà publié un article. Pour plus de détails, veuillez consulter cet article.
Je dirais que l’API Easy2digital Google Sheets est beaucoup plus facile à connecter avec Google API et à gérer les données récupérées. Tout d’abord, vous devez demander un jeton API Easy2digital gratuit
Ensuite, vous copiez le nom de la clé JSON que vous avez téléchargée à partir de votre nouveau compte Google API Service et collez-le dans le script connecté avec API Easy2digital GooglejsonParameter.
Pour plus de détails, veuillez consulter la documentation de l’API
Scraper du produit Amazon – Créez un prototype de grattoir de recherche de produit
Vous pouvez rechercher les informations de tout produit à l’aide de requêtes de recherche. Fondamentalement, ci-dessous est le prototype du grattoir du produit Amazon, quel que soit le produit que vous recherchez. Ou partout où vous parcourez le marché d’Amazon.
1. Structure d’URL de requête de recherche Amazon
Vous pourriez constater qu’il y a deux paramètres dans l’URL contrôlant le SERP. L’un est le K suivi du mot-clé. L’autre est la page suivie avec le numéro de page.
https://www.amazon.com/s?k=ring+camera&page=2
Vous pouvez donc créer deux variables pour l’utilisation plus tard. L’un représente le mot-clé que vous recherchez. L’un est pour la boucle et la récupération dynamique et la récupération de plus de pages
query = "ring+camera"
page = "&page="
2. Trouvez le bloc d’informations du produit dans le SERP
Vous pouvez cliquer avec le bouton droit sur n’importe quel titre de produit et utiliser la fonction Inspecter. Vous pouvez voir quels éléments peuvent trouver l’ensemble du bloc d’informations sur le produit. Le bloc comprend toutes les informations de base du produit que vous visez à récupérer. Par exemple, ce sont des asin, des prix, du titre, de l’URL, du nombre de révisions, etc. C’est similaire au grattage Web que j’ai partagé précédemment.
Comme vous pouvez le voir, toutes les informations se trouvent dans une div et une balise nommée type de composant de données. Vous pouvez donc rédiger les codes comme celui-ci. C’est pour gratter la 1ère page
driver.get("https://www.amazon.com/s?k=query
soup = BeautifulSoup(driver.page_source, 'html.parser')
results = soup.find_all('div',{'data-component-type': 's-search-result'})
3. Sélectionnez le type de données et grattez spécifiquement
ASIN is a key element you must fetch because the price tracker needs this element to connect with your current P&L calculator. I would talk about this in the other article.
Comme vous pouvez le voir, la valeur ASIN est assise dans cette balise de données. Ainsi, vous pouvez créer une variable et utiliser des ATRS pour obtenir le numéro ASIN de chaque produit
asins = item.attrs['data-asin']
Ensuite, le titre du produit est le H2 dans le HTML. Ainsi, le code Python peut être comme ça. Cependant, pour éliminer tout supprime les caractères de tête (espaces au début) et de traîne (espaces à la fin), vous pouvez utiliser Strip () après le texte
try:
title = item.h2.a.text.strip()
except Exception as e:
raise None
Le prix est un autre élément clé du tracker de prix car il est dynamique et peut changer en fonction de la promotion de votre concurrent. Ainsi, dans le grattoir du produit Amazon, ce codage peut vous aider à récupérer le prix. Cependant, pour le filtrage et le calcul de la valeur marchande plus tard, je vous recommande de supprimer le signal de devise. Il s’agit de s’assurer que les données sont dans le format de nombre dans les feuilles Google.
try:
price_parent = item.find('span','a-price')
price = price_parent.find('span','a-offscreen').text.replace('$','')
except Exception as e:
price_parent = '0'
price = '0'
Amazon Product Scraper – Scrape Multi-pages of Search Result
La 1ère page d’Amazon Serp a AVG.22 pièces de produit. Il pourrait ne pas être suffisant pour vous de comprendre les performances et les opportunités du marché d’un produit. Dans ce cas, vous devez gratter plus d’une page. Heureusement, ce n’est pas compliqué, et c’est similaire au grattoir de pagination Web que j’ai partagé auparavant.
Tout d’abord, vous devez créer une boucle sur le niveau supérieur que la boucle de données de données spécifique. Vous pouvez créer une variable X.
Ensuite, dans la gamme, vous pouvez définir le nombre de pages. Mais gardez à l’esprit que la dernière page doit être Y – 1. Par exemple, ici la dernière page est 3, donc cela signifie que la dernière page est 2.
for x in range (1,3):
driver.get("https://www.amazon.com/s?k="+query+page+str(x))
soup = BeautifulSoup(driver.page_source, 'html.parser')
results = soup.find_all('div',{'data-component-type': 's-search-result'})
for item in results:
asins = item.attrs['data-asin']
Enfin et surtout, comme vous connaissez la structure URL Amazon, nous devons mettre à jour la demande d’URL, ce qui est comme ça.
driver.get("https://www.amazon.com/s?k="+query+page+str(x))
Enregistrer les données récupérées sur les feuilles Google
Maintenant, les choses sont prêtes, et il est temps de se nourrir et d’économiser sur la feuille Google. Vous devez utiliser la méthode «Post» et ajouter les données récupérées et l’onglet de feuille spécifique avec la position de la cellule en tant que deux variables respectivement au paramètre API Easy2digital
Script Python complet du grattoir du produit Amazon
If you would like to have the full version of the Python Script of Amazon Product Scraper, please subscribe to our newsletter by adding the message “Chapter 16”. We would send you the script immediately to your mailbox.
J’espère que vous apprécierez la lecture du chapitre 16 – Scraper de produits Amazon à l’aide d’API sélénium, magnifique et facile2digital. Si vous l’avez fait, veuillez nous soutenir en faisant l’une des choses énumérées ci-dessous, car cela aide toujours notre chaîne.
- Support and donate to our channel through PayPal (paypal.me/Easy2digital)
- Subscribe to my channel and turn on the notification bell Easy2Digital Youtube channel.
- Follow and like my page Easy2Digital Facebook page
- Partagez l’article sur votre réseau social avec le hashtag # easy2digital
- Buy products with Easy2Digital 10% OFF Discount code (Easy2DigitalNewBuyers2021)
- Vous vous inscrivez à notre newsletter hebdomadaire pour recevoir les derniers articles, vidéos et codes de réduction Easy2digital
- Subscribe to our monthly membership through Patreon to enjoy exclusive benefits (www.patreon.com/louisludigital)
Table des matières:
Q1: Comment créer un compte Amazon ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q2: Comment passer une commande sur Amazon ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q3: Comment suivre ma commande ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q4: Comment annuler une commande ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q5: Comment retourner un produit ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q6: Comment obtenir un remboursement ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q7: Comment contacter le service client d’Amazon ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q8: Quels sont les modes de paiement acceptés par Amazon ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q9: Quels sont les frais de port facturés par Amazon ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
Q10: Quels sont les délais de livraison d’Amazon ?
A: Pour créer un compte Amazon, rendez-vous sur le site Web d’Amazon et cliquez sur le bouton « Créer un compte ». Vous devrez ensuite entrer votre nom, votre adresse e-mail et un mot de passe. Une fois que vous avez entré ces informations, cliquez sur le bouton « Créer votre compte ».
