Scraper Tmall & Taobao à l’aide de mots clés pour les données de magasin, les données du produit

Tmall et Taobao sont le plus grand marché en ligne B2C et C2B en Chine pour presque toutes les catégories de produits, des produits secs aux produits humides. Amazon est un phare inspirant si vous recherchez des produits à vendre dans le monde entier, ou si vous défendez votre part commerciale sur les marchés ciblés. En Chine, Tmall et Taobao sont les endroits que vous devez aller et explorer. Fondamentalement, vous pouvez trouver n’importe quoi.

In this chapter, I would walk you through creating a Tmall and Taobao product scraper that facilitates you to investigate or build an automatic pricing monitor. By the end of this chapter, you can learn all the tools and elements you need to know and use for building a Tmall and Taobao product scraper. Then, you can flexibly plug these data into your dashboard or P&L calculator.

Table of Contents: Tmall & Taobao Scraper

• Quelle est la différence entre le grattoir de produit Taobao / Tmall et Amazon
• Réglage de l’option chromée pour éviter la détection de ventilateur Web
• Quelles données de produit vous pouvez saisir
• Taobao et Tmall Product Data Path
• Add Selenium Action Chain () specifically for the Tmall Scraper
• Quelle est la valeur commerciale de ces données?
• Script Python complet de Taobao et Tmall Product Scraper
• FAQ

Quelle est la différence entre le grattoir de produit Taobao / Tmall et Amazon

Selenium is also the key component to build the Taobao and Tmall product scraper, as well as the Amazon product scraper we walked through earlier. In China, digital platforms often require different verifications, such as SMS, manual swipe, face ID, personal ID, etc. Particularly Chinese digital channels are very strict about suspicious robot crawling. Basically, most platforms have built up a more or less immune system resisting robots.

Il est normal que votre robot puisse relever ce défi illustré sur la photo ci-dessus en Chine. Différent de la vérification des canaux occidentaux, il nécessite non seulement une action manuelle, mais aussi il changerait le temps par le temps. Donc, fondamentalement, le script a en effet besoin d’un ajustement si les modifications sont mises à jour. Ce type de méthodologie peut être déployé en Chine Douyin, Zhihu, etc.

In this article, we would mainly showcase web driver detection and actionchain() for manual swipe verification.

Taobao Scraper – ChromeOption() setting

Pour Taobao et Tmall, la raison en est qu’ils ont mis en place un javascript pour détecter le trafic et justifier automatiquement s’il provient de l’humante ou des robots.

Normally, if a user logins into her or his Taobao, or Tmall account, the javascript would show the behavior is undefined under window.navigator.webdriver. That means it’s not a robot

Cependant, cela montrerait vrai si ce comportement est contrôlé par un webdriver, puis Taobao, et Tmall transformerait cela en une autre procédure de résistance à la rampe.

Donc, la toute première chose est de prétendre que votre comportement de grattage est une véritable action utilisateur. Pour cela, nous devons ajouter des codages supplémentaires dans le paramètre de l’option Chrome.

Dans ce contexte, je recommanderais de définir l’environnement du navigateur Chrome en chinois simplifié, donc Taobao et Tmall ne soupçonnent pas que vous êtes un utilisateur des marchés à l’étranger.

Ensuite, ce sont les composants centraux pour s’échapper d’être détectés comme un grattoir de robot.

Enfin et surtout, je recommande également d’ajouter les codages qui suscitent toutes les charges d’image, dans le but d’augmenter la vitesse de chargement Web. Après tout, votre objectif n’est pas pour ces photos.

Taobao Scraper – Quelles données de produit vous pouvez saisir

En ce qui concerne les données raclables des produits et des articles Taobao, il y a des noms de magasin, des photos de produits, des URL de la page de produit, des titres, des prix et des ventes totales.

Dans l’ensemble de données TMALL, il est assez similaire à Taobao. Il a une métrique de données unique qui est le numéro de révision des clients. Il peut vous permettre de comparer les ventes avec le numéro d’examen.

Scraper Taobao – Chemin de données du produit Taobao et Tmall

Les codings Taobao et TMALL SERP HTML et CSS sont différents. Ici, je prendrais Tmall par exemple.

First thing first, it’s the SERP page URL structure. As it’s a keyword-based scraping, you need to know how to create a URL with changeable query parameters. What’s more, you might not only aim to scrape the 1st page SERP. Below are the samples of the Swans products in Taobao. And as each page has 60 products, so each pagination needs to add on 60. For example, s=60 means it’s the 2nd page. S=120 means the 3rd page.

https://list.tmall.com/search_product.htm?q=swans
https://list.tmall.com/search_product.htm?q=swans&s=60
https://list.tmall.com/search_product.htm?q=swans&s=120

Deuxièmement, dans chaque SERP, il y a 60 pièces du bloc d’élément de produit comme celle-ci. Lorsque vous créez une boucle dans votre script Python, vous pouvez utiliser ce chemin de données pour verrouiller tous les blocs.

results = soup.find_all('div',{'class': 'product-iWrap'})

Enfin et surtout, nous devons créer une autre boucle sur les données des résultats et gratter spécialement les données dont nous avons besoin à des fins commerciales. Ici, je sélectionne le titre du produit, les URL, le nom de la boutique, les ventes mensuelles et le prix.

title = tag.find('p',{'class': 'productTitle'}).text.strip()
url = tag.find('a',{'class': 'productImg'})['href']
Shopname = tag.find('a',{'class': 'productShop-name'}).text.strip()
monthlySales = tag.find('p',{'class': 'productStatus'}).text.strip()
price = tag.find('p',{'class': 'productPrice'}).text.strip()

Action chain () needed for Tmall Scraper

Unlike Taobao, Tmall has a more strict login process. It’s because it must have a manual swipe verification step. Meanwhile, Taobao is more like the Instagram scraper I walked you through earlier. It can directly direct you to the SERP page after you login in.

Heureusement, le sélénium est très puissant. Il a non seulement les fonctions de défilement vers le haut et de faire défiler vers le bas. Il peut également vous faciliter de glisser horizontalement avec une attente en utilisant la fonction de chaîne d’action

Tout d’abord, vous devez importer ce module au début du script Python.

from selenium.webdriver.common.action_chains import ActionChains

Ensuite, en plus de trouver le chemin de données de l’élément de produit, vous devez identifier où se trouve l’emplacement de balayage et utiliser le sélénium pour verrouiller le chemin

slider = driver.find_element_by_id('nc_1_n1z')

Enfin et surtout, nous pouvons utiliser une fonction de chaîne d’action et quelques méthodes supplémentaires pour stimuler l’action effectuée par un véritable utilisateur. Rappelez-moi simplement qu’il vaut mieux définir une minuterie après vous être connecté car parfois le chargement de la page peut être lent. Juste au cas où votre IP pourrait être sur liste noire par Taobao et définir en tant que Robot IP.

log_in = WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"button[type='submit']"))).click()
time.sleep(15)

ActionChains(driver).click_and_hold(slider).move_by_offset(300, 0).pause(5).release().perform()

Taobao Scraper – Quelle est la valeur commerciale de ces données?

Comme Amazon Product Scraper, Tmall et Taobao Product Scraper ont une énorme valeur commerciale pour vous d’apprendre les opportunités de marché et l’environnement de concurrence. D’après les données sur les ventes et les prix, vous pouvez essentiellement comprendre quel est le prix AVG et les stratégies de vente, sont plus populaires. De là, vous pouvez apprendre combien de concurrents vendent une valeur de produit similaire à la vôtre. Vous pouvez créer un moniteur de prix en temps réel ainsi que pour les affaires Amazon.

De plus, c’est une approche très utile pour trouver des produits de marque faux et rénovés de votre marque. Sont également très populaires sur Taobao et Tmall, bien qu’Alibaba ait activement mis en place des magasins de fausses marques. Cependant, si votre entreprise est une marque étrangère, elle est toujours difficile. C’est parce que l’entité juridique et la marque ne se connectent pas avec le système de pays occidental. Donc, même si l’enregistrement des activités de votre marque et l’inscription du marché commercial ont été effectués, cela ne signifie pas qu’ils sont légaux en Chine. Il y a donc un dicton selon lequel il s’agit de censure, de documentation et de coût de départ en Chine.

Full Python Script of Taobao & Tmall Product Scraper

If you would like to have the full version of the Python Script of Tmall & Taobao Product Scraper, please subscribe to our newsletter by adding the message “Chapter Tutorial 22”. We would send you the script immediately to your mailbox.

Contactez-nous

I hope you enjoy reading Chapter 22: Tmall & Taobao Product Scraper Using Keywords to Fetch Item Data. If you did, please support us by doing one of the things listed below, because it always helps out our channel.

• Support and donate to our channel through PayPal (paypal.me/Easy2digital)
• Subscribe to my channel and turn on the notification bell Easy2Digital Youtube channel.
• Follow and like my page Easy2Digital Facebook page
• Partagez l’article sur votre réseau social avec le hashtag # easy2digital
• Buy products with Easy2Digital 10% OFF Discount code (Easy2DigitalNewBuyers2021)
• Vous vous inscrivez à notre newsletter hebdomadaire pour recevoir les derniers articles, vidéos et codes de remise Easy2digital
• Subscribe to our monthly membership through Patreon to enjoy exclusive benefits (www.patreon.com/louisludigital)

FAQ:

Q1: Qu’est-ce que le grattoir du produit Taobao?

R: Taobao Product Scraper est un outil qui vous permet d’extraire les données du produit de Taobao, une plate-forme de commerce électronique chinoise populaire.

Q2: Comment fonctionne le grattoir du produit Taobao?

R: Taobao Product Scraper fonctionne en utilisant des techniques de grattage Web pour extraire des informations sur les produits telles que les titres, les prix, les descriptions et les images des pages de produits Taobao.

Q3: Que puis-je faire avec les données extraites du grattoir de produit Taobao?

R: Une fois que vous avez extrait les données à l’aide du grattoir de produit Taobao, vous pouvez l’utiliser à diverses fins telles que l’étude de marché, l’analyse des concurrents, la comparaison des prix, la gestion des stocks, etc.

Q4: Le grattoir du produit Taobao est-il légal?

R: Bien que le grattage Web soit généralement légal, la légalité de gratter des sites Web spécifiques peut varier. Il est important d’examiner et de se conformer aux conditions d’utilisation de Taobao avant d’utiliser le grattoir de produit Taobao.

Q5: Puis-je gratter les données du produit à partir de plusieurs magasins Taobao?

R: Oui, le grattoir de produit Taobao vous permet de gratter les données du produit à partir de plusieurs magasins Taobao. Vous pouvez spécifier les URL des magasins que vous souhaitez gratter ou utiliser des mots clés de recherche pour gratter les produits à partir de plusieurs magasins.

Q6: Le grattoir du produit Taobao prend-il en charge les revues et les notes des produits?

R: Oui, le grattoir de produit Taobao peut extraire les revues et les notes des produits ainsi que d’autres données de produit. Cela peut être utile pour analyser les commentaires des clients et le sentiment envers les produits.

Q7: Puis-je planifier des éraflures automatisées avec le grattoir de produit Taobao?

R: Oui, Taobao Product Scraper propose des options de planification qui vous permettent d’automatiser le processus de grattage. Vous pouvez configurer des intervalles réguliers pour gratter ou planifier des temps spécifiques pour le grattage.

Q8: Dans quels formats puis-je exporter les données grattées?

R: Le gratte-ciel de produit Taobao prend en charge l’exportation des données grattées dans divers formats tels que CSV, Excel, JSON ou Formats personnalisés. Vous pouvez choisir le format qui convient le mieux à vos besoins.

Q9: Taobao Product Scraper est-il adapté aux débutants?

R: Oui, le grattoir de produit Taobao est conçu pour être convivial et accessible pour les débutants. Il fournit une interface simple et intuitive pour configurer et exécuter facilement les tâches de grattage.

Q10: Le grattoir du produit Taobao offre-t-il un support client?

R: Oui, Taobao Product Scraper offre un support client pour vous aider avec toutes les questions ou problèmes que vous pouvez rencontrer lors de l’utilisation de l’outil. Vous pouvez contacter leur équipe de soutien pour obtenir de l’aide.