Tmall & Taobao Schaber verwenden Schlüsselwörter für Speicher, Produktdaten

Tmall und Taobao sind der größte Online -B2C- und C2B -Markt in China für fast alle Produktkategorien, von Trockenwaren bis hin zu nassen Waren. Amazon ist ein inspirierender Leuchtturm, wenn Sie nach Produkten suchen, die Sie weltweit verkaufen können, oder Ihren Geschäftsanteil in den Zielmärkten verteidigen. In China sind Tmall und Taobao die Orte, an denen Sie gehen müssen und erkunden müssen. Grundsätzlich können Sie alles finden.

In diesem Kapitel würde ich Sie durch die Erstellung eines Tmall- und Taobao -Produktschabers führen, der Sie erleichtert, einen automatischen Preismonitor zu untersuchen oder zu erstellen. Am Ende dieses Kapitels können Sie alle Werkzeuge und Elemente kennenlernen, die Sie zum Erstellen eines Tmall- und Taobao -Produktschabers verwenden müssen. Anschließend können Sie diese Daten flexibel in Ihr Dashboard- oder P & L -Taschenrechner anschließen.

Inhaltsverzeichnis: Tmall & Taobao Schaber

• Was ist der Unterschied zwischen Taobao/Tmall und Amazon Product Scraper
• Chrome Optionseinstellung zur Vermeidung von Webdriver -Erkennung
• Welche Produktdaten können Sie sich greifen
• Taobao und Tmall Produktdatenpfad
• Fügen Sie Selenium Action Chain () speziell für den Tmall -Schaber hinzu
• Was ist der geschäftliche Wert dieser Daten?
• Vollständige Python -Skript von Taobao und Tmall -Produktschaber

Was ist der Unterschied zwischen Taobao/Tmall und Amazon Product Scraper

Selenium ist auch die Schlüsselkomponente für den Bau des Taobao- und Tmall -Produktschabers sowie des Amazon -Produktschabers, den wir früher durchlaufen haben. In China erfordern digitale Plattformen häufig unterschiedliche Überprüfungen wie SMS, manuelles Swipe, Face ID, persönliche ID usw., insbesondere chinesische digitale Kanäle sind sehr streng in Bezug auf verdächtiges Roboterkriech. Grundsätzlich haben die meisten Plattformen ein mehr oder weniger immunes System gegen Roboter aufgebaut.

Es ist normal, dass Ihr Roboter auf diese Herausforderung stößt, die auf dem obigen Foto in China gezeigt wird. Anders als bei der Überprüfung des westlichen Kanals erfordert es nicht nur manuelle Aktionen, sondern auch die Zeit nach der Zeit. Grundsätzlich muss das Skript tatsächlich angepasst werden, wenn Änderungen aktualisiert werden. Diese Art von Methodik kann an China Douyin, Zhihu usw. eingeführt werden.

In diesem Artikel präsentieren wir hauptsächlich die Erkennung und ActionChain () der Web -Treiber für die manuelle Wischüberprüfung.

Taobao Schaber – ChromeOption () Einstellung

Für Taobao und Tmall ist der Grund dafür, dass sie ein JavaScript eingerichtet haben, um den Verkehr zu erkennen und automatisch zu rechtfertigen, wenn es sich um Menschen oder Roboter handelt.

Normalerweise würde das JavaScript, wenn sich ein Benutzer in sein oder sein Taobao- oder Tmall -Konto anmeldet, das Verhalten unter window.navigator.webdriver nicht definiert ist. Das heißt, es ist kein Roboter

Es würde jedoch zutreffen, ob dieses Verhalten von einem Webdriver und dann von Taobao gesteuert wird, und Tmall würde dies in ein anderes Krabbelwiderstandsverfahren verwandeln.

Das allererste ist, dass es eine echte Benutzeraktion ist, so zu tun, als wäre es eine echte Benutzeraktion. Zu diesem Zweck müssen wir zusätzliche Codierungen in die Chrome -Optionseinstellung hinzufügen.

In dieser Umgebung würde ich empfehlen, die Chrome -Browser -Umgebung in vereinfachte Chinesen zu setzen, sodass Taobao und Tmall nicht vermuten, dass Sie ein Benutzer aus Überseemärkten sind.

Anschließend sind dies die Kernkomponenten, denen es als Roboterschaber erkannt wird.

Zu guter Letzt empfehle ich auch, die Codierungen hinzuzufügen, die alle Bildbelastungen pausieren, damit die Web -Ladungsgeschwindigkeit erhöht wird. Schließlich ist Ihr Ziel nicht für diese Fotos.

Taobao Schaber – Welche Produktdaten können Sie sich erfassen können

In Bezug auf verkaufte Daten von Taobao -Produkten und -artikeln gibt es Speichernamen, Produktfotos, Produktseiten -URLs, Titel, Preise und Gesamtverkäufe.

Im Tmall -Datensatz ist es Taobao ziemlich ähnlich. Es verfügt über eine eindeutige Datenmetrik, die die Kundenüberprüfungsnummer ist. Sie können den Verkauf mit der Überprüfungsnummer vergleichen.

Taobao Schaber – Taobao und Tmall -Produktdatenpfad

Taobao und Tmall Serp HTML- und CSS -Codierungen sind unterschiedlich. Hier würde ich zum Beispiel Tmall nehmen.

Als erstes ist es die URL -Struktur der SERP -Seite. Da es sich um ein keywordbasiertes Kratzen handelt, müssen Sie wissen, wie Sie eine URL mit veränderlichen Abfrageparametern erstellen. Darüber hinaus wollen Sie nicht nur die 1. SERP der ersten Seite abkratzen. Nachfolgend finden Sie die Proben der Swans -Produkte in Taobao. Und da jede Seite 60 Produkte enthält, muss jede Pagination 60 hinzufügen. Zum Beispiel bedeutet S = 60 die 2. Seite. S = 120 bedeutet die 3. Seite.

https://list.tmall.com/search_product.htm?q=swans
https://list.tmall.com/search_product.htm?q=swans&s=60
https://list.tmall.com/search_product.htm?q=swans&s=120

Zweitens gibt es in jedem SERP 60 Teile des Produktartikelblocks wie diesen. Wenn Sie in Ihrem Python -Skript eine Schleife erstellen, können Sie diesen Datenpfad verwenden, um alle Blöcke zu sperren.

resultes = supersuc.find_all ('div', {'class': 'product-iwrap'})

Last but not least müssen wir ein weiteres Schleifen mit den Ergebnisdaten erstellen und speziell die Daten kratzen, die wir für geschäftliche Zwecke benötigen. Hier wähle ich den Produkttitel, die URLs, den Ladennamen, den monatlichen Umsatz und den Preis aus.

• title = tag.find (‚p‘, {‚class‘: ‚productTitle‘}). text.strip ()
• url = tag.find (‚a‘, {‚class‘: ‚productimg‘}) [‚href‘]
• ShopName = tag.find (‚a‘, {‚class‘: ‚productShop-name‘}). Text.strip ()
• MonthlySales = Tag.Find (‚P‘, {‚Klasse‘: ‚ProductStatus‘}). text.strip ()
• price = tag.find (‚p‘, {‚class‘: ‚productPrice‘}). text.strip ()

Action Chain () benötigt für Tmall Scraper

Im Gegensatz zu Taobao hat Tmall einen strengeren Anmeldungsprozess. Es liegt daran, dass es einen manuellen Swipe -Überprüfungsschritt haben muss. In der Zwischenzeit ist Taobao eher dem Instagram -Schaber, den ich Ihnen früher durchlaufen habe. Sie können Sie nach der Anmeldung direkt zur SERP -Seite leiten.

Glücklicherweise ist Selen sehr mächtig. Es hat nicht nur die Schriftrolle nach oben und scrollen Sie nach unten Funktionen. Es kann Ihnen auch erleichtert, mit der Aktionskettenfunktion horizontal mit der Warteschlange zu wischen

Als erstes müssen Sie dieses Modul zu Beginn des Python -Skripts importieren.

von selenium.webdriver.common.action_chains import actionChains

Dann müssen Sie nicht nur den Datenpfad des Produktelements finden, und müssen feststellen

Slider = Driver.find_element_by_id ('nc_1_n1z'))

Last but not least können wir eine Aktionskettenfunktion und einige weitere Methoden verwenden, um die von einem echte Benutzer ausgeführte Aktion zu stimulieren. Bitte erinnern Sie mich bitte daran, dass es besser ist, einen Timer zu setzen, nachdem Sie sich angemeldet haben, da das Laden der Seite manchmal langsam ist. Nur für den Fall, dass Ihre IP von Taobao auf die schwarze Liste gesetzt und als Roboter -IP festgelegt wird.

log_in = webriverwait (Treiber, 10) .until (ec.element_to_be_clickable ((by.css_selector, "Schaltfläche [type = 'subine']")). Click ().
time.sleep (15)

ActionChains (Treiber) .click_and_hold (Slider) .Move_By_Offset (300, 0) .Pause (5) .Release (). Perform ()

Taobao Schaber – Wie hoch ist der geschäftliche Wert dieser Daten?

Wie bei Amazon Product Scraper bietet Tmall und Taobao Product Scraper einen großen geschäftlichen Wert für Sie, um die Marktchancen und das Wettbewerbsumfeld zu erlernen. Aus den Verkaufs- und Preisdaten können Sie im Grunde genommen verstehen, welche AVG -Preisgestaltung und der Verkaufsstrategien beliebter sind. Von hier aus können Sie erfahren, wie viele Konkurrenten Ihren ähnlichen Produktwert an Ihren verkaufen. Sie können einen Echtzeit-Preismonitor erstellen und für Amazon Business tun.

Außerdem ist es ein sehr hilfreicher Ansatz, die gefälschten und renovierten Markenprodukte Ihrer Marke zu finden. sind auch in Taobao und Tmall sehr beliebt, obwohl Alibaba diese gefälschten Markengeschäfte aktiv auf die schwarze Liste gesetzt hat. Wenn Ihr Unternehmen jedoch eine ausländische Marke ist, ist es immer noch eine Herausforderung. Dies liegt daran, dass sich die juristische Person und das Markenzeichen nicht mit dem westlichen Landsystem verbinden. Auch wenn Ihre Markengeschäftsregistrierung und Ihr Handelsmarktanmeldung durchgeführt wurden, bedeutet dies nicht, dass sie in China legal sind. Es gibt also ein Sprichwort, dass es nur um Zensur, Dokumentation und Startkosten in China geht.

Vollständige Python – Skript von Taobao & Tmall Produktschaber

Wenn Sie die Vollversion des Python -Skripts von Tmall & Taobao Product Scraper haben möchten, abonnieren Sie unseren Newsletter, indem Sie die Nachricht „Kapitel -Tutorial 22“ hinzufügen. Wir schicken Ihnen das Skript sofort an Ihre Mailbox.

• Unterstützen Sie unseren Kanal durch Spenden über PayPal (paypal.me/Easy2digital)
• Abonnieren Sie meinen Kanal und schalten Sie die Benachrichtigungsglocke ein Easy2Digital Youtube Kanal.
• Folgen Sie und liken Sie unsere Seite Easy2Digital Facebook Seite
• Teilen Sie den Artikel in Ihrem sozialen Netzwerk mit dem Hashtag #easy2digital
• Melden Sie sich für unseren wöchentlichen Newsletter an, um die neuesten Artikel, Videos und Rabattcodes von Easy2Digital zu erhalten
• Abonnieren Sie unsere monatliche Mitgliedschaft über Patreon, um exklusive Vorteile zu genießen (www.patreon.com/louisludigital)