TmallとTaobaoは、ドライグッズからウェット商品まで、ほとんどすべての製品カテゴリの中国で最大のオンラインB2CおよびC2B市場です。 Amazonは、世界中で販売する製品を探している場合、またはターゲット市場でビジネスシェアを擁護している場合、刺激的な灯台です。中国では、TmallとTaobaoはあなたが行って探索しなければならない場所です。基本的に、何でも見つけることができます。
この章では、自動価格モニターの調査または構築を促進するTmallおよびTaobao製品スクレーパーの作成について説明します。この章の終わりまでに、TmallおよびTaobao製品スクレーパーの構築に知って使用する必要があるすべてのツールと要素を学ぶことができます。次に、これらのデータをダッシュボードまたはP＆L計算機に柔軟に接続できます。
目次：Tmall＆Taobaoスクレーパー
- Taobao/TmallとAmazon製品スクレーパーの違いは何ですか
- Webドライバー検出を避けるためのChromeオプション設定
- 取得できる製品データ
- Taobaoおよびtmall製品データパス
- tmallスクレーパー用に特別にセレンアクションチェーン（）を追加
- このデータのビジネス価値は何ですか？
- TaobaoとTmall製品スクレーパーの完全なPythonスクリプト
- よくある質問
Taobao/TmallとAmazon製品スクレーパーの違いは何ですか
Seleniumは、TaobaoおよびTmall製品スクレーパーを構築するための重要なコンポーネントでもあり、以前に歩いたAmazon製品スクレーパーも構築しています。中国では、デジタルプラットフォームでは、SMS、手動スワイプ、フェイスID、個人IDなど、さまざまな検証が必要になることがよくあります。特に、中国のデジタルチャネルは、疑わしいロボットクロールについて非常に厳しいものです。基本的に、ほとんどのプラットフォームは、ロボットに抵抗する多かれ少なかれ免疫システムを構築しています。
あなたのロボットが中国の上記の写真に示されているこの課題に出くわすかもしれないことは普通です。西部のチャネルの検証とは異なり、手動でのアクションが必要であるだけでなく、時間によって変更されることもあります。したがって、基本的に、変更が更新された場合、スクリプトは実際に調整が必要です。この種の方法論は、中国のドゥイン、Zhihuなどに展開できます。
この記事では、手動スワイプ検証のために、主にWebドライバーの検出とActionChain（）を紹介します。
Taobaoスクレーパー-Chromeoption（）設定
TaobaoとTmallにとって、彼らはトラフィックを検出し、人間の存在やロボットからのものである場合に自動的に正当化するためにJavaScriptを設定したからです。
通常、ユーザーが自分のタオバオ、またはtmallアカウントにログインすると、JavaScriptは、window.navigator.webdriverの下で動作が未定義であることを示します。つまり、ロボットではありません
ただし、この動作がWebDriverによって制御されている場合、Taobaoによって制御されている場合、Tmallがこれを別のクロール抵抗手順に変えるかどうかが当てはまります。
したがって、最初に最初のことは、あなたのスクレイピング動作が実際のユーザーアクションであるふりをすることです。このために、Chromeオプション設定に追加のコーディングを追加する必要があります。
この設定では、Chromeブラウザー環境を簡素化された中国語に設定することをお勧めします。そのため、TaobaoとTmallは、あなたが海外市場のユーザーであると疑うことはありません。
次に、これらはロボットスクレーパーとして検出されることを逃れるためのコアコンポーネントです。
最後になりましたが、Webロード速度を上げる目的で、すべての画像負荷を一時停止するコードを追加することもお勧めします。結局のところ、あなたの目標はそれらの写真のためではありません。
Taobaoスクレーパー – つかむことができる製品データ
Taobao製品とアイテムのスクラップデータに関しては、ストア名、製品の写真、製品ページのURL、タイトル、価格設定、総売上があります。
tmallデータセットでは、Taobaoに非常に似ています。カスタマーレビュー番号である一意のデータメトリックが1つあります。販売をレビュー番号と比較できます。
Taobaoスクレーパー-TaobaoおよびTmall製品データパス
TaobaoとTmall SERP HTMLおよびCSSコーディングは異なります。ここでは、たとえばtmallを取ります。
まず、SERPページURL構造です。キーワードベースのスクレイピングであるため、変更可能なクエリパラメーターを使用してURLを作成する方法を知る必要があります。さらに、最初のページSERPをこすり込むことを目指しているだけではありません。以下は、タオバオのスワンズ製品のサンプルです。また、各ページには60の製品があるため、各ページネーションは60に追加する必要があります。たとえば、S = 60は2番目のページであることを意味します。 S = 120は3番目のページを意味します。
https://list.tmall.com/search_product.htm?q=swanshttps://list.tmall.com/search_product.htm?q=swans＆s = 60https://list.tmall.com/search_product.htm?q=swans＆s = 120
第二に、各SERPには、このような製品アイテムブロックの60個があります。 Pythonスクリプトでループを作成すると、このデータパスを使用してすべてのブロックをロックできます。
結果= soup.find_all（ 'div'、{'class'： 'product-iwrap'}）
最後になりましたが、結果データに別のループに乗っている別のループを作成し、ビジネス目的に必要なデータを特別にこすります。ここでは、製品タイトル、URL、ショップ名、毎月の販売、価格を選択します。
title = tag.find（ 'p'、{'class'： 'productTitle'}）。text.strip（）url = tag.find（ 'a'、{'class'： 'productimg'}）['href']shopname = tag.find（ 'a'、{'class'： 'productshop-name'}）。text.strip（）BonthlySales = tag.find（ 'P'、{'class'： 'productStatus'}）。text.strip（）Price = tag.find（ 'p'、{'class'： 'productprice'}）。text.strip（）
tmallスクレーパーに必要なアクションチェーン（）
Taobaoとは異なり、Tmallにはより厳格なログインプロセスがあります。手動スワイプ検証ステップが必要なためです。一方、Taobaoは、私が以前にあなたを歩いたInstagramスクレーパーのようなものです。ログインした後、SERPページに直接送信できます。
幸いなことに、セレンは非常に強力です。スクロールアップとスクロールダウン機能があるだけではありません。また、アクションチェーン機能を使用して水平方向に保留にスワイプすることもできます
まず、Pythonスクリプトの先頭にこのモジュールをインポートする必要があります。
selenium.webdriver.common.action_ChainsからImport ActionChainsから
次に、製品アイテムのデータパスを見つけるだけでなく、スワイプ位置がどこにあるかを識別し、セレンを使用してパスをロックする必要があります
スライダー= driver.find_element_by_id（ 'nc_1_n1z'）
最後になりましたが、アクションチェーン関数とその他の方法を使用して、実際のユーザーが完了したアクションを刺激することができます。ページの読み込みが遅い場合がある場合があるため、ログインした後にタイマーを設定する方が良いことを思い出してください。 IPがTaobaoによってブラックリストに登録され、ロボットIPとして設定される可能性がある場合に備えて。
log_in = webdriverwait（driver、10）.until（ec.element_to_be_clickable（（by.css_selector、 "button [type = 'submit']" "）））。time.sleep（15）
ActionChains（driver）.click_and_hold（slider）.move_by_offset（300、0）.pause（5）.Release（）。perform（）
Taobaoスクレーパー – このデータのビジネス価値は何ですか？
Amazon製品スクレーパーのように、TmallやTaobao製品スクレーパーは、市場の機会と競争環境を学ぶために膨大なビジネス価値を持っています。販売および価格データから、基本的にAVG価格設定と販売戦略がより一般的であるものを理解することができます。ここから、あなたと同様の製品価値を販売している競合他社の数を学ぶことができます。リアルタイムの価格モニターを作成するだけでなく、Amazon Businessで行っていることもできます。
また、ブランドの偽物で改装されたブランド製品を見つけるための非常に役立つアプローチです。アリババはこれらの偽のブランドストアを積極的にブラックリストに登録していますが、タオバオとTmallでも非常に人気があります。しかし、あなたのビジネスが外国のブランドである場合、それはまだ挑戦的です。それは、法人と商標が西洋の国のシステムとつながっていないためです。したがって、あなたのブランドビジネス登録と貿易市場のサインアップが行われたとしても、それは彼らが中国で合法であるという意味ではありません。したがって、中国の検閲、文書化、開始コストがすべてであるということわざがあります。
Taobao＆Tmall製品スクレーパーの完全なPythonスクリプト
Tmall＆Taobao製品スクレーパーのPythonスクリプトのフルバージョンをご希望の場合は、「章のチュートリアル22」というメッセージを追加して、ニュースレターを購読してください。スクリプトをすぐにメールボックスに送信します。
- PayPal (paypal.me/Easy2digital)を通じて弊社チャンネルをサポートおよび寄付を行う
- Easy2Digital YouTubeチャンネルの登録と通知ベルをオンにする。
- Easy2Digital Facebookページをフォローしていいね！を押す
- ハッシュタグ#easy2digitalを使用して、ソーシャルネットワーク上で記事を共有する
- Easy2Digitalの最新記事、動画、割引コードを受け取るために、週刊ニュースレターに登録する
- www.patreon.com/louisludigitalを通じて、独占的な特典をお楽しみいただくための月額会員に登録する
よくある質問:
Q1: ストレスとは何ですか？
A: ストレスは、心や体にかかる負荷やプレッシャーのことを指します。
Q2: ストレスの原因は何ですか？
A: ストレスの原因は様々ですが、仕事のプレッシャーや人間関係の問題、健康上の悩みなどが一般的な要因とされています。
Q3: ストレスの影響は何ですか？
A: ストレスは心身に様々な影響を与えます。具体的には、不眠や疲労感、イライラ、集中力の低下などが挙げられます。
Q4: ストレスを軽減する方法はありますか？
A: ストレスを軽減するためには、適度な運動やリラックス法の実践、十分な睡眠をとることなどが有効です。また、ストレスの原因を見極めることも重要です。
Q5: ストレスと健康の関係はありますか？
A: ストレスは健康に悪影響を与えることがあります。慢性的なストレスは免疫力の低下や心臓病、うつ病などのリスクを高める可能性があります。
Q6: ストレスマネジメントの方法はありますか？
A: ストレスマネジメントの方法としては、時間管理や優先順位の設定、ストレス発散法の活用などが効果的です。自分に合った方法を見つけて取り組んでみましょう。
Q7: ストレスを感じたらどうすればいいですか？
A: ストレスを感じたら、深呼吸や軽い運動、瞑想などリラックス法を試してみることがおすすめです。また、話し相手を見つけて感情を共有することも効果的です。
Q8: ストレスが長期化するとどうなりますか？
A: ストレスが長期化すると、体調不良や心の病気につながる可能性があります。早めにストレスを解消するように心がけましょう。
Q9: ストレスの影響を軽減する食事はありますか？
A: ストレスの影響を軽減するためには、バランスの取れた食事を摂ることが重要です。特に、ビタミンCやB群、マグネシウムなどがストレス対策に役立つ栄養素です。
Q10: ストレス管理のためのアプリはありますか？
A: ストレス管理のためのアプリは数多くあります。自分に合ったアプリを探して、ストレスを管理する手助けにしましょう。