ショッピングストア製品データをスケールでスクレイピングするShopify Botを構築する
Easy2Digital APIを使用してウェブページネーションとShopify製品をスクレイピングする方法について説明します
ウェブサイトHTML情報とShopify製品情報をJSON APIを介してスクレイピングする方法について説明しました。実際には、記事、製品などを表示するために複数のページがある場合がほとんどです。基本的に、私たちはそれをページネーションと呼びます。たとえば、ページ1、前のページ、次のページなどで、前のコーディングとデータセットは単一のURLページをスクレイプできます。
この記事では、Easy2Digital APIを使用してウェブページネーションとShopify製品をスクレイピングする方法について説明します。これにより、対象データセットを一括でキャプチャできるようになります。この記事の最後までに、Pandasライブラリといくつかの新しいメソッドを習得することができます。また、ビジネスニーズに基づいてスクリプトをカスタマイズすることができます。
目次：Easy2Digital APIを使用してショッピングストア製品データをスケールでスクレイピングするShopify Botを構築する
- モジュールのインポート
- ウェブサイトのページネーションURL構造の特定
- 対象データセットをスクレイプするためのコードラインの記述
- データセットを追加する
- DataFrameとto_csvメソッドを使用してデータセットをExcel形式で保存する
- Easy2Digital API – Shopify製品スクレイパー
- 無料のEasy2Digital APIトークンとShopifyスクレイパーの完全なPythonスクリプト
- よくある質問
ウェブスクレイピングモジュールのインポート
このスクリプトでは、bs4、requests、およびPandasライブラリを使用します。 Shopifyをもう1つの例として取るので、JSONをインポートする必要があります
Pandasは、高速でパワフルで柔軟で使いやすいオープンソースのデータ分析および操作ツールです。 Pythonプログラミング言語の上に構築されています。データセットを再構築してCSV形式で保存するのにかなり便利です。
ウェブサイトのページネーションURL構造の特定
1つ目の例として、Easy2Digitalのブログフォルダを取ります。ブログパスからわかるように、page /の後に続く数字は後方ページネーションページの場所です。したがって、ページの後に変更可能な変数を作成して、スクレイピングをループさせることができます
以下は、ページネーションを「x」と設定し、forループ、range関数、およびstr関数を使用するコーディングです。
Range関数は、0からNまでの数値のシーケンスを作成し、シーケンス内の各アイテムを印刷します。この場合、20のような数値を設定し、この数値はすでに私のブログページネーションページよりも多いです。お勧めします
Pythonのstr（）関数は、オブジェクトの文字列バージョンを返します。返される値が文字列であることを保証します。
最後に、まだ空の値を持つ変数を作成する必要があります。これは、最後にスクレイピングされるデータセットを生成するために使用されます。
ShopifyのようなプラットフォームAPIを介してスクレイピングする必要がある場合は、別のWebサイトを取ることで以下のコーディングがあります- Wasserstein Home
Shopifyフロントエンド製品APIでは、JSON構造が以下のようになります。各ページには最大250個の製品データが含まれます。ページパラメータはページネーション値を表します
ウェブサイトのHTMLページネーションに非常に似ていますが、プラットフォームAPIを介してスクレイピングする必要があるだけです。
コードを書いてターゲットデータセットをスクレイピングする
既にブロックデータをスクレイピングしたので、必要なデータを見つける時間です。
以下は、Easy2Digitalブログの例です。詳細については、以前に話した別の記事を確認してください。
Webスクレイピングのデータセットを追加
CSVモジュールとGoogleで以前にスクレイピングしたデータセットを追加する方法について説明しました。ここでは、行と列のデータをより便利に操作できるPandasライブラリを使用しています。
まず、変数を作成して、スクレイピングされたデータセット名を定義します。次に、関数を追加し、データがelement_infoで定義された一意のヘッド名を持つ別の列に整理されます。
その後、len()関数を使用して、スクレイプできるピースの数を示し、データセットのサイズが適切かどうかを把握します。
DataFrameとto_csvメソッドを使用してデータセットをExcel形式で保存
Rに精通している人は、データフレームを、データを長方形のグリッドに格納する方法として知っているかもしれません。これらのグリッドの各行は、インスタンスの測定値または値に対応します。そして、各列は、特定の変数のデータを含むベクトルです。つまり、データフレームの行には、同じタイプの値を含める必要はありませんが、含めることができます。数値、文字、論理値などが含まれます。
Pythonのデータフレームは非常に似ており、Pandasライブラリで提供されています。一般的に、Pandas DataFrameは3つの主要なコンポーネントで構成されると言えます。データ、インデックス、列です。
データフレーム関数とto_csv関数を使用するので、以下はShopify製品ページネーションスクレイパーの最終スクリプトと生成されたExcelファイルです。
Easy2Digital APIを使用-Shopify製品スクレイパー
スクリプトが複雑であり、オンとオフでスクリプトを更新してバグを修正する必要がある場合は、Easy2Digital Shopify Product Scraper APIを利用できます。以下がトークンエンドポイントです。
https://www.buyfromlo.com?token=&ysiteURL=&protocal=
このAPIエンドポイントを使用すると、Easy2Digitalトークン、対象店舗ドメインブランド名、およびスクレイピングする目的のトップレベルドメインまたはサブドメインの種類（www、us、HKなど）を追加するだけでよく、スクレイピング結果は上記と同じです。.
マーケティングAPIの詳細については、このページをご覧ください。
Shopify製品フィードデータスクレイパーのフルPythonスクリプト
無料のAPIトークンとShopify Botの完全版のPythonスクリプトを取得したい場合は、Pythonチュートリアル10というメッセージを追加して、ニュースレターに登録してください。私たちはあなたのメールボックスにASAPを送信します。
パスに移動する$ chmod 400 .pem$ ssh -i .pem ubuntu@両方のコマンドは、インスタンス接続ページからコピーできます。行って、探索してください！この記事よりも更新された機能を見つけることができるかもしれません。AWSは、競合他社と比較して、より脂っこく、油っこくなる傾向があります。
EC2にFlaskアプリを追加する
ここまで来たら、通常の方法でFlaskを設定してアプリを展開するだけです。以下の手順に従ってください:
- Python virtualenvをインストールする
$ sudo apt-get update
$ sudo apt-get install python3-venv
- 新しいディレクトリで新しい仮想環境をアクティブにする
// ディレクトリを作成する
$ mkdir lovely
$ cd lovely
// 仮想環境を作成する
$ python3 -m venv venv
// 仮想環境をアクティブにする
- PayPal (paypal.me/Easy2digital)を通じて弊社チャンネルをサポートおよび寄付を行う
- Easy2Digital YouTubeチャンネルの登録と通知ベルをオンにする。
- Easy2Digital Facebookページをフォローしていいね！を押す
- ハッシュタグ#easy2digitalを使用して、ソーシャルネットワーク上で記事を共有する
- Easy2Digitalの最新記事、動画、割引コードを受け取るために、週刊ニュースレターに登録する
- www.patreon.com/louisludigitalを通じて、独占的な特典をお楽しみいただくための月額会員に登録する
よくある質問:
Q1: Shopify Botとは何ですか？
A: Shopify Botは、Shopifyストアのオーナーが自動化されたタスクやマーケティングキャンペーンを実行するためのソフトウェアです。
Q2: Shopify Botを使うことの利点は何ですか？
A: Shopify Botを使用することで、ストアの運営を自動化し、時間と労力を節約することができます。また、販売促進やカスタマーサポートなどのマーケティングキャンペーンを効果的に実行することができます。
Q3: Shopify Botはどのように機能しますか？
A: Shopify Botは、プログラムされたタスクを自動的に実行することができるソフトウェアです。ユーザーは設定を行い、Botが指定されたタスクを自動的に実行します。
Q4: Shopify Botはどのようなタスクを自動化できますか？
A: Shopify Botは、在庫管理、注文処理、商品の追跡、カートの放棄防止など、さまざまなタスクを自動化することができます。
Q5: Shopify Botはどのようにカスタマーサポートを助けますか？
A: Shopify Botは、自動的によくある質問に対する回答を提供したり、問題解決のガイドを提供したりすることで、カスタマーサポートを助けます。
Q6: Shopify Botはどのように販売促進を行いますか？
A: Shopify Botは、特定の条件を満たしたユーザーに対して自動的に割引クーポンを提供したり、商品のおすすめを行ったりすることで、販売促進を行います。
Q7: Shopify Botはどのようにマーケティングキャンペーンを実行しますか？
A: Shopify Botは、自動的にメールマーケティングキャンペーンを送信したり、ソーシャルメディアでの広告を管理したりすることで、マーケティングキャンペーンを実行します。
Q8: Shopify Botはどのようにストアの成長をサポートしますか？
A: Shopify Botは、タスクの自動化により時間と労力を節約し、販売促進やマーケティングキャンペーンを効果的に実行することで、ストアの成長をサポートします。
Q9: Shopify Botの設定方法はどうすればいいですか？
A: Shopify Botの設定方法は簡単です。設定ページにアクセスし、必要な情報を入力するだけで、Botを使用する準備が整います。
Q10: Shopify Botはどのようにアップデートされますか？
A: Shopify Botは、自動的にアップデートされます。新しい機能や改善点があれば、ユーザーに通知され、自動的に最新バージョンに更新されます。
