Tmall & Taobao Scraper menggunakan kata kunci untuk penyimpanan, data produk

Tmall dan Taobao adalah pasar B2C dan C2B online terbesar di Tiongkok untuk hampir semua kategori produk, mulai dari barang kering hingga barang basah. Amazon adalah mercusuar yang menginspirasi jika Anda mencari produk untuk dijual di seluruh dunia, atau Anda mempertahankan pangsa bisnis Anda di pasar sasaran. Di Tiongkok, Tmall dan Taobao adalah tempat yang harus Anda kunjungi dan jelajahi. Pada dasarnya, Anda dapat menemukan apa saja.

Dalam bab ini, saya akan memandu Anda membuat scraper produk Tmall dan Taobao yang memudahkan Anda menyelidiki atau membuat monitor harga otomatis. Di akhir bab ini, Anda dapat mempelajari semua alat dan elemen yang perlu Anda ketahui dan gunakan untuk membuat scraper produk Tmall dan Taobao. Kemudian, Anda dapat secara fleksibel memasukkan data ini ke dasbor atau kalkulator P&L Anda.

Daftar Isi: Scraper Tmall & Taobao

Apa perbedaan antara Taobao/Tmall dan Amazon Product Scraper
Pengaturan Opsi Chrome untuk menghindari deteksi driver web
Data Produk apa yang bisa Anda ambil
Jalur Data Produk Taobao dan Tmall
Tambahkan Selenium Action Chain () khusus untuk Tmall Scraper
Apa nilai bisnis dari data ini?
Skrip Python lengkap dari pengikis produk Taobao dan Tmall
Pertanyaan Umum

Apa perbedaan antara Taobao/Tmall dan Amazon Product Scraper

Selenium juga merupakan komponen kunci untuk membuat scraper produk Taobao dan Tmall, serta scraper produk Amazon yang telah kita bahas sebelumnya. Di Tiongkok, platform digital sering kali memerlukan verifikasi yang berbeda, seperti SMS, gesekan manual, ID wajah, ID pribadi, dll. Khususnya saluran digital Tiongkok sangat ketat terhadap perayapan robot yang mencurigakan. Pada dasarnya, sebagian besar platform telah membangun sistem kekebalan yang mampu melawan robot.

Wajar jika robot Anda menghadapi tantangan seperti yang ditunjukkan pada foto di atas di Tiongkok. Berbeda dengan verifikasi saluran barat, verifikasi ini tidak hanya memerlukan tindakan manual tetapi juga dapat berubah dari waktu ke waktu. Jadi pada dasarnya script memang perlu penyesuaian jika ada perubahan yang diupdate. Metodologi semacam ini dapat diterapkan di China Douyin, Zhihu, dll.

Dalam artikel ini, kami terutama akan menampilkan deteksi driver web dan actionchain() untuk verifikasi gesek manual.

Pengikis Taobao – pengaturan `ChromeOption()`

Untuk Taobao dan Tmall, alasannya adalah mereka telah menyiapkan javascript untuk mendeteksi lalu lintas dan secara otomatis menentukan apakah itu berasal dari manusia atau robot.

Biasanya, jika pengguna masuk ke akun Taobao, atau Tmall miliknya, javascript akan menunjukkan perilaku tidak terdefinisi di window.navigator.webdriver . Artinya itu bukan robot

Namun, hal ini akan terbukti benar jika perilaku ini dikendalikan oleh webdriver, lalu Taobao, dan Tmall akan mengubahnya menjadi prosedur resistensi perayapan lainnya.

Jadi, hal pertama yang pertama adalah berpura-pura bahwa perilaku scraping Anda adalah tindakan pengguna yang sebenarnya. Untuk ini, kita perlu menambahkan kode tambahan di pengaturan opsi chrome.

Dalam pengaturan ini, saya akan merekomendasikan pengaturan lingkungan browser chrome ke dalam bahasa Cina Sederhana, sehingga Taobao dan Tmall tidak mencurigai Anda adalah pengguna dari pasar luar negeri.

Kemudian, inilah komponen inti agar tidak terdeteksi sebagai robot scraper.

Terakhir, saya juga merekomendasikan untuk menambahkan kode yang menjeda semua pemuatan gambar, dengan tujuan untuk meningkatkan kecepatan pemuatan web. Lagi pula, tujuan Anda bukan untuk foto-foto itu.

Taobao Scraper – Data Produk Apa yang bisa Anda ambil

Mengenai data produk dan item Taobao yang dapat dihapus, terdapat nama toko, foto produk, URL halaman produk, judul, harga, dan total penjualan.

Dalam kumpulan data Tmall, ini sangat mirip dengan Taobao. Ini memiliki satu metrik data unik yaitu nomor ulasan pelanggan. Ini memungkinkan Anda membandingkan penjualan dengan nomor ulasan.

Taobao Scraper – Jalur Data Produk Taobao dan Tmall

Kode html dan CSS Taobao dan Tmall SERP berbeda. Di sini saya akan mengambil Tmall misalnya.

Hal pertama yang pertama, ini adalah struktur URL halaman SERP. Karena ini adalah pengikisan berbasis kata kunci, Anda perlu mengetahui cara membuat URL dengan parameter kueri yang dapat diubah. Terlebih lagi, Anda mungkin tidak hanya bertujuan untuk mengikis SERP halaman 1 saja. Di bawah ini adalah contoh produk Swans di Taobao. Dan karena setiap halaman memiliki 60 produk, maka setiap pagination perlu ditambah 60. Misalnya, s=60 berarti halaman ke-2. S=120 berarti halaman ke-3.

https://list.tmall.com/search_product.htm?q=swans
https://list.tmall.com/search_product.htm?q=swans&s=60
https://list.tmall.com/search_product.htm?q=swans&s=120

Kedua, di setiap SERP terdapat 60 buah blok item produk seperti ini. Saat Anda membuat loop dalam skrip python, Anda dapat menggunakan jalur data ini untuk mengunci semua blok.

results = soup.find_all('div',{'class': 'product-iWrap'})

Terakhir, kita perlu membuat loop lain berdasarkan data hasil, dan secara khusus mengambil data yang kita perlukan untuk tujuan bisnis. Di sini saya memilih judul produk, url, nama toko, penjualan bulanan, dan harga.

title = tag.find('p',{'class': 'productTitle'}).text.strip()
url = tag.find('a',{'class': 'productImg'})['href']
Shopname = tag.find('a',{'class': 'productShop-name'}).text.strip()
monthlySales = tag.find('p',{'class': 'productStatus'}).text.strip()
price = tag.find('p',{'class': 'productPrice'}).text.strip()

`Action chain ()` diperlukan untuk Tmall Scraper

Berbeda dengan Taobao, Tmall memiliki proses login yang lebih ketat. Sebab, harus ada langkah verifikasi gesek manual. Sementara itu, Taobao lebih seperti scraper Instagram yang saya bahas sebelumnya. Itu bisa langsung mengarahkan Anda ke halaman SERP setelah Anda login.

Untungnya, Selenium sangat kuat. Ini tidak hanya memiliki fungsi gulir ke atas dan gulir ke bawah. Ini juga dapat memudahkan Anda untuk menggesek secara horizontal sambil ditahan menggunakan fungsi rantai Aksi

Hal pertama yang pertama, Anda perlu mengimpor modul ini di awal skrip python.

from selenium.webdriver.common.action_chains import ActionChains

Kemudian, selain menemukan jalur data item produk, Anda perlu mengidentifikasi di mana lokasi gesek, dan menggunakan Selenium untuk mengunci jalur tersebut.

slider = driver.find_element_by_id('nc_1_n1z')

Terakhir, kita dapat menggunakan fungsi rantai tindakan dan beberapa metode lainnya untuk menstimulasi tindakan yang diselesaikan oleh pengguna sebenarnya. Mohon ingatkan saya bahwa lebih baik menyetel pengatur waktu setelah Anda masuk karena terkadang pemuatan halaman mungkin lambat. Kalau-kalau IP Anda mungkin masuk daftar hitam oleh Taobao dan ditetapkan sebagai IP robot.

log_in = WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"button[type='submit']"))).click()
time.sleep(15)

ActionChains(driver).click_and_hold(slider).move_by_offset(300, 0).pause(5).release().perform()

Taobao Scraper – Apa nilai bisnis dari data ini?

Seperti pengikis produk Amazon, pengikis produk Tmall dan Taobao memiliki nilai bisnis yang besar bagi Anda untuk mempelajari peluang pasar dan lingkungan persaingan. Dari data penjualan dan penetapan harga, pada dasarnya Anda dapat memahami berapa harga rata-rata dan strategi penjualan apa yang lebih populer. Dari sini, Anda dapat mengetahui berapa banyak pesaing yang menjual produk dengan nilai serupa dengan Anda. Anda dapat membuat monitor harga real-time seperti yang Anda lakukan untuk bisnis Amazon.

Selain itu, ini merupakan pendekatan yang sangat membantu untuk menemukan produk merek palsu dan rekondisi dari merek Anda. juga sangat populer di Taobao dan Tmall, meskipun Alibaba telah secara aktif memasukkan toko merek palsu tersebut ke dalam daftar hitam. Namun, jika bisnis Anda merek asing, tetap saja tantangannya. Pasalnya, badan hukum dan merek dagang tidak ada kaitannya dengan sistem negara barat. Jadi meskipun pendaftaran bisnis merek dan pendaftaran pasar perdagangan Anda telah dilakukan, bukan berarti hal tersebut legal di Tiongkok. Jadi ada pepatah yang mengatakan bahwa yang terpenting di Tiongkok adalah sensor, dokumentasi, dan biaya awal.

Skrip Python Lengkap dari Pengikis Produk Taobao & Tmall

Jika Anda ingin memiliki versi lengkap Skrip Python dari Tmall & Taobao Product Scraper, silakan berlangganan buletin kami dengan menambahkan pesan “Tutorial Bab 22” . Kami akan segera mengirimkan skripnya ke kotak surat Anda.

Hubungi kami

Saya harap Anda menikmati membaca Bab 22: Pengikis Produk Tmall & Taobao Menggunakan Kata Kunci untuk Mengambil Data Item. Jika ya, dukung kami dengan melakukan salah satu hal yang tercantum di bawah ini, karena itu selalu membantu saluran kami.

Dukung dan donasi ke saluran kami melalui PayPal ( paypal.me/Easy2digital )
Berlangganan saluran saya dan nyalakan lonceng notifikasi saluran Youtube Easy2Digital .
Ikuti dan sukai halaman saya halaman Facebook Easy2Digital
Bagikan artikel di jejaring sosial Anda dengan hashtag #easy2digital
Beli produk dengan kode diskon Easy2Digital DISKON 10% ( Easy2DigitalNewBuyers2021)
Anda mendaftar ke buletin mingguan kami untuk menerima artikel, video, dan kode diskon terbaru Easy2Digital
Berlangganan keanggotaan bulanan kami melalui Patreon untuk menikmati manfaat eksklusif ( www.patreon.com/louisludigital )

Pertanyaan yang Sering Diajukan:

Q1: Apa itu Taobao?

A: Taobao adalah sebuah platform e-commerce yang berbasis di Tiongkok. Platform ini menyediakan berbagai macam produk dari berbagai kategori, seperti fashion, elektronik, peralatan rumah tangga, dan masih banyak lagi.

Q2: Bagaimana cara mendaftar akun di Taobao?

A: Anda dapat mendaftar akun di Taobao dengan mengunduh aplikasi Taobao di smartphone Anda atau mengunjungi situs web resmi Taobao. Kemudian, ikuti langkah-langkah pendaftaran yang disediakan dan lengkapi data-data yang diperlukan.

Q3: Apakah barang-barang di Taobao asli?

A: Di Taobao, terdapat berbagai macam penjual yang menjual produk-produk mereka. Sebagian besar barang di Taobao adalah asli, namun ada juga penjual yang menjual barang palsu. Untuk memastikan keaslian barang, Anda dapat melihat rating dan ulasan dari penjual serta melihat foto-foto produk yang disediakan.

Q4: Bagaimana cara menghubungi penjual di Taobao?

A: Anda dapat menghubungi penjual di Taobao melalui fitur pesan yang disediakan di aplikasi atau situs web Taobao. Anda juga dapat melihat kontak penjual yang tertera di halaman produk.

Q5: Apakah Taobao menyediakan layanan pengiriman internasional?

A: Ya, Taobao menyediakan layanan pengiriman internasional. Ada beberapa opsi pengiriman yang dapat dipilih, seperti melalui kurir resmi Taobao atau menggunakan jasa pengiriman pihak ketiga.

Q6: Bagaimana cara melakukan pembayaran di Taobao?

A: Anda dapat melakukan pembayaran di Taobao menggunakan berbagai metode pembayaran, seperti transfer bank, kartu kredit, dan e-wallet. Pilih metode pembayaran yang tersedia saat melakukan checkout.

Q7: Apakah ada jaminan keamanan saat berbelanja di Taobao?

A: Taobao memiliki sistem keamanan yang ketat untuk melindungi data dan transaksi pengguna. Selain itu, Anda juga dapat melihat rating dan ulasan dari penjual sebelum melakukan pembelian.

Q8: Bagaimana cara mengembalikan barang yang dibeli di Taobao?

A: Jika Anda ingin mengembalikan barang yang dibeli di Taobao, Anda perlu menghubungi penjual terlebih dahulu untuk mendapatkan petunjuk pengembalian. Setiap penjual memiliki kebijakan pengembalian yang berbeda.

Q9: Apakah ada batasan berat dan ukuran barang yang dapat dikirim dari Taobao?

A: Ya, terdapat batasan berat dan ukuran barang yang dapat dikirim dari Taobao. Batasan ini dapat berbeda-beda tergantung pada metode pengiriman yang dipilih.

Q10: Apakah ada biaya tambahan saat menggunakan layanan pengiriman internasional di Taobao?

A: Ya, saat menggunakan layanan pengiriman internasional di Taobao, Anda mungkin dikenakan biaya tambahan seperti biaya pengiriman, pajak impor, atau biaya penanganan khusus.