Raspador TMall & Taobao usando palavras -chave para armazenamento, dados do produto

Tmall e Taobao é o maior mercado online B2C e C2B na China para quase todas as categorias de produtos, de produtos secos a produtos úmidos. A Amazon é um farol inspirador se você está procurando produtos para vender em todo o mundo ou se está defendendo sua participação comercial nos mercados-alvo. Na China, Tmall e Taobao são os lugares que você deve explorar. Basicamente, você pode encontrar qualquer coisa.

Neste capítulo, eu orientaria você na criação de um raspador de produto Tmall e Taobao que facilita a investigação ou construção de um monitor automático de preços. Ao final deste capítulo, você aprenderá todas as ferramentas e elementos que precisa conhecer e usar para construir um raspador de produto Tmall e Taobao. Em seguida, você pode inserir esses dados de maneira flexível em seu painel ou calculadora de lucros e perdas.

Índice: Raspador Tmall e Taobao

Qual é a diferença entre Taobao/Tmall e Amazon Product Scraper
Configuração da opção do Chrome para evitar a detecção de webdriver
Quais dados do produto você pode obter
Caminho de dados do produto Taobao e Tmall
Adicione Selenium Action Chain () especificamente para o raspador Tmall
Qual é o valor comercial desses dados?
Script Python completo do raspador de produto Taobao e Tmall
Perguntas frequentes

Qual é a diferença entre Taobao/Tmall e Amazon Product Scraper

O selênio também é o componente chave para construir o raspador de produtos Taobao e Tmall, bem como o raspador de produtos Amazon que examinamos anteriormente. Na China, as plataformas digitais muitas vezes exigem verificações diferentes, como SMS, passagem manual, identificação facial, identificação pessoal, etc. Os canais digitais chineses, em particular, são muito rigorosos quanto ao rastreamento de robôs suspeitos. Basicamente, a maioria das plataformas construiu um sistema mais ou menos imunológico resistente aos robôs.

É normal que seu robô enfrente esse desafio mostrado na foto acima na China. Diferente da verificação do canal ocidental, ela não requer apenas ação manual, mas também muda de tempos em tempos. Então, basicamente, o script precisa de ajustes se as alterações forem atualizadas. Este tipo de metodologia pode ser implementada na China Douyin, Zhihu, etc.

Neste artigo, mostraremos principalmente a detecção de driver da web e actionchain() para verificação manual de deslizamento.

Raspador Taobao – configuração `ChromeOption()`

Para Taobao e Tmall, o motivo é que eles configuraram um javascript para detectar o tráfego e justificar automaticamente se é proveniente de seres humanos ou de robôs.

Normalmente, se um usuário fizer login em sua conta Taobao ou Tmall, o javascript mostrará que o comportamento é indefinido em window.navigator.webdriver . Isso significa que não é um robô

No entanto, isso seria verdadeiro se esse comportamento estivesse sendo controlado por um webdriver, e então o Taobao e o Tmall transformariam isso em outro procedimento de resistência ao rastreamento.

Portanto, a primeira coisa é fingir que seu comportamento de raspagem é uma ação real do usuário. Para isso, precisamos adicionar codificações adicionais na configuração da opção Chrome.

Nessa configuração, eu recomendaria definir o ambiente do navegador Chrome para chinês simplificado, para que Taobao e Tmall não suspeitem que você seja um usuário de mercados internacionais.

Então, esses são os componentes principais para evitar ser detectado como um raspador de robô.

Por último, mas não menos importante, recomendo também adicionar codificações que pausam todos os carregamentos de imagens, com o objetivo de aumentar a velocidade de carregamento da web. Afinal, seu objetivo não é essas fotos.

Raspador Taobao – Quais dados do produto você pode obter

Em relação aos dados sucateáveis de produtos e itens do Taobao, há nomes de lojas, fotos de produtos, URLs de páginas de produtos, títulos, preços e vendas totais.

No conjunto de dados Tmall, é bastante semelhante ao Taobao. Possui uma métrica de dados exclusiva que é o número de avaliação do cliente. Ele permite que você compare as vendas com o número da avaliação.

Raspador Taobao – Caminho de dados do produto Taobao e Tmall

As codificações HTML e CSS Taobao e Tmall SERP são diferentes. Aqui eu pegaria Tmall, por exemplo.

Em primeiro lugar, é a estrutura do URL da página SERP. Como é uma extração baseada em palavras-chave, você precisa saber como criar uma URL com parâmetros de consulta alteráveis. Além do mais, você pode não apenas tentar raspar o SERP da primeira página. Abaixo estão as amostras dos produtos Swans no Taobao. E como cada página tem 60 produtos, cada paginação precisa adicionar 60. Por exemplo, s=60 significa que é a 2ª página. S=120 significa a 3ª página.

https://list.tmall.com/search_product.htm?q=swans
https://list.tmall.com/search_product.htm?q=swans&s=60
https://list.tmall.com/search_product.htm?q=swans&s=120

Em segundo lugar, em cada SERP, existem 60 peças do bloco de itens do produto como este. Ao criar um loop em seu script python, você pode usar esse caminho de dados para bloquear todos os blocos.

results = soup.find_all('div',{'class': 'product-iWrap'})

Por último, mas não menos importante, precisamos criar outro ciclo baseado nos dados de resultados e, especialmente, extrair os dados que precisamos para fins comerciais. Aqui eu seleciono o título do produto, URLs, nome da loja, vendas mensais e preço.

title = tag.find('p',{'class': 'productTitle'}).text.strip()
url = tag.find('a',{'class': 'productImg'})['href']
Shopname = tag.find('a',{'class': 'productShop-name'}).text.strip()
monthlySales = tag.find('p',{'class': 'productStatus'}).text.strip()
price = tag.find('p',{'class': 'productPrice'}).text.strip()

`Action chain ()` necessária para Tmall Scraper

Ao contrário do Taobao, o Tmall possui um processo de login mais rigoroso. É porque deve ter uma etapa de verificação manual de furto. Enquanto isso, Taobao é mais parecido com o raspador do Instagram que mostrei antes. Ele pode direcioná-lo diretamente para a página SERP após o login.

Felizmente, o Selenium é muito poderoso. Ele não possui apenas as funções de rolagem para cima e para baixo. Também pode facilitar o deslizamento horizontal em espera usando a função Cadeia de ação

Em primeiro lugar, você precisa importar este módulo no início do script python.

from selenium.webdriver.common.action_chains import ActionChains

Então, além de encontrar o caminho de dados do item do produto, você precisa identificar onde está o local do deslize e usar selênio para bloquear o caminho

slider = driver.find_element_by_id('nc_1_n1z')

Por último, mas não menos importante, podemos usar uma função de cadeia de ação e mais alguns métodos para estimular a ação concluída por um usuário real. Apenas lembre-me que é melhor definir um cronômetro depois de fazer login, pois às vezes o carregamento da página pode ser lento. Apenas no caso de seu IP estar na lista negra do Taobao e definido como um IP de robô.

log_in = WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"button[type='submit']"))).click()
time.sleep(15)

ActionChains(driver).click_and_hold(slider).move_by_offset(300, 0).pause(5).release().perform()

Raspador Taobao – Qual é o valor comercial desses dados?

Assim como o raspador de produtos da Amazon, o raspador de produtos Tmall e Taobao tem um enorme valor comercial para você aprender as oportunidades de mercado e o ambiente de concorrência. A partir dos dados de vendas e preços, você pode basicamente entender qual é o preço médio e quais estratégias de vendas são mais populares. A partir daqui, você pode saber quantos concorrentes estão vendendo produtos com valor semelhante ao seu. Você pode criar um monitor de preços em tempo real, assim como faz para os negócios da Amazon.

Além disso, é uma abordagem muito útil para encontrar produtos falsificados e recondicionados da sua marca. também são muito populares no Taobao e no Tmall, embora o Alibaba esteja ativamente colocando essas lojas de marcas falsas na lista negra. Porém, se o seu negócio for uma marca estrangeira, ainda será um desafio. É porque a entidade legal e a marca registrada não se conectam com o sistema do país ocidental. Portanto, mesmo que o registro comercial da sua marca e a inscrição no mercado comercial tenham sido feitos, isso não significa que eles sejam legais na China. Portanto, há um ditado que diz que tudo se resume a censura, documentação e custo inicial na China.

Script Python completo do raspador de produto Taobao e Tmall

Se você gostaria de ter a versão completa do Python Script do Tmall & Taobao Product Scraper, por favor assine nossa newsletter adicionando a mensagem “Capítulo Tutorial 22” . Enviaremos o script imediatamente para sua caixa de correio.

Contate-nos

Espero que você goste de ler o Capítulo 22: Raspador de produto Tmall e Taobao usando palavras-chave para buscar dados de itens. Se você fez isso, por favor, apoie-nos fazendo uma das coisas listadas abaixo, porque isso sempre ajuda nosso canal.

Apoie e doe para nosso canal através do PayPal ( paypal.me/Easy2digital )
Inscreva-se no meu canal e ative o sininho de notificação do canal Easy2Digital no Youtube .
Siga e curta minha página Página Easy2Digital no Facebook
Compartilhe o artigo em sua rede social com a hashtag #easy2digital
Compre produtos com código de desconto Easy2Digital 10% OFF ( Easy2DigitalNewBuyers2021)
Você se inscreve em nosso boletim informativo semanal para receber os artigos, vídeos e códigos de desconto mais recentes da Easy2Digital
Assine nossa assinatura mensal através do Patreon para aproveitar benefícios exclusivos ( www.patreon.com/louisludigital )

PERGUNTAS FREQUENTES:

Q1: O que é o raspador de produto Taobao?

R: Taobao Product Scraper é uma ferramenta que permite extrair dados de produtos do Taobao, uma popular plataforma de comércio eletrônico chinesa.

Q2: Como funciona o raspador de produto Taobao?

R: O Taobao Product Scraper funciona utilizando técnicas de web scraping para extrair informações do produto, como títulos, preços, descrições e imagens das páginas de produtos do Taobao.

Q3: O que posso fazer com os dados extraídos do Taobao Product Scraper?

R: Depois de extrair os dados usando o Taobao Product Scraper, você pode usá-los para vários fins, como pesquisa de mercado, análise de concorrentes, comparação de preços, gerenciamento de estoque e muito mais.

Q4: O Raspador de Produto Taobao é legal?

R: Embora o web scraping seja geralmente legal, a legalidade do scraping de sites específicos pode variar. É importante revisar e cumprir os termos de serviço do Taobao antes de usar o Taobao Product Scraper.

Q5: Posso extrair dados de produtos de várias lojas Taobao?

R: Sim, o Taobao Product Scraper permite que você extraia dados de produtos de várias lojas Taobao. Você pode especificar os URLs das lojas que deseja coletar ou usar palavras-chave de pesquisa para coletar produtos de várias lojas.

Q6: O Taobao Product Scraper suporta análises e classificações de produtos?

R: Sim, o Taobao Product Scraper pode extrair análises e classificações de produtos junto com outros dados do produto. Isso pode ser útil para analisar o feedback e o sentimento do cliente em relação aos produtos.

Q7: Posso agendar raspagens automatizadas com o Taobao Product Scraper?

R: Sim, o Taobao Product Scraper oferece opções de agendamento que permitem automatizar o processo de raspagem. Você pode configurar intervalos regulares para raspagem ou agendar horários específicos para raspagem.

Q8: Em quais formatos posso exportar os dados extraídos?

R: Taobao Product Scraper suporta a exportação de dados extraídos em vários formatos, como CSV, Excel, JSON ou formatos personalizados. Você pode escolher o formato que melhor atende às suas necessidades.

Q9: O Taobao Product Scraper é adequado para iniciantes?

R: Sim, o Taobao Product Scraper foi projetado para ser fácil de usar e acessível para iniciantes. Ele fornece uma interface simples e intuitiva para configurar e executar facilmente tarefas de raspagem.

Q10: O Taobao Product Scraper oferece suporte ao cliente?

R: Sim, o Taobao Product Scraper oferece suporte ao cliente para ajudá-lo com quaisquer dúvidas ou problemas que você possa encontrar ao usar a ferramenta. Você pode entrar em contato com a equipe de suporte para obter assistência.

Perguntas frequentes:

Q1: O que é o TMall Taobao?

A: O TMall Taobao é uma plataforma de compras online que oferece uma ampla variedade de produtos, incluindo moda, eletrônicos, decoração, entre outros.

Q2: Como faço para comprar no TMall Taobao?

A: Para comprar no TMall Taobao, é necessário criar uma conta e adicionar os produtos desejados ao carrinho de compras. Em seguida, siga as instruções para concluir o pagamento e fornecer informações de entrega.

Q3: Quais são as opções de pagamento disponíveis no TMall Taobao?

A: No TMall Taobao, você pode pagar usando métodos como cartão de crédito, boleto bancário, transferência bancária e sistemas de pagamento online, como Alipay.

Q4: Quanto tempo leva para receber os produtos comprados no TMall Taobao?

A: O tempo de entrega pode variar dependendo do local de envio e do método de envio escolhido. Geralmente, leva de 7 a 30 dias para receber os produtos.

Q5: Posso devolver ou trocar um produto comprado no TMall Taobao?

A: Sim, é possível devolver ou trocar um produto comprado no TMall Taobao. No entanto, é importante verificar a política de devolução do vendedor antes de fazer a compra.

Q6: Os produtos vendidos no TMall Taobao são originais?

A: O TMall Taobao oferece uma variedade de produtos de diferentes vendedores, portanto, a autenticidade dos produtos pode variar. É recomendável verificar a reputação do vendedor antes de fazer uma compra.

Q7: Como posso entrar em contato com o suporte ao cliente do TMall Taobao?

A: Para entrar em contato com o suporte ao cliente do TMall Taobao, você pode acessar o site oficial e procurar a opção de contato ou suporte. Lá, você encontrará informações sobre como entrar em contato com a equipe de suporte.

Q8: Posso rastrear o meu pedido no TMall Taobao?

A: Sim, é possível rastrear o seu pedido no TMall Taobao. Após a confirmação do envio, você receberá um código de rastreamento que poderá ser utilizado para acompanhar a entrega.

Q9: O TMall Taobao entrega no Brasil?

A: Sim, o TMall Taobao realiza entregas no Brasil. No entanto, é importante verificar se o vendedor oferece envio para o seu país antes de fazer a compra.

Q10: É seguro comprar no TMall Taobao?

A: O TMall Taobao é uma plataforma confiável e segura para fazer compras online. No entanto, é importante tomar algumas precauções, como verificar a reputação do vendedor e ler as avaliações dos produtos antes de fazer uma compra.