Web -Scraping: HTML -basierte Webbots mit BeautifulSoup erstellen

ringproduct = ringoffers.find('div', class_='plp-product')

In this line of code, we define a variable, ringrproductwhich represents the data of the target path under ringoffers. Just keep in mind, that in the Python method, we usually use commas to split the HTML source code and use single quotes for each source code. Regarding class, we need to use class_=, because class= stands for the other function in Python.

Wenn wir versuchen, dies auszudrucken und den Befehl B B zu sehen, können Sie diese Codezeilen sehen, die die Abschnittsdaten bereits greifen können. Es funktioniert.

Da Ring.com nicht nur einen Satz von Bündeln auf der Angebotsseite verkauft hat, müssen wir die andere Methode find_all () verwenden. Wir müssen nur Find () durch find_all () ersetzen. Sie können alle Bündelabschnittsdaten generiert.

Geben Sie die Daten an, um zu analysieren und zu kratzen

Jetzt beginnen wir, die Zielabschnittsdaten und die spezifischen Daten zu analysieren, die wir kratzen möchten, wie wir bereits in diesem Artikel erwähnt haben.

Erstens ist es die Produktüberschrift

Wir können Entwicklertools inspizieren und sehen, Ring bietet Seite H4 nur die Überschrift der Bündelprodukte, sodass wir direkt eine Codezeile schreiben können:

headline = ringproduct.h4.text
print(headline)

In Python haben wir einen Pfad unter Verwendung eines Punktes mit Ausnahme eines Pfades innerhalb einer Methode aufgeteilt. Wenn wir die String -Daten kratzen, können wir Text nach H4 verwenden.

Dann seine Unterkopflinie und Beschreibung

We can see there are two places that are using h6 (subheadline and description). So different from the headline, we need to use find() method and locate a specific h6 data

subheadline = ringproduct.find('h6', class_='sub-title size-xs').text
print(subheadline)

description = ringproduct.find('h6',class_='product-description font__exlight').text
print(description)

Sie werden herausfinden, dass nicht alle Produktbündel Unterschreitungsleitungen haben. In Python müssen wir fehlende Daten übergeben, um Fehler beim Ausführen der Skriptdatei zu vermeiden. Ich werde gleich darüber sprechen.

Dann ist es der reguläre Preis und der Aktionspreis

promote_price = ringproduct.find('span',class_='regular-price').text
print(promote_price)

regular_price = ringproduct.find('span',class_='compare-price').text
print(regular_price)

Last but not least ist es die Product Landing URL

Zeilen von Code:

product_url = ringproduct.a['href']
product_link = f'https://ring.com{product_url}'
print(product_link)

Basically, there’s only one unique URL showing in the source code of each product bundle. For example, the product starter kit landing path is collections/offers/products/starter-kit. So we could ignore which value we aim to scrape and directly leverage [ ], to scrape href value in a section: product_url = ringproduct.a['href']

Wenn wir diese Datenpfade jedoch in eine Datei kratzen, können sie nicht auf der Seite geöffnet und zugegriffen werden. Zum Anzeigen der vollständigen URL können wir eine variable product_link erstellen und die Formatfunktion nutzen, indem wir F “ verwenden und product_url in {} einfügen.

product_link = f'https://ring.com{product_url}’

Wenn wir versuchen, dies auszudrucken, können wir ein Ergebnis erzielen, das beweist, dass es funktioniert.

Erstellen Sie eine Schleife, um alle abschnittsspezifizierten Daten abzukratzen

Diese Codezeilen funktionieren, damit wir ihn ausrollen können, um alle Daten in großen Mengen abzukratzen. Dafür müssen wir für… IN und Find_all Methoden verwenden:

for ringproduct in ringoffers.find_all('div', class_='plp-product'):

Da sich dieser Code auf der Ebene der Eltern befindet, müssen wir am Ende dieser Zeilen von Code- und Einrückungszeilen einen Dickdarm hinzufügen.

Wenn wir versuchen, dies auszudrucken, können wir das unten aufgeführte Ergebnis sehen, das alle Produktpaketinformationen enthält.

Übergeben Sie fehlende Daten in einigen Abschnitten

You might be aware that not all product bundles have subheadline and promotion price, so if you try to run subheadline and promotion price lines of code if you come across this response from Python: object has no attribute ‘text’, and it would stop the scraping process.

Dies ist die Reflexion der Kodierungswelt, da nicht alle Informationen in Ordnung und strukturiert sind. Deshalb müssen wir Try/AUSSEN verwenden, um dies zu bestehen, wenn wir rüberkommen.

Unterschrift:

try:
   subheadline = ringproduct.find('h6', class_='sub-title size-xs').text
except Exception as e:
   subheadline = None

Aktionspreis:

try:
   regular_price = ringproduct.find('span',class_='compare-price').text

except Exception as e:
   regular_price = None

Für den variablen Wert unter Ausnahme von Ausnahme als E können Sie ihn so festlegen, dass es leicht zu verstehen ist, z. B. keine, 0, „NA“ usw.

Ich habe keine festgelegt, damit Sie das Antwortergebnis sehen können

Speichern Sie die Daten in einer CSV -Datei

Jetzt ist das Python -Skript fertig und es ist an der Zeit, die abgekratzten Daten an einem Ort zu speichern, der entweder eine lokale Datei oder einen Online -Server sein kann.

Ich werde auf Details zur CSV -Datei eingehen, weil ich zuvor über diese Lektion gesprochen habe. Wenn Sie interessiert sind, lesen Sie bitte den anderen Artikel

Kapitel 3: Verwenden Sie das CSV -Modul, um CSV -Dateien zu schreiben, zu analysieren, zu lesen, um abgekratzte Daten zu verwalten

Nachdem die Codes fertig sind, würde eine CSV -Datei wie die folgende alle angegebenen Daten speichern, die wir kratzen möchten.