Previously we took the Ring.com website as an example in Python Tutorial. We walked you through how to specify Ring product price data to scrape and save the bulk of data in the local drive. Basically, the script code can scrape any general websites that are built and developed by CMS, such as WordPress, Shopify, etc. If you want to have a copy of the python script file, please contact us.

Being said that, we can’t use the script to scrape all types of websites. It’s because the data feed on some websites can be only accessible via API, such as Youtube, Facebook, Amazon, etc. Frankly, if you just want to scrape these sites’ data by URL, I suggest you leverage Google Sheet importxml instead of Python because it’s much easier (Time is money). On the other hand, automation and a bulk amount of scraping data work is your regular work, for example, if you are a social media marketer, you need to recruit influencers or KOLs, and the following series of articles can help relieve your stress and repeat manual work.

Сначала мы начнем с соскоба видео на YouTube, и к концу этого учебника по Python вы можете узнать, как установить ключ API YouTube, какие методы вы можете использовать на YouTube API, и как соскрести видео YouTube и видео -аналитические данные в шкала.

Соглашение: Создайте бот YouTube, чтобы очистить видео в тренде с использованием youtube и easy2digital APIS

• Создайте ключ API YouTube и установите Google API
• Как использовать документацию по API YouTube, чтобы начать кодирование сценария Python
• Возьмите в качестве примера поиск результатов поиска видео
• Руковывание Easy2digital API
• Полный сценарий питона на YouTube
• Часто задаваемые вопросы

Создайте ключ API YouTube и установите на своем Mac

Первое в первую очередь в учебном пособии Python, вам нужно создать учетную запись консоли Google API и новый проект. Зарегистрироваться очень просто и бесплатно, что вам нужно сделать, это всего лишь несколько шагов:

1) Поиск на консоли Google API и подпишитесь на новую учетную запись.

2) Then, on the right corner, you can see the “New Project” button. If you have already created it will appear in a separate window. The below picture will help you out.

3） You can click ‘enable APIs and services, and then search youtube. You can have some Youtube API options available and you can select Youtube Data API v3 if you are going to scrape video data.

4) В учетных данных вам необходимо создать новый ключ API, который будет использоваться через ваш сценарий Python. Ключ API — это уникальная строка и номер для определения шлюза, который вы используете для получения подачи данных, поэтому, пожалуйста, сохраняйте его конфиденциальным и не раскрывайте его. В противном случае вам нужно снять его и воссоздать снова.

5) Мы перейдем к установке и устанавливаем модуль Google APIS на нашем компьютере (Mac или Windows).

Как обычно, мы открываем терминал Mac и передаем эту команду

Pip3 install google-api-python-client

После того, как установка будет сделана, вы можете пройти в команде: список пипсов, и, как вы можете видеть, все показанные здесь модули включают BeautifulSoup и т. д.

Как использовать документацию по API YouTube, чтобы начать кодирование сценария Python

.

Прежде всего, нам нужно создать файл скрипта Python3 в Sublime Text, импортировать модуль Google API и создать переменную, которая передается в клавише YouTube API. И для любой документации, связанной с Google API, вы можете перейти к Google API-Python, либо перейти на страницу Google API на GitHub.

from googleapiclient.discovery import build

api_key = 'xxxxxxxxxx…..’ 

(ПРИМЕЧАНИЕ: Пожалуйста, сохраните свой ключевой номер API YouTube конфиденциально и безопасно, иначе вас легко взломали и придется воссоздать новый)

Затем нам нужно создать сервисный объект, который принимает имя API и версию API в качестве аргументов. Что касается создания объекта Python, я не буду вдаваться в подробности в этой статье, но я выпущу еще один, чтобы пройти вас.

Построить функцию

Для этого мы можем обратиться к Build (), а ниже — параметр аргумента в этой функции.

build(serviceName, version, http=None, discoveryServiceUrl=DISCOVERY_URI, developerKey=None, model=None, requestBuilder=HttpRequest, credentials=None, cache_discovery=True, cache=None,client_options=None, adc_cert_path=None, adc_key_path=None, num_retries=1)

Таким образом, мы создаем переменную, названную на YouTube, и передаем аргументы, чтобы создать объект

 youtube = build(‘youtube’, ‘v3’, developerKey=api_key)

• serviceName: We can pass in ‘youtube’ because the API is youtube
• version: We can use the version installed on our Google API console, which should be v3
• developer key: As we have created an api_key variable, so we can directly and simply pass in the variable ‘api_key’

Затем, так как нам нужно соскрести видео с запроса на ключевое слово результатов поиска, так что, во -первых, нам нужно проверить, позволяет ли API захватывать, их и то, что позволяет нам использовать метод API YouTube. Мы можем просто найти API YouTube и перейти на справочную страницу YouTube API, чтобы проверить.

Как вы можете видеть, YouTube предоставляет метод поиска и метод списка для пользователей для кодирования и получения данных результатов поиска. И в рамках метода вам предстоит довольно много параметров. В одном из них часть является обязательно. й в строке кодирования. Таким образом, с точки зрения очистки результатов поиска видео, мы можем попробовать эту строку кода, и она направлена ​​на то, чтобы получить видео информацию из запроса ключевого слова «Cring Spotlight Camera». Мы можем попробовать разные ключевые слова, как вам нравится.

request = youtube.search().list(

 part='snippet',

 q='ring spotlight camera',

 maxResults='50',

)

response = request.execute()

print(response)

It’s working and max.50 videos by using maxresult can be grabbed and shown on Sublime Text.

Соскажите видео в результате поиска на YouTube

Теперь данные из запроса ключевого слова доступны, мы предполагаем, что мы получаем 3 типа данных и дадим нам посмотреть, как найти местоположение данных.

• Название канала
• Название видео
• Видео идентификатор

The first thing first in Python Tutorial is we can see all the data of each video we aim to grab within the item [….]. And channel name & video title data are under the snippet path, and the video id is under the id path. So based on this, we can write lines of code.

'items': [{'kind': 'youtube#searchResult', 'etag': 'GGoUw-TsOsWwwPIBcKVUozGGrW8', 'id': {'kind': 'youtube#video', 'videoId': 'd7iJwF-5xGU'}, 'snippet': {'publishedAt': '2017-08-03T19:29:56Z', 'channelId': 'UCSDG3M0e2mGX9_qtHEtzj2Q', 'title': 'How to Install & Setup Ring Spotlight Cam | Easy to Connect', 'description': 'Learn how to easily setup and install your Ring Spotlight Cam & Battery. Spotlight Cam Battery comes with a 1080HD camera with two-way talk, two LED ...', 'thumbnails': {'default': {'url': 'https://i.ytimg.com/vi/d7iJwF-5xGU/default.jpg', 'width': 120, 'height': 90}, 'medium': {'url': 'https://i.ytimg.com/vi/d7iJwF-5xGU/mqdefault.jpg', 'width': 320, 'height': 180}, 'high': {'url': 'https://i.ytimg.com/vi/d7iJwF-5xGU/hqdefault.jpg', 'width': 480, 'height': 360}}, 'channelTitle': 'Ring', . 'liveBroadcastContent': 'none', 'publishTime': '2017-08-03T19:29:56Z'}},{'kind': 'youtube#searchResult', 'etag': '3P6Ws8ggqau3I0Dew2nDsRcsr0Q', 'id': {'kind': 'youtube#video', 'videoId': 'U-06WEwtaSk'}, 'snippet': {'publishedAt': '2020-01-21T14:52:47Z', 'channelId': 'UCXn_loz0TlUKarhS6sUoKVw', 'title': 'Is the Ring Spotlight Camera Worth Buying?', 'description': 'In this video we review the Ring Spotlight Camera. We like the Spotlight and the Floodlight because it will shine its lights and start recording video whenever ...', 'thumbnails': {'default': {'url': 'https://i.ytimg.com/vi/U-06WEwtaSk/default.jpg', 'width': 120, 'height': 90}, 'medium': {'url': 'https://i.ytimg.com/vi/U-06WEwtaSk/mqdefault.jpg', 'width': 320, 'height': 180}, 'high': {'url': 'https://i.ytimg.com/vi/U-06WEwtaSk/hqdefault.jpg', 'width': 480, 'height': 360}}, 'channelTitle': 'HomeAutomationX', 'liveBroadcastContent': 'none', 'publishTime': '2020-01-21T14:52:47Z'}}, 

channel_title = (item['snippet']['channelTitle'])

print(channel_title)

video_title = (item['snippet']['title'])

print(video_title)

try:

 vid_ids = (item['id']['videoId'])

except Exception as e:

 vid_ids = None

print(vid_ids)

Некоторые идентификаторы видео отсутствуют в данных, причина в том, что результат также показывает информацию о странице канала или связанные видео, поэтому для того, чтобы избежать ошибок очистки в процессе, нам необходимо добавить Try/, за исключением приведенного выше идентификатора видео.

Петля до царапины

Чтобы зациклить процесс Scrape, нам нужно добавить линию кода в качестве родительского уровня перед ним

for item in response['items']:

Тогда все видео можно скрепить, как вы можете видеть из результата.

Теперь мы можем импортировать данные в файл CSV

(Примечание: если вы заинтересованы в изучении, как проанализировать и передавать данные в CSV, пожалуйста, ознакомьтесь с этой статьей)

Глава 3: Используйте модуль CSV для записи, разбора, прочтите файлы CSV. для управления сокрасненными данными

Каждое видео на YouTube имеет уникальный идентификатор, и структура видео URL в основном такая

https://www.youtube.com/watch?v= + Video ID

Либо вы можете использовать метод формата в коде, либо вы можете использовать concatenate () в файле Excel.

Руковывание Easy2digital API

Если вы обнаружите, что сценарий может быть сложным, а также требует, чтобы вы обновляли сценарии и исправляли ошибки, вы можете использовать ASPI easy2digital youtube bot API. Вот конечная точка токена следующим образом:

https://www.buyfromlo.com?token=&youtubeKey=&keyword=

By using this API endpoint, you just need to add the Youtube key, Easy2Digital token, and the keywords related to the video content you aim to scrape. The scraped result is the same as the one shown above.

Для получения более подробной информации о маркетинговых API, пожалуйста, ознакомьтесь с этой страницей.

Easy2digital Marketing API документация

Easy2digital API бесплатный токен и сценарий Python Bot of YouTube

If you would like to have a free Easy2Digital API token and the full version of the Python Script of Youtube Bot Scraper, please subscribe to our newsletter by adding the message Chapter 5. We would send you asap to your mailbox.

Связаться с нами

Так легко, верно? Я надеюсь, что вам понравится читать главу 5: Создайте бот YouTube, чтобы очистить видео в тренде с помощью YouTube и Easy2digital API. Если вы это сделали, пожалуйста, поддержите нас, делая одну из перечисленных ниже вещей, потому что это всегда помогает нашему каналу.

• Support and donate to our channel through PayPal (paypal.me/Easy2digital)
• Subscribe to my channel and turn on the notification bell Easy2Digital Youtube channel.
• Follow and like my page Easy2Digital Facebook page
• Поделитесь статьей в вашей социальной сети с хэштегом #Easy2digital
• Buy products with Easy2Digital 10% OFF Discount code (Easy2DigitalNewBuyers2021)
• Вы регистрируетесь на нашем еженедельном информационном бюллетене, чтобы получить последние 2 -дигитальные последние статьи, видео и коды дисконтов

If you are interested in more Python Scraping via Youtube API, you can continue to read more in Chapter 6

Глава 6: Использование AST2Digital API и ключ на YouTube для просмотра, комментариях и аналогичных данных более 50 видео из лучших ранжирования.