Преобразователи данных помогают преобразовывать запасы данных между различными форматами в ожидаемый формат, который вам нравится использовать, например SQL, CSV, JSON, XML и т. д. SaaS. Я считаю, что эта часть может помочь управлять вашими данными в SQL и CSV.
Итак, в этой главе я расскажу вам, как создать преобразователь данных для преобразования данных CSV или Google Sheets в SQL. И наоборот, он также инструктирует вас, как превратить SQL в CSV или Google Sheets. В этом руководстве будет использоваться Sqlite3, который обычно подходит разработчикам для создания приложений. Методология используется совместно с SQL.
Содержание: Преобразователь данных
- Конвертер CSV в SQL
- Конвертер Google Таблиц в SQL
- Конвертер SQL в CSV
- Конвертер SQL в Google Таблицы
- Полный скрипт Python для конвертера данных для преобразования CSV в SQL, SQL в CSV, SQL в Google Sheet
Конвертер данных – CSV в SQL
Существует 5 классов и методов Sqlite3, а также CSV и pandas, используемые при создании преобразователя данных.
Connect() — создание подключения к базе данных SQLite
Функция sqlite3 connect() возвращает объект Connection , который мы будем использовать для взаимодействия с базой данных SQLite, хранящейся в файле. Например, здесь мы создаем новое имя файла БД в b2bcontacts.DB.
connection = sqlite3.connect("ceInfluencer.db") Cursor() and Execute() — создать новую таблицу данных в файле БД.
sqlite3. Класс Cursor — это экземпляр, с помощью которого вы можете вызывать методы, выполняющие операторы SQLite, извлекать данные из наборов результатов запросов. Вы можете создать объект Cursor, используя метод cursor() объекта и класса Connection.
cursor = connection.cursor()
Затем sqlite3 execute — это команда для запуска кода или скрипта для выполнения того, что вы хотите. Здесь нам нужно создать новую таблицу с именем in проспект. В таблице перспектив. Также нам нужно добавить имя столбца и классифицировать тип данных, который может быть текстовым, целочисленным, плавающим и т. д. И соответственно есть « ''' в начале и в конце именования столбца.
cursor.execute('''CREATE TABLE prospect(Category TEXT, Quality_Score TEXT, Country TEXT, B2BLead_Name TEXT, Email Contact TEXT)''')Плюс CSV и Pandas для вставки данных в файл БД.
Теперь нам нужно сгенерировать контактные данные B2B, которые у нас уже есть в CSV-файле, и преобразовать формат, который можно мгновенно передать в SQL. Здесь нам нужно удалить заголовок, как указано выше, мы создали новый заголовок в файле БД, который используется в приложении. Наконец, нам просто нужно добавить и кадрировать данные с помощью Pandas.
B2BData = []with open("B2Bdata_Inventory.csv","r") as csv_file:csv_reading = csv.reader(csv_file)header = next(csv_reading)if header != None:for i in csv_reading:column1 = i[0:]B2BData.append(column1)df = pd.DataFrame(influencerData)Для вставки каждой строки данных в файл БД нам нужно создать цикл с длиной данных df. Здесь нужно отметить два места. Одним из них является метод VALUES, где нам нужно добавить вопросительные знаки. Их общее количество равно количеству столбцов, которые мы создали выше.
for item in range(len(df)):cursor.execute('''INSERT INTO influencer VALUES(?,?,?,?,?)''', df.iloc[item])Во-вторых, со списком целых чисел, присвоенным переменной item, мы можем вставить его в файл базы данных, используя df.iloc[item]. Это означает, что он дает команду вставить каждую строку данных df. Например, если данные df содержат 100 строк, цикл будет выполнен 100 раз.
Commit () and Close ()
Метод фиксации заключается в том, чтобы убедиться, что все изменения сохранены в файле базы данных, а затем мы можем закрыть скрипт после этого.
Конвертер данных — Google Таблицы в SQL
По сравнению с CSV to SQL разница заключается в том, что сначала нужно захватить Google Sheet и обработать их данными с помощью pandas. Остальные шаги такие же, как описано выше.
Для получения данных Google Sheet мы можем использовать модуль gspread.
-
scope = ['https://www.googleapis.com/auth/spreadsheets','https://www.googleapis.com/auth/drive.file','https://www.googleapis.com/auth/drive'] -
creds = ServiceAccountCredentials.from_json_keyfile_name('theGoogleServiceAccountJsonFile.json', scope) -
client = gspread.authorize(creds) -
sh = client.open('theSheetName') -
worksheet = sh.get_worksheet(theTabNumber) -
vLookupValue = worksheet.get_values(theDataRange') -
df = pd.DataFrame(vLookupValue)
Конвертер данных — конвертер SQL в CSV
Подключение к файлу БД, который вы хотите преобразовать в файл CSV, — это первый шаг. Затем нам нужно создать цикл для добавления данных файла базы данных из каждой строки. Наконец, нам просто нужно создать фрейм данных и сохранить его в файл csv.
connection = sqlite3.connect('googleCompetitor.db')googleData = []data = connection.cursor()for column in data.execute('SELECT * FROM influencer'):googleData.append(column)df = pd.DataFrame(googleData)print(df)df.to_csv('competitorTesting.csv', encoding='utf-8-sig')Конвертер SQL в Google Таблицы
Помимо подключения к листу Google и вывода данных SQL, нам необходимо загрузить преобразованные данные в назначенную электронную таблицу. Вот пример, если мы используем gspread.
df = pd.DataFrame(googleData)value_list = sh.values_update("testing!A1", params={'valueInputOption': 'USER_ENTERED'},body=dict(values=df.T.reset_index().T.values.tolist()))Полный Python Script конвертеров данных для преобразования CSV в SQL, SQL в CSV, SQL в Google Sheet
Если вас интересует полный скрипт Python из главы 46: Преобразователи данных для преобразования CSV в SQL, SQL в CSV, Google Sheets в SQL, пожалуйста , подпишитесь на нашу рассылку , добавив сообщение «Глава 46» . Мы отправим вам сценарий немедленно на ваш почтовый ящик.
Надеюсь, вам понравится читать главу 46: Преобразователи данных для преобразования CSV в SQL, SQL в CSV, Google Sheets в SQL. Если вы это сделали, пожалуйста, поддержите нас, выполнив одно из перечисленных ниже действий, п. отому что это всегда помогает нашему каналу.
- Поддержите и пожертвуйте нашему каналу через PayPal ( paypal.me/Easy2digital )
- Подпишитесь на мой канал и включите колокольчик уведомлений канала Easy2Digital Youtube .
- Подписывайтесь и лайкайте мою страницу Страница Easy2Digital в Facebook
- Поделитесь статьей в своей социальной сети с хэштегом #easy2digital
- Покупайте товары с кодом скидки Easy2Digital 10% OFF ( Easy2DigitalNewBuyers2021)
- Вы подписываетесь на нашу еженедельную рассылку, чтобы получать последние статьи, видео и коды скидок Easy2Digital.
- Подпишитесь на наше ежемесячное членство через Patreon, чтобы пользоваться эксклюзивными преимуществами ( www.patreon.com/louisludigital )
