blog details
author


blog detail

数据转换器可帮助将不同格式之间的数据清单转换为您喜欢使用的预期格式,例如 SQL、CSV、JSON、XML 等。如果您正在寻找通过 API 或B2B 潜在客户销售可联系数据来货币化数据的方法, SaaS。我相信这篇文章可以帮助您管理 SQL 和 CSV 中的数据库存。

因此,在本章中,我将引导您了解如何构建数据转换器以将 CSV 或 Google Sheets 数据清单转换为 SQL。相反,它还指导您如何将 SQL 转换为CSV 或 Google Sheets。本教程将使用 Sqlite3,它通常适合开发人员构建应用程序。该方法与 SQL 共享。

目录:数据转换器

数据转换器 – CSV 到 SQL

有 5 个 Sqlite3 类和方法以及用于构建数据转换器的 CSV 和 pandas。

Connect()
– 创建与 SQLite 数据库的连接

sqlite3

connect()
函数返回一个Connection对象,我们将使用该对象与文件中保存的 SQLite 数据库进行交互。例如,这里我们新建一个DB文件名b2bcontacts.DB

connection = sqlite3.connect("ceInfluencer.db")

Cursor() and Execute()
– 在 DB 文件中创建一个新的数据表

sqlite3。 Cursor 类是一个实例,您可以使用它调用执行 SQLite 语句的方法,从查询的结果集中获取数据。您可以使用Connection 对象和类的

cursor()
方法创建Cursor 对象。

cursor = connection.cursor()

然后 sqlite3execute 是运行代码或脚本来执行你想要的东西的命令。这里我们需要创建一个名为prospect的新表。在前景表内。另外我们还需要添加列名并对数据类型进行分类,可以是文本、整数、浮点等。并且列命名的开头和结尾分别有一个“'''。

cursor.execute('''CREATE TABLE prospect(Category TEXT, Quality_Score TEXT, Country TEXT, B2BLead_Name TEXT, Email Contact TEXT)''')

加上CSV和Pandas将数据插入到DB文件中

.

现在,我们需要生成 CSV 文件中已有的 B2B 联系人数据,并转换为可以立即提供给 SQL 的格式。这里我们需要删除标头,如上所述,我们在应用程序中使用的数据库文件中创建了一个新标头。最后,我们只需要使用 Pandas 附加数据并对其进行数据框化

B2BData = []

with open("B2Bdata_Inventory.csv","r") as csv_file:

csv_reading = csv.reader(csv_file)

header = next(csv_reading)

if header != None:

for i in csv_reading:

column1 = i[0:]

B2BData.append(column1)

df = pd.DataFrame(influencerData)

为了将每行数据插入到 DB 文件中,我们需要使用 df 数据的长度创建一个循环。这里有两个地方需要我们注意。一种是 VALUES 方法,我们需要在其中添加问号。它们的总数与我们上面创建的列数相同。

for item in range(len(df)):

cursor.execute('''INSERT INTO influencer VALUES(?,?,?,?,?)''', df.iloc[item])

其次,将整数列表分配给 item 变量后,我们可以使用 df.iloc[item] 将其插入到 db 文件中。这意味着它命令插入 df 数据的每一行。例如,如果df数据有100行,则会循环100次。

Commit () and Close ()

Commit方法是确保所有更改都保存到数据库文件中,然后我们可以关闭脚本。

blog detail

数据转换器 – Google Sheet 到 SQL

与 CSV 到 SQL 相比,不同之处在于首先获取 Google Sheet 并使用 pandas 对其进行数据框架。其余步骤与上面相同。

为了获取 Google Sheet 数据,我们可以使用 gspread 模块

  • scope = ['https://www.googleapis.com/auth/spreadsheets','https://www.googleapis.com/auth/drive.file','https://www.googleapis.com/auth/drive']
  • creds = ServiceAccountCredentials.from_json_keyfile_name('theGoogleServiceAccountJsonFile.json', scope)
  • client = gspread.authorize(creds)
  • sh = client.open('theSheetName')
  • worksheet = sh.get_worksheet(theTabNumber)
  • vLookupValue = worksheet.get_values(theDataRange')
  • df = pd.DataFrame(vLookupValue)

数据转换器 – SQL 到 CSV 转换器

第一步是连接到要转换为 CSV 文件的 DB 文件。然后,我们需要创建一个循环来附加每行的数据库文件数据。最后,我们只需要数据框并将其保存到 csv 文件。

connection = sqlite3.connect('googleCompetitor.db')

googleData = []

data = connection.cursor()

for column in data.execute('SELECT * FROM influencer'):

googleData.append(column)

df = pd.DataFrame(googleData)

print(df)

df.to_csv('competitorTesting.csv', encoding='utf-8-sig')

SQL 到 Google Sheet 转换器

除了连接Google表格并输出SQL数据外,我们还需要将转换后的数据上传到指定的电子表格中。这是我们使用 gspread 的示例。

df = pd.DataFrame(googleData)

value_list = sh.values_update("testing!A1", params={'valueInputOption': 'USER_ENTERED'},body=dict(values=df.T.reset_index().T.values.tolist()))

数据转换器的完整 Python 脚本,用于将 CSV 转换为 SQL、SQL 转换为 CSV、SQL 转换为 Google Sheet

如果您对第 46 . 章的完整 Python 脚本感兴趣:将 CSV 转换为 SQL、SQL 转换为 CSV、Google Sheets 转换为 SQL 的数据转换器,请添加消息“第 46 章”来订阅我们的时事通讯。我们会立即将脚本发送到您的邮箱。

我希望您喜欢阅读第 46 章:将 CSV 转换为 SQL、将 SQL 转换为 CSV、将 Google Sheets 转换为 SQL 的数据转换器。如果您这样做了,请通过执行下列操作之一来支持我们,因为这总是对我们的频道有所帮助。


分享文章

目前没有留言...

shape shape

免费订阅最新内容更新

获取独家自动样式内容更新和优惠