Les convertisseurs de données aident à convertir l’inventaire des données entre différents formats en un format attendu que vous aimez utiliser, tels que SQL, CSV, JSON, XML, etc. Si vous cherchez des moyens de monétiser les données en vendant des données contactables comme les prospects B2B via une API ou une API ou un SaaS. Je crois que cette pièce peut aider à gérer votre inventaire de données dans SQL et CSV.
Donc, dans ce chapitre, je vous expliquerai comment vous pouvez créer un convertisseur de données pour convertir l’inventaire de données CSV ou Google Sheets en SQL. Réversement, il vous indique également comment transformer SQL en feuilles CSV ou Google. Ce tutoriel utilisera SQLite3, qui convient généralement aux développeurs pour créer des applications. La méthodologie est partagée avec SQL.
Table des matières: Convertisseur de données
Convertisseur de données – CSV vers SQL
Il y a 5 classes et méthodes SQLITE3 plus CSV et PANDAS utilisés pour construire un convertisseur de données.
Connect() – Creating a Connection to an SQLite Database
The sqlite3 connect() the function returns a Connection object that we will use to interact with the SQLite database held in the file. For example, here we create a new DB file name in b2bcontacts.DB
connection = sqlite3.connect("ceInfluencer.db")
Cursor() and Execute() – Create a new data table in the DB file
The sqlite3. Cursor class is an instance using which you can invoke methods that execute SQLite statements, fetch data from the result sets of the queries. You can create a Cursor object using the cursor() method of the Connection object and class.
cursor = connection.cursor()
Ensuite, le SQLite3 EXECUTE est la commande pour exécuter un code ou un script pour exécuter quelque chose que vous voulez. Ici, nous devons créer une nouvelle table nommée dans Prospect. Dans le tableau des prospects. Nous devons également ajouter le nom de la colonne et catégoriser le type de données, qui est soit du texte, de l’entier, du flotteur, etc. et il y a respectivement un «« »au début et à la fin de la dénomination de la colonne.
cursor.execute('''CREATE TABLE prospect(Category TEXT, Quality_Score TEXT, Country TEXT, B2BLead_Name TEXT, Email Contact TEXT)''')
Plus CSV et Pandas pour insérer les données dans le fichier DB
Nous devons maintenant générer les données de contact B2B que nous avons déjà dans un fichier CSV et transformer le format qui peut se nourrir en SQL dans un instant. Ici, nous devons supprimer l’en-tête comme ci-dessus, nous avons créé un nouvel en-tête dans le fichier DB qui est utilisé dans l’application. Enfin, nous avons juste besoin d’ajouter et de cadrer les données à l’aide de pandas
B2BData = []
with open("B2Bdata_Inventory.csv","r") as csv_file:
csv_reading = csv.reader(csv_file)
header = next(csv_reading)
if header != None:
for i in csv_reading:
column1 = i[0:]
B2BData.append(column1)
df = pd.DataFrame(influencerData)
Pour insérer chaque ligne de données dans le fichier DB, nous devons créer une boucle avec la longueur des données DF. Il y a deux endroits que nous devons remarquer ici. L’une est la méthode des valeurs où nous devons ajouter les points d’interrogation. Le montant total d’entre eux est le même que le nombre de colonnes que nous avons créées ci-dessus.
for item in range(len(df)):
cursor.execute('''INSERT INTO influencer VALUES(?,?,?,?,?)''', df.iloc[item])
Deuxièmement, avec une liste d’entiers affectés à la variable d’élément, nous pouvons l’insérer au fichier db à l’aide de DF.iloc [item]. Cela signifie qu’il commande pour insérer chaque ligne des données DF. Par exemple, si les données DF ont 100 lignes, elles bouclent 100 fois.
Commit () and Close ()
La méthode de validation consiste à s’assurer que toutes les modifications sont enregistrées dans le fichier de base de données, puis nous pouvons fermer le script après.
Convertisseur de données – Google Sheet en SQL
Par rapport au CSV à SQL, la différence est de saisir d’abord la feuille Google et de les encadrer à l’aide de pandas. Les autres étapes sont les mêmes que ci-dessus.
Pour récupérer les données Google Sheet, nous pouvons utiliser le module GSPread
scope = ['https://www.googleapis.com/auth/spreadsheets','https://www.googleapis.com/auth/drive.file','https://www.googleapis.com/auth/drive']
creds = ServiceAccountCredentials.from_json_keyfile_name('theGoogleServiceAccountJsonFile.json', scope)
client = gspread.authorize(creds)
sh = client.open('theSheetName')
worksheet = sh.get_worksheet(theTabNumber)
vLookupValue = worksheet.get_values(theDataRange')
df = pd.DataFrame(vLookupValue)
Convertisseur de données – convertisseur SQL vers CSV
La connexion au fichier DB que vous souhaitez convertir en fichier CSV est la 1ère étape. Ensuite, nous devons créer une boucle pour ajouter les données de fichiers DB à partir de chaque ligne. Enfin, nous avons juste besoin de data cadre et de les enregistrer dans le fichier CSV.
connection = sqlite3.connect('googleCompetitor.db')
googleData = []
data = connection.cursor()
for column in data.execute('SELECT * FROM influencer'):
googleData.append(column)
df = pd.DataFrame(googleData)
print(df)
df.to_csv('competitorTesting.csv', encoding='utf-8-sig')
Convertisseur SQL à Google Sheet
Outre la connexion avec la feuille Google et la sortie des données SQL, nous devons télécharger les données converties en feuille de calcul attribuée. Voici l’échantillon si nous utilisons gspread.
df = pd.DataFrame(googleData)
value_list = sh.values_update("testing!A1", params={'valueInputOption': 'USER_ENTERED'},body=dict(values=df.T.reset_index().T.values.tolist()))
Script Python complet des convertisseurs de données pour convertir CSV en SQL, SQL en CSV, SQL en Google Sheet
If you are interested in the full Python script of Chapter 46: Data Converters to convert CSV to SQL, SQL to CSV, Google Sheets to SQL, please subscribe to our newsletter by adding the message “Chapter 46”. We would send you the script immediately to your mailbox.
J’espère que vous apprécierez la lecture du chapitre 46: Convertisseurs de données pour convertir CSV en SQL, SQL en CSV, Google Sheets en SQL. Si vous l’avez fait, veuillez nous soutenir en faisant l’une des choses énumérées ci-dessous, car cela aide toujours notre chaîne.
- Support and donate to our channel through PayPal (paypal.me/Easy2digital)
- Subscribe to my channel and turn on the notification bell Easy2Digital Youtube channel.
- Follow and like my page Easy2Digital Facebook page
- Partagez l’article sur votre réseau social avec le hashtag # easy2digital
- Buy products with Easy2Digital 10% OFF Discount code (Easy2DigitalNewBuyers2021)
- Vous vous inscrivez à notre newsletter hebdomadaire pour recevoir les derniers articles, vidéos et codes de réduction Easy2digital
- Subscribe to our monthly membership through Patreon to enjoy exclusive benefits (www.patreon.com/louisludigital)
