Python Pandas pandas.DataFrame.to_sql函数方法的使用

Python的Pandas库中,pandas.DataFrame.to_sql函数是一个非常实用的方法,用于将DataFrame中的数据直接存储到SQL数据库中。这个方法非常有用,尤其是在数据处理和数据分析中,需要将处理后的数据保存到数据库中进行持久化存储,它是使Python成为强大而高效的数据分析环境的重要因素之一。本文主要介绍一下Pandas中DataFrame.to_sql方法的使用。

DataFrame.to_sql (name,con,schema = None,if_exists ='fail',index = True,index_label = None,chunksize = None,dtype = None ) [source]

将存储在DataFrame中的记录写入SQL数据库。

支持SQLAlchemy [R16]支持的数据库。可以新创建,附加或覆盖表。

参数:

namestr

SQL表的名称。

consqlalchemy.engine.Enginesqlite3.Connection

使用SQLAlchemy可以使用该库支持的任何数据库。

sqlite3.Connection对象提供了旧版支持。

schemastr,可选的

指定架构(如果数据库支持)。如果为None,请使用默认架构。

if_exists{'fail','replace','append'},默认'fail'

如果表已存在的情况如下,

  • fail:引发ValueError
  • replace:在插入新值之前删除表。
  • append:将新值插入现有表。

index:布尔值,默认为True

DataFrame索引写为列。使用index_label作为表中的列名。

index_label:字符串或序列,默认为None

索引列的列标签。如果给出None(默认)且 indexTrue

则使用索引名称。

如果DataFrame使用MultiIndex,则应该给出一个sequence。

chunksizeint,可选

行将一次批量写入的数量。默认情况下,所有行都将立即写入。

dtypedict,可选

指定列的数据类型。键应该是列名,值应该是SQLAlchemy类型,

sqlite3传统模式的字符串。

异常:

ValueError异常

当表已经存在且if_exists为'fail'时(默认值)。

例如,

1)创建内存中的SQLite数据库

import pandas as pd
from sqlalchemy import create_engine

# 创建SQLite数据库引擎
engine = create_engine('sqlite://', echo=False)

# 创建一个简单的DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35]
}
df = pd.DataFrame(data)

# 将DataFrame写入SQL数据库
df.to_sql(name='users', con=engine, if_exists='replace', index=False)

# 验证数据是否成功写入数据库
result = pd.read_sql('SELECT * FROM users', con=engine)
print(result)

2)从头开始创建一个包含3行的表

import pandas as pd
from sqlalchemy import create_engine

# 创建DataFrame
df = pd.DataFrame({'name': ['User 1', 'User 2', 'User 3']})

# 创建SQLite数据库引擎(使用内存中的SQLite数据库)
engine = create_engine('sqlite:///:memory:')

# 将DataFrame写入名为'users'的新表中
df.to_sql('users', con=engine, index_label='id')

# 查询并显示表中的数据
result = engine.execute("SELECT * FROM users").fetchall()
print(result)
# 输出: [(0, 'User 1'), (1, 'User 2'), (2, 'User 3')]

# 创建另一个DataFrame
df1 = pd.DataFrame({'name': ['User 4', 'User 5']})

# 将新的DataFrame追加到已存在的表中
df1.to_sql('users', con=engine, if_exists='append', index_label='id')

# 再次查询并显示表中的数据
result = engine.execute("SELECT * FROM users").fetchall()
print(result)
# 输出: [(0, 'User 1'), (1, 'User 2'), (2, 'User 3'), (0, 'User 4'), (1, 'User 5')]

3)用df1覆盖表

import pandas as pd
from sqlalchemy import create_engine

# 创建一个简单的DataFrame
data = {'name': ['User 4', 'User 5']}
df1 = pd.DataFrame(data)

# 创建SQLite数据库引擎(这里使用内存中的SQLite数据库)
engine = create_engine('sqlite:///:memory:')

# 将DataFrame写入SQL数据库
# 注意:我们将索引列标签设置为'id'
df1.to_sql(name='users', con=engine, if_exists='replace', index_label='id')

# 执行SQL查询以验证数据
result = engine.execute("SELECT * FROM users").fetchall()

# 打印查询结果
print(result)

4)指定dtype(对于具有缺失值的整数很有用)。请注意,虽然pandas被强制将数据存储为浮点数,但数据库支持可空整数。使用Python获取数据时,我们会返回整数标量。

import pandas as pd
from sqlalchemy import create_engine
from sqlalchemy.types import Integer

# 创建DataFrame
df = pd.DataFrame({"A": [1, None, 2]})

# 创建SQLite数据库引擎
engine = create_engine('sqlite:///:memory:')

# 将DataFrame写入SQL数据库,指定整数类型的dtype
df.to_sql('integers', con=engine, index=False, dtype={"A": Integer()})

# 执行SQL查询并打印结果
result = engine.execute("SELECT * FROM integers").fetchall()
print(result)

推荐阅读
cjavapy编程之路首页