数据分析| Pandas200道练习题，使用Pandas连接MySQL数据库

本文介绍: 在使用Pand a s进行数据分析的过程中有些数据源是存在数据库中，我们需要使用Pandas进行数据的读取，以及将分析后的结果保存到数据库中。本文主要介绍了三种查询相关的函数，一种保存数据的函数。最后还讲解了Panda对数据的删除和更新操作。

在这里插入图片描述

通过 pandas 实现数据库的读，写操作时，首先需要进行数据库的连接，然后通过调用 pandas所提供的数据库读写函数与方法来实现数据库的读写操作。

Pandas提供了3个函数用于数据库的读操作

Pandas提供了1个函数用于数据库的写操作

Jupy t e r Not e book

pip install pymysql
pip install sqlalchemy

pd.read_sql_query(
    sql,  # 需要执行查询的sql语句
    con,  # 数据库的连接
    index_col=None, 字符串或字符串列表，可选，默认值：无
    coerce_float: 'bool' = True, 尝试将非字符串，非数字对象（如decimal.Decimal）的值转换为浮点值
    params=None,
    parse_dates=None,
    chunksize: 'int | None' = None,
    dtype: 'DtypeArg | None' = None,
)

import pandas as pd 
import pymysql  # 导入操作mysql的数据包
import sqlalchemy 

# 使用pymysql进行连接数据库
db = pymysql.connect(host='127.0.0.1',user='root',passwd='123456',port=3306,charset='utf8',database='comment_v1')
# user   用户名
# password 密码
# host 端口号
# database 数据库名
# charset 编码格式

# 编写sql语句
sql = 'select * from user_comment'
# 通过read_sql_query函数进行查询
sql_query_data = pd.read_sql_query(sql=sql,con=db)
sql_query_data

NotImplementedError: read_sql_table only supported for SQLAlchemy connectable.

pd.read_sql_table(
    table_name: 'str', # 数据库名称
    con,               # 数据库连接
    schema: 'str | None' = None,
    index_col: 'str | Sequence[str] | None' = None,
    coerce_float: 'bool' = True,
    parse_dates=None,
    columns=None,
    chunksize: 'int | None' = None,
)

# 使用sqlalchemy连接数据库，依次设置
sql_query_db = sqlalchemy.create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/comment_v1")
# mysql+pymysql://root:123456@127.0.0.1:3306/comment_v1"
# mysql 连接的数据库类型
# pymysql 连接数据库的驱动
# root 用户名
# 123456 密码
# 127.0.0.1 数据库地址
# 3306端口号 
# comment_v1连接的数据库名称


# 通过read_sql_table 
table = pd.read_sql_table(table_name='user_comment',con=sql_query_db)
table

pd.read_sql(
    sql, # sql语句
    con, # 连接对象
    index_col: 'str | Sequence[str] | None' = None,
    coerce_float: 'bool' = True,
    params=None, 
    parse_dates=None,
    columns=None,
    chunksize: 'int | None' = None,
)

# 通过read_sql函数读取数据库的信息
# 使用pymysql进行连接数据库
db = pymysql.connect(host='127.0.0.1',user='root',passwd='123456',port=3306,charset='utf8',database='comment_v1')
sql = 'select * from user_comment'
read_sql = pd.read_sql(sql=sql,con=db)
read_sql

# 通过read_sql函数读取数据库的信息
# 使用pymysql进行连接数据库
sql_query_db = sqlalchemy.create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/comment_v1")
sql = 'select * from user_comment'
read_sql = pd.read_sql(sql=sql,con=sql_query_db )
read_sql

df.to_sql(
    name: 'str', # 表名称
    con, # 数据库连接
    schema=None, 
    if_exists: 'str' = 'fail',  # fail如果表已经存在就不执行写入，replace 如果表存在就删除原来的表，再进行写入，append代表在原有数据表中添加数据
    index: 'bool_t' = True,  # 是否将行索引写入数据库中
    index_label=None,
    chunksize=None,
    dtype: 'DtypeArg | None' = None,
    method=None,
)

# 使用sqlalchemy模块进行连接
sql_query_db = sqlalchemy.create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/atguigudb")
data = {
    "A":[1,2,3,4],
    "B":[6,7,8,9],
    "C":[4,3,2,1]
}
df = pd.DataFrame(data)
df.to_sql('to_sql_dome',con=sql_query_db,if_exists='append')
# 测试，查询
sql = "select * from to_sql_dome"
read_df = pd.read_sql(sql=sql,con=sql_query_db)
read_df

sql = "DELETE FROM to_sql_dome WHERE A = 1;"
read_df = pd.read_sql(sql=sql,con=sql_query_db)

sqlalchemy：
	ResourceClosedError: This result object does not return rows. It has been closed automatically.
pymsql：
	TypeError: 'NoneType' object is not iterable

sql = "update to_sql_dome set B=2 where A = 4"
read_df = pd.read_sql(sql=sql,con=db)

sqlalchemy：
	ResourceClosedError: This result object does not return rows. It has been closed automatically.
pymsql：
	TypeError: 'NoneType' object is not iterable
```rceClosedError: This result object does not return rows. It has been closed automatically.