python数据处理小记
- 简介：
- 1、DataFram定义：
- 2、DataFrame的append
- 3、DataFrame去除列或行
- 4、DataFrame查看数据基本统计情况
- 5、DataFrame的applymap及apply操作
- 6、DataFrame的元素、列、行的获取
- 7、DataFrame的透视表
- 8、DataFrame空值处理、去重
- 9、DataFrame的数据库查询
- 10、DataFrame插入数据库
- 11、python去除字符串前后指定值
简介：
目前从事数据版块的工作，基本就是数仓、ETL、BI这一块。学习了一个python机器学习课程，在此记下学习过程中遇到的坑。pandas的详细使用可查：http://pandas.pydata.org/pandas-docs/stable/index.html
1、DataFram定义：
只定义列名
import pandas as pd
df = pd.DataFrame(columns=['姓名','年龄','性别'])
print(df)
输出为：
Empty DataFrame
Columns: [姓名, 年龄, 性别]
Index: []
列名及索引(行名)都定义：
import pandas as pd
df = pd.DataFrame(columns=['姓名','年龄','性别'],index=['甲','乙','丙'])
print(df)
输出为：
姓名 年龄 性别
甲 NaN NaN NaN
乙 NaN NaN NaN
丙 NaN NaN NaN
定义加上值：
import pandas as pd
df = pd.DataFrame([['张三',23,'男'],['李四',24,'女'],['王五',35,'男']],columns=['姓名','年龄','性别'],index=['甲','乙','丙'])
print(df)
输出为：
姓名 年龄 性别
甲 张三 23 男
乙 李四 24 女
丙 王五 35 男
2、DataFrame的append
append字典结构
import pandas as pd
df = pd.DataFrame(columns=['姓名','年龄','性别'])
print(df)
line = {'姓名':'张三','年龄':24,'性别':'男'}
df = df.append(line,ignore_index=True)
print(df)
输出为：
Empty DataFrame
Columns: [姓名, 年龄, 性别]
Index: []
姓名 年龄 性别
0 张三 24 男
append Series结构
方法1：
import pandas as pd
df = pd.DataFrame(columns=['姓名','年龄','性别'])
print(df)
line = pd.Series({'姓名':'张三','年龄':24,'性别':'男'})
df = df.append(line,ignore_index=True)
print(df)
输出为：
Empty DataFrame
Columns: [姓名, 年龄, 性别]
Index: []
姓名 年龄 性别
0 张三 24 男
方法2：
import pandas as pd
df = pd.DataFrame(columns=['姓名','年龄','性别'])
print(df)
line = pd.Series({'姓名':'张三','年龄':24,'性别':'男'},name='Series可以设置索引名称')
df = df.append(line,ignore_index=False)
print(df)
输出为：
Empty DataFrame
Columns: [姓名, 年龄, 性别]
Index: []
姓名 年龄 性别
Series可以设置索引名称 张三 24 男
如果是append字典，则ignore_index必须为True，如果是append Series结构，则可以设置ignore_index为False，然后设置特定的索引。
3、DataFrame去除列或行
去除列：
import pandas as pd
df = pd.DataFrame([['张三',23,'男'],['李四',24,'女'],['王五',35,'男']],columns=['姓名','年龄','性别'],index=['甲','乙','丙'])
print(df)
＃inplace如果设置为False，则不会替换原有对象
df.drop(columns=['姓名','年龄'],inplace=False)
print(df)
#列删除
df.drop(columns=['姓名','年龄'],inplace=True)
print(df)
#行删除
df = pd.DataFrame([['张三',23,'男'],['李四',24,'女'],['王五',35,'男']],columns=['姓名','年龄','性别'],index=['甲','乙','丙'])
df.drop(index='甲',inplace=True)
print(df)
输出为：
姓名 年龄 性别
甲 张三 23 男
乙 李四 24 女
丙 王五 35 男
姓名 年龄 性别
甲 张三 23 男
乙 李四 24 女
丙 王五 35 男
性别
甲 男
乙 女
丙 男
姓名 年龄 性别
乙 李四 24 女
丙 王五 35 男
drop方法，需要留意inplace变量，若要替换则设置为True，columns和index可以通过列表结构或字符串来定位需要删除的列和行。
行删除的方法二：
import pandas as pd
df = pd.DataFrame([['张三',23,'男'],['李四',24,'女'],['王五',35,'男']],columns=['姓名','年龄','性别'],index=['甲','乙','丙'])
print(df)
#isin是获取所有姓名为['张三']的行数据，~是取反的意思。
df = df[~df['姓名'].isin(['张三'])]
print(df)
输出为：
姓名 年龄 性别
甲 张三 23 男
乙 李四 24 女
丙 王五 35 男
姓名 年龄 性别
乙 李四 24 女
丙 王五 35 男
4、DataFrame查看数据基本统计情况
查看统计详情：
import pandas as pd
df = pd.DataFrame([['张三',23,'男'],['李四',24,'女'],['王五',35,'男']],columns=['姓名','年龄','性别'],index=['甲','乙','丙'])
print(df)
print(df.describe())
输出为：
姓名 年龄 性别
甲 张三 23 男
乙 李四 24 女
丙 王五 35 男
年龄
count 3.000000
mean 27.333333
std 6.658328
min 23.000000
25% 23.500000
50% 24.000000
75% 29.500000
max 35.000000
describe方法可以看到数据里面数值类型的基本统计情况。
5、DataFrame的applymap及apply操作
applymap操作：
import pandas as pd
df = pd.DataFrame([4,13,5,38,28,59,24,79],columns=['年龄'])
def testApplyMap(age):
#小于30的标记为年轻，大于等于30的标记为中年，大于等于60标记为老年
return '老年' if age >= 60 else ('中年' if age >= 30 else '年轻')
print(df)
print(df.applymap(testApplyMap))
print(df)
df = df.applymap(testApplyMap)
print(df)
输出为：
年龄
0 4
1 13
2 5
3 38
4 28
5 59
6 24
7 79
年龄
0 年轻
1 年轻
2 年轻
3 中年
4 年轻
5 中年
6 年轻
7 老年
年龄
0 4
1 13
2 5
3 38
4 28
5 59
6 24
7 79
年龄
0 年轻
1 年轻
2 年轻
3 中年
4 年轻
5 中年
6 年轻
7 老年
applymap是向方法中传入每一个元素，然后方法返回结果。applymap没有inplace参数，如果要覆盖原对象，需要进行重新赋值操作。
apply操作：
import pandas as pd
df = pd.DataFrame({
's1': [27.93, 58.08, 38.67, 45.83, 70.26, 46.61, 49.73, 34.02, 56.64, 57.28],
's2': [28.18, 50.61, 31.73, 31.48, 55.96, 22.73, 40.47, 42.02, 31.39, 64.21],
's3': [29.39, 51.62, 57.91, 45.94, 53.81, 45.77, 69.13, 28.75, 43.43, 55.7],
's4': [40.52, 48.55, 59.24, 71.21, 58.48, 63.63, 55.16, 34.9, 54, 68.03],
's5': [26.26, 54.03, 49.08, 46.53, 43.23, 56.79, 58.71, 26.43, 44.97, 54.16]
}, index = ['05-21', '05-22', '05-23', '05-24', '05-25', '05-26', '05-27', '05-28', '05-29', '05-30'])
def testApply(sale):
return max(sale)
print(df)
print(df.apply(testApply))
print(df.apply(testApply,axis=1))
print(df)
输出为：
s1 s2 s3 s4 s5
05-21 27.93 28.18 29.39 40.52 26.26
05-22 58.08 50.61 51.62 48.55 54.03
05-23 38.67 31.73 57.91 59.24 49.08
05-24 45.83 31.48 45.94 71.21 46.53
05-25 70.26 55.96 53.81 58.48 43.23
05-26 46.61 22.73 45.77 63.63 56.79
05-27 49.73 40.47 69.13 55.16 58.71
05-28 34.02 42.02 28.75 34.90 26.43
05-29 56.64 31.39 43.43 54.00 44.97
05-30 57.28 64.21 55.70 68.03 54.16
s1 70.26
s2 64.21
s3 69.13
s4 71.21
s5 58.71
dtype: float64
05-21 40.52
05-22 58.08
05-23 59.24
05-24 71.21
05-25 70.26
05-26 63.63
05-27 69.13
05-28 42.02
05-29 56.64
05-30 68.03
dtype: float64
s1 s2 s3 s4 s5
05-21 27.93 28.18 29.39 40.52 26.26
05-22 58.08 50.61 51.62 48.55 54.03
05-23 38.67 31.73 57.91 59.24 49.08
05-24 45.83 31.48 45.94 71.21 46.53
05-25 70.26 55.96 53.81 58.48 43.23
05-26 46.61 22.73 45.77 63.63 56.79
05-27 49.73 40.47 69.13 55.16 58.71
05-28 34.02 42.02 28.75 34.90 26.43
05-29 56.64 31.39 43.43 54.00 44.97
05-30 57.28 64.21 55.70 68.03 54.16
apply是想方法里面传入一列或者一行进行运算，axis=0是传入一列，axis=1则传入一行，默认为0。
6、DataFrame的元素、列、行的获取
import pandas as pd
df = pd.DataFrame([['张三',23,'男'],['李四',24,'女'],['王五',35,'男']],columns=['姓名','年龄','性别'],index=['甲','乙','丙'])
print(df,'\n')
print('DataFrame后面紧接[]，则可以获取对应列数据')
print(df['姓名'],'\n')
print('DataFrame后面紧接[][]，第一个为列名，第二个为行名')
print(df['姓名']['甲'],'\n')
print('DataFrame的iloc里面对应的是行的默认索引，0代表第一行，1代表第二行，如此类推')
print(df.iloc[0],'\n')
print('DataFrame的loc里面对应的行名')
print(df.loc['甲'],'\n')
print('获取列后，也是可以通过iloc和loc来获取行数据的')
print(df['姓名'].iloc[2])
print(df['姓名'].loc['丙'],'\n')
print('iat可以通过列和行的默认索引来定位数据')
print(df.iat[0,0],'\n')
输出为：
姓名 年龄 性别
甲 张三 23 男
乙 李四 24 女
丙 王五 35 男
DataFrame后面紧接[]，则可以获取对应列数据
甲 张三
乙 李四
丙 王五
Name: 姓名, dtype: object
DataFrame后面紧接[][]，第一个为列名，第二个为行名
张三
DataFrame的iloc里面对应的是行的默认索引，0代表第一行，1代表第二行，如此类推
姓名 张三
年龄 23
性别 男
Name: 甲, dtype: object
DataFrame的loc里面对应的行名
姓名 张三
年龄 23
性别 男
Name: 甲, dtype: object
获取列后，也是可以通过iloc和loc来获取行数据的
王五
王五
iat可以通过列和行的默认索引来定位数据
张三
7、DataFrame的透视表
方法为pivot_table：
import pandas as pd
import numpy as np
df = pd.DataFrame([ ['张三','语文',98.],
['张三','体育',60.],
['李四','数学',60.],
['李四','语文',100.],
['王五','数学',89],
['王五','体育',98.] ],
columns=['name','course','score'])
print(df.pivot_table('score',index='name',columns='course',aggfunc=np.sum,margins=True,fill_value=0))
输出为：
course 体育 数学 语文 All
name
张三 60 0 98 158.0
李四 0 60 100 160.0
王五 98 89 0 187.0
All 158 149 198 505.0
参数说明：
data: 创建透视表的dataframe
values: 要聚合的值, optional
index: 要聚合的index
columns: 要聚合的columns
aggfunc:聚合的方式, default numpy.mean
fill_value: 用来替换透视表的缺失值scalar, default None
margins: 添加所有行，列，例如在后面加个“总和”boolean, default False
dropna: 不要包含条目都是NaN的列boolean, default True
margins_name: 行列名称, default ‘All’
8、DataFrame空值处理、去重
空值处理：
import pandas as pd
df = pd.DataFrame([23,3,13,None,5],columns=['年龄'])
print(df,'\n')
#指定填充的值
print(df.fillna(0))
#取对应列的上一行数据
print(df.ffill())
#取对应列的下一行数据
print(df.bfill())
输出为：
年龄
0 23.0
1 3.0
2 13.0
3 NaN
4 5.0
年龄
0 23.0
1 3.0
2 13.0
3 0.0
4 5.0
年龄
0 23.0
1 3.0
2 13.0
3 13.0
4 5.0
年龄
0 23.0
1 3.0
2 13.0
3 5.0
4 5.0
多有的空值补充函数都不会覆盖原来对象，需要设置inplace=True参数才能覆盖。
去重：
import pandas as pd
df = pd.DataFrame([23,3,3,13,None,5],columns=['年龄'])
print(df,'\n')
print(df.drop_duplicates())
print(df)
df.drop_duplicates(inplace=True)
print(df)
输出为：
年龄
0 23.0
1 3.0
2 3.0
3 13.0
4 NaN
5 5.0
年龄
0 23.0
1 3.0
3 13.0
4 NaN
5 5.0
年龄
0 23.0
1 3.0
2 3.0
3 13.0
4 NaN
5 5.0
年龄
0 23.0
1 3.0
3 13.0
4 NaN
5 5.0
9、DataFrame的数据库查询
import pandas as pd
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/test?charset=utf8")
#SQL查询
def query(sql,engine):
return pd.read_sql(sql, engine, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)
df = query('select * from a limit 1',engine)
print(type(df))
print(df)
输出为：
id no name SYSTEM_SOURCE
0 1 1 哈哈 Z
参数详情：
sql ： 要执行的SQL查询。
con ： SQLAlchemy可连接（引擎/连接）或数据库字符串URI或DBAPI2连接（后备模式）使用SQLAlchemy可以使用该库支持的任何数据库。如果是DBAPI2对象，则仅支持sqlite3。
index_col ： 字符串或字符串列表，可选，默认值：无。要设置为索引的列（MultiIndex）。
coerce_float ： boolean，默认为True
尝试将非字符串，非数字对象（如decimal.Decimal）的值转换为浮点，这对SQL结果集很有用。
params ： list，tuple或dict，optional，默认值：None
要传递给执行方法的参数列表。用于传递参数的语法取决于数据库驱动程序。检查数据库驱动程序文档，了解支持PEP 249的paramstyle中描述的五种语法样式。例如。对于psycopg2，使用％（name）s所以使用params = {‘name’：‘value’}
parse_dates ： list或dict，默认值：None
要解析为日期的列名列表。
在解析字符串时间时格式字符串与strftime兼容的位置的字典，或者在解析整数时间戳的情况下是（D，s，ns，ms，us）之一。{column_name: format string}
dict of ，其中arg dict对应于关键字参数。 特别适用于没有本机Datetime支持的数据库，例如SQLite。{column_name: arg dict}pandas.to_datetime()
columns ： list，默认值：None
从SQL表中选择的列名列表（仅在读取表时使用）。
chunksize ： int，默认无
如果指定，则返回一个迭代器，其中chunksize是要包含在每个块中的行数。
10、DataFrame插入数据库
import pandas as pd
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/test?charset=utf8")
df = pd.DataFrame([['5','泷泽萝拉','岛国']],columns=['no','name','SYSTEM_SOURCE'])
#第一个参数为DataFrame格式的数据，第二个参数为表名，第三个参数为数据库连接，第四个为库名，第五个即存在相同的重复插入。这里的set_index是将no设置为索引列，如果不这样设置，它会默认的插入多一列index的索引列，因为数据库表是没有这一列的，这样会导致报错。
pd.io.sql.to_sql(df.set_index('no'),'a',engine,schema='test',if_exists='append')
11、python去除字符串前后指定值
去空格：
import pandas as pd
s = ' sskc ufss '
s = s.strip()
print(s)
s = s.lstrip('s')
print(s)
s = s.rstrip('s')
print(s)
输出为：
sskc ufss
kc ufss
kc uf
strip、lstrip、rstrip默认是去除空格，可以指定值进行去除。
未完待续，有空更新。。。
