Pandas 教程
这是 Pandas 的入门教程。 本教程展示了如何使用 Pandas 库在 Python 中进行基本数据分析。 代码示例和数据可在作者的 Github 仓库中获得。
Pandas
Pandas 是 BSD 许可的开放源代码库，为 Python 编程语言提供了高性能，易于使用的数据结构和数据分析工具。
库的名称来自“面板数据”一词，这是对数据集的计量经济学术语，其中包括对同一个人在多个时间段内的观察。
它提供用于操纵数值表和时间序列的数据结构和操作。 主要的两种数据类型是：Series和DataFrame。
DataFrame是带有标记轴（行和列）的二维大小可变的，可能是异构的表格数据结构。 它是一个类似于电子表格的数据结构。 Series是DataFrame的单个列。 DataFrame可以看作是Series对象的字典。
安装 Pandas
使用以下命令安装 Pandas：
$ pip3 install pandas
我们使用pip3命令安装pandas模块。
$ pip3 install numpy
一些示例还使用numpy。
Pandas 简单的例子
以下是一个简单的 Pandas 示例。
simple.py
#!/usr/bin/env python3
import pandas as pd
data = [['Alex', 10], ['Ronald', 18], ['Jane', 33]]
df = pd.DataFrame(data, columns=['Name', 'Age'])
print(df)
在程序中，我们创建一个简单的DataFrame并将其打印到控制台。
import pandas as pd
我们导入 Pandas 库。
data = [['Alex', 10], ['Ronald', 18], ['Jane', 33]]
这是要在框架中显示的数据。 每个嵌套列表在表中都是一行。 请注意，有很多方法可以初始化 Pandas DataFrame。
df = pd.DataFrame(data, columns=['Name', 'Age'])
根据数据创建一个DataFrame。 我们用columns属性给框架列名。
$ python simple.py
Name Age
0 Alex 10
1 Ronald 18
2 Jane 33
这是输出。 第一列是行索引。
Pandas 改变索引
我们可以更新索引，使其不从 0 开始。
change_index.py
#!/usr/bin/env python3
import pandas as pd
data = [['Alex', 10], ['Ronald', 18], ['Jane', 33]]
df = pd.DataFrame(data, columns=['Name', 'Age'])
df.index = df.index + 1
print(df)
在示例中，我们将 1 加到索引。
$ python change_index.py
Name Age
1 Alex 10
2 Ronald 18
3 Jane 33
这是输出。
Pandas 标量序列
以下示例创建一系列标量值。
series_scalar.py
#!/usr/bin/env python3
import pandas as pd
s = pd.Series(5, index=[0, 1, 2, 3])
print(s)
我们有一列包含数字。
$ python series_scalar.py
0 5
1 5
2 5
3 5
dtype: int64
左列是索引。
Pandas 序列ndarray
我们可以从 numpy ndarray 创建一个系列对象。
series_numpy.py
#!/usr/bin/env python3
import pandas as pd
import numpy as np
data = np.array(['a', 'b', 'c', 'd'])
s = pd.Series(data)
print(s)
该示例从ndarray创建一列字母。
$ python series_numpy.py
0 a
1 b
2 c
3 d
dtype: object
这是输出。
Pandas 序列字典
可以从 Python 字典创建系列。
series_dict.py
#!/usr/bin/env python3
import pandas as pd
import numpy as np
data = {'coins' : 22, 'pens' : 3, 'books' : 28}
s = pd.Series(data)
print(s)
该示例根据一系列项目创建一个系列对象。
$ python series_dict.py
coins 22
pens 3
books 28
dtype: int64
索引由项目名称组成。
Pandas 序列检索
以下示例从一系列对象中检索值。
series_retrieve.py
#!/usr/bin/env python3
import pandas as pd
s = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])
print(s[0])
print('-----------------------')
print(s[1:4])
print('-----------------------')
print(s[['a','c','d']])
该示例从系列对象检索值。
print(s[0])
在这里，我们得到一个值。
print(s[1:4])
我们通过它们的索引检索行。
print(s[['a','c','d']])
在这里，我们通过索引标签获取值。
$ python series_retrieve.py
1
-----------------------
b 2
c 3
d 4
dtype: int64
-----------------------
a 1
c 3
d 4
dtype: int64
这是输出。
Pandas 自定义索引
索引列不必是数字。 我们可以创建自己的自定义索引。
custom_index.py
#!/usr/bin/env python3
import pandas as pd
data = {"country": ["Brazil", "Russia", "India", "China", "South Africa"],
"capital": ["Brasilia", "Moscow", "New Dehli", "Beijing", "Pretoria"],
"area": [8.516, 17.10, 3.286, 9.597, 1.221],
"population": [200.4, 143.5, 1252, 1357, 52.98]}
frame = pd.DataFrame(data)
print(frame)
print('------------------------------')
frame.index = ["BR", "RU", "IN", "CH", "SA"]
print(frame)
在示例中，我们从数据字典创建数据框架。 我们先打印数据框，然后使用index属性更改索引列。
$ python custom_index.py
country capital area population
0 Brazil Brasilia 8.516 200.40
1 Russia Moscow 17.100 143.50
2 India New Dehli 3.286 1252.00
3 China Beijing 9.597 1357.00
4 South Africa Pretoria 1.221 52.98
------------------------------
country capital area population
BR Brazil Brasilia 8.516 200.40
RU Russia Moscow 17.100 143.50
IN India New Dehli 3.286 1252.00
CH China Beijing 9.597 1357.00
SA South Africa Pretoria 1.221 52.98
这是输出。
Pandas 索引、列和值
PandasDataFrame具有三个基本部分：索引，列和值。
index_vals_cols.py
#!/usr/bin/env python3
import pandas as pd
data = [['Alex', 10], ['Ronald', 18], ['Jane', 33]]
df = pd.DataFrame(data, columns=['Name', 'Age'])
print(f'Index: {df.index}')
print(f'Columns: {df.columns}')
print(f'Values: {df.values}')
该示例显示数据框的索引，列和值。
$ python index_vals_cols.py
Index: RangeIndex(start=0, stop=3, step=1)
Columns: Index(['Name', 'Age'], dtype='object')
Values: [['Alex' 10]
['Ronald' 18]
['Jane' 33]]
这是输出。
Pandas 的总和和最大值
下面的示例计算数据帧列中值的总和和最大值。 它还使用numpy库。
sum_max.py
#!/usr/bin/env python3
import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(0, 1200, 2), columns=['A'])
# df.index = df.index + 1
print(sum(df['A']))
print(max(df['A']))
# print(df)
该示例计算最大值和值之和。 它使用numpy的arange()函数生成值数组。
print(sum(df['A']))
当计算总和值时，我们通过名称来引用该列。
$ sum_max.py
359400
1198
这是输出。
Pandas 读 CSV
Pandas 使用read_csv()从 CSV 文件读取数据。
military_spending.csv
Pos, Country, Amount (Bn. $), GDP
1, United States, 610.0, 3.1
2, China, 228.0, 1.9
3, Saudi Arabia, 69.4, 10.0
4, Russia, 66.3, 4.3
5, India, 63.9, 2.5
6, France, 57.8, 2.3
7, United Kingdom, 47.2, 1.8
8, Japan, 45.4, 0.9
9, Germany, 44.3, 1.2
10, South Korea, 39.2, 2.6
11, Brazil, 29.3, 1.4
12, Italy Italy, 29.2, 1.5
13, Australia Australia, 27.5, 2.0
14, Canada Canada, 20.6, 1.3
15, Turkey Turkey, 18.2, 2.2
这是一个简单的 CSV 文件，其中包含有关国家军事支出的数据。
注意：CSV 文件在第一行中可能具有可选的列名。
read_from_csv.py
#!/usr/bin/env python3
import pandas as pd
df = pd.read_csv("military_spending.csv")
print(df.to_string(index=False))
该示例从military_spending.csv文件中读取所有数据，并以表格格式将其打印到控制台。 它使用read_csv()方法。
print(df.to_string(index=False))
由于我们有positions列，因此我们从输出中隐藏索引。
$ python read_from_csv.py
Pos Country Amount (Bn. $) GDP
1 United States 610.0 3.1
2 China 228.0 1.9
3 Saudi Arabia 69.4 10.0
4 Russia 66.3 4.3
5 India 63.9 2.5
6 France 57.8 2.3
7 United Kingdom 47.2 1.8
8 Japan 45.4 0.9
9 Germany 44.3 1.2
10 South Korea 39.2 2.6
11 Brazil 29.3 1.4
12 Italy Italy 29.2 1.5
13 Australia Australia 27.5 2.0
14 Canada Canada 20.6 1.3
15 Turkey Turkey 18.2 2.2
这是输出。
Pandas 写 CSV
用to_csv()将DataFrame写入 CSV 文件。
write_csv.py
#!/usr/bin/env python3
import pandas as pd
data = [['Alex', 10], ['Ronald', 18], ['Jane', 33]]
df = pd.DataFrame(data, columns=['Name', 'Age'])
df.to_csv("users.csv", index=False)
该示例将数据写入users.csv文件。
Pandas 随机行
可以使用sample()选择数据帧中的随机行。
random_sample.py
#!/usr/bin/env python3
import pandas as pd
df = pd.read_csv("military_spending.csv")
print(df.sample(3))
在该示例中，我们从数据框中打印了三个随机行。
Pandas 数据定位
to_dict()将数据框转换为 Python 字典。 字典可以显示在不同的数据输出中。
data_orient.py
#!/usr/bin/env python3
import pandas as pd
data = [['Alex', 10], ['Ronald', 18], ['Jane', 33]]
df = pd.DataFrame(data, columns=['Name', 'Age'])
print('list')
print(df.to_dict(orient='list'))
print('************************************')
print('series')
print(df.to_dict(orient='series'))
print('************************************')
print('dict')
print(df.to_dict(orient='dict'))
print('************************************')
print('split')
print(df.to_dict(orient='split'))
print('************************************')
print('records')
print(df.to_dict(orient='records'))
print('************************************')
print('index')
print(df.to_dict(orient='index'))
该示例以六种不同格式将数据帧打印到控制台。
Pandas 描述
describe()方法生成描述性统计数据，该数据统计总结了NaN值之外的数据集分布的集中趋势，离散度和形状。
describing.py
#!/usr/bin/env python3
import pandas as pd
s1 = pd.Series([1, 2, 3, 4, 5, 6, 7, 8])
s2 = pd.Series([12, 23, 31, 14, 11, 61, 17, 18])
data = {'Vals 1': s1, 'Vals 2': s2}
df = pd.DataFrame(data)
print(df.describe())
该示例从数据框中打印描述性统计信息。
$ python describe.py
Vals 1 Vals 2
count 8.00000 8.000000
mean 4.50000 23.375000
std 2.44949 16.535136
min 1.00000 11.000000
25% 2.75000 13.500000
50% 4.50000 17.500000
75% 6.25000 25.000000
max 8.00000 61.000000
这是输出。
Pandas 计数
下一个示例对值进行计数。 您可以在 Github 仓库中找到employees.csv文件。
counting.py
#!/usr/bin/env python3
import pandas as pd
df = pd.read_csv("employees.csv")
print(df.count())
print(f'Number of columns: {len(df.columns)}')
print(df.shape)
count()方法计算每列的值数。 用len(df.columns)检索列数。 shape返回表示数据帧维数的元组。
$ python counting.py
First Name 933
Gender 855
Start Date 1000
Last Login Time 1000
Salary 1000
Bonus % 1000
Senior Management 933
Team 957
dtype: int64
Number of columns: 8
(1000, 8)
请注意，这些列具有不同数量的值，因为缺少某些值。
Pandas head()和tail()
使用head()和tail()方法，我们可以显示数据帧的前 n 行和后 n 行。
head_tail.py
#!/usr/bin/env python3
import pandas as pd
df = pd.read_csv("military_spending.csv")
print(df.head(4))
print('*******************************************')
print(df.tail(4))
该示例显示数据框的前四行和后四行。
$ python head_tail.py
Pos Country Amount (Bn. $) GDP
0 1 United States 610.0 3.1
1 2 China 228.0 1.9
2 3 Saudi Arabia 69.4 10.0
3 4 Russia 66.3 4.3
*******************************************
Pos Country Amount (Bn. $) GDP
11 12 Italy Italy 29.2 1.5
12 13 Australia Australia 27.5 2.0
13 14 Canada Canada 20.6 1.3
14 15 Turkey Turkey 18.2 2.2
这是输出。
Pandas 没有标题和索引
当我们显示数据框时，我们可以隐藏标题和索引。
no_header_index.py
#!/usr/bin/env python3
import pandas as pd
df = pd.read_csv("military_spending.csv")
print(df.head(4).to_string(header=False, index=False))
通过将header和index属性设置为False，我们将输出没有标题和索引的数据帧。
$ python no_header.py
1 United States 610.0 3.1
2 China 228.0 1.9
3 Saudi Arabia 69.4 10.0
4 Russia 66.3 4.3
这是输出。 （值 1 到 4 来自pos列。）
Pandas loc()
loc()方法允许按标签或布尔数组访问一组行和列。
select_loc.py
#!/usr/bin/env python3
import pandas as pd
data = {'Items': ['coins', 'pens', 'books'], 'Quantity': [22, 28, 3]}
df = pd.DataFrame(data, index=['A', 'B', 'C'])
print(df.loc['A'])
print('-------------------------------')
print(df.loc[['A', 'B'], ['Items']])
该示例使用loc()函数。
print(df.loc['A'])
在这里，我们得到第一行。 我们通过其索引标签访问该行。
print(df.loc[['A', 'B'], ['Items']])
在这里，我们获得了Items列的前两行。
$ python select_loc.py
Items coins
Quantity 22
Name: A, dtype: object
-------------------------------
Items
A coins
B pens
这是输出。
第二个示例显示如何通过布尔数组选择。
select_loc2.py
#!/usr/bin/env python3
import pandas as pd
data = {'Items': ['coins', 'pens', 'books'], 'Quantity': [22, 28, 3]}
df = pd.DataFrame(data, index=['A', 'B', 'C'])
print(df.loc[[True, False, True], ['Items', 'Quantity']])
该示例通过布尔数组选择行。
$ select_loc2.py
Items Quantity
A coins 22
C books 3
这是输出。
在第三个示例中，我们在选择时应用条件。
select_loc3.py
#!/usr/bin/env python3
import pandas as pd
df = pd.read_csv("employees.csv")
data = df.loc[(df['Salary'] > 10000) & (df['Salary'] < 50000)]
print(data.head(5))
该示例从employees.csv文件中打印出符合条件的前五行：薪水在 10000 至 50000 之间。
Pandas iloc
iloc函数允许基于整数位置的索引，以按位置进行选择。
select_iloc.py
#!/usr/bin/env python3
import pandas as pd
df = pd.read_csv("employees.csv")
# integer-location based indexing for selection by position.
# Multiple row and column selections using iloc and DataFrame
print(df.iloc[0:6]) # first six rows of dataframe
print('--------------------------------------')
print(df.iloc[:, 0:2]) # first two columns of data frame with all rows
print('--------------------------------------')
# 1st, 4th, 7th, 25th row + 1st 6th 8th column
print(df.iloc[[0, 3, 6, 24], [0, 5, 7]])
print('--------------------------------------')
# first 5 rows and 5th, 6th, 7th columns of data frame
print(df.iloc[:5, 5:8])
print('--------------------------------------')
该示例显示了如何使用iloc()选择行和列的各种组合。
Pandas 排序
sort_values()按升序或降序对系列进行排序。
sorting.py
#!/usr/bin/env python3
import pandas as pd
s1 = pd.Series([2, 1, 4, 5, 3, 8, 7, 6])
s2 = pd.Series([12, 23, 31, 14, 11, 61, 17, 18])
data = {'Col 1': s1, 'Col 2': s2}
df = pd.DataFrame(data)
print(df.sort_values('Col 1', ascending=True))
print('------------------------------------')
print('Sorted')
print(df.sort_values('Col 2', ascending=False))
该示例按升序或降序对列进行排序。
$ python sorting.py
Col 1 Col 2
1 1 23
0 2 12
4 3 11
2 4 31
3 5 14
7 6 18
6 7 17
5 8 61
------------------------------------
Sorted
Col 1 Col 2
5 8 61
2 4 31
1 1 23
7 6 18
6 7 17
3 5 14
0 2 12
4 3 11
这是输出。
在下一个示例中，我们按多列排序。
sorting2.py
#!/usr/bin/env python3
import pandas as pd
s1 = pd.Series([1, 2, 1, 2, 2, 1, 2, 2])
s2 = pd.Series(['A', 'A', 'B', 'A', 'C', 'C', 'C', 'B'])
data = {'Col 1': s1, 'Col 2': s2}
df = pd.DataFrame(data)
print(df.sort_values(['Col 1', 'Col 2'], ascending=[True, False]))
该示例按包含整数的第一列进行排序。 然后，将考虑第一排序的结果对第二列进行排序。
$ python sorting2.py
Col 1 Col 2
5 1 C
2 1 B
0 1 A
4 2 C
6 2 C
7 2 B
1 2 A
3 2 A
这是输出。
在本教程中，我们使用了 Pandas 库。
您可能也对以下相关教程感兴趣： Python 教程， OpenPyXL 教程， Python Requests 教程和 Python CSV 教程， 或列出所有 Python 教程。
