pandas读取数据的函数有哪些(详解pandas的readcsv)

基于 Python 和 NumPy 开发的 Pandas,在数据分析领域,应用非常广泛而使用 Pandas 处理数据的第一步往往就是读入数据,比如读写 CSV 文件,而Pandas也提供了强劲的读取支持,参数有 38 个之多这些参数中,有的容易被忽略,但却在实际工作中用处很大比如:,我来为大家科普一下关于pandas读取数据的函数有哪些?以下内容希望对你有帮助!

pandas读取数据的函数有哪些(详解pandas的readcsv)

pandas读取数据的函数有哪些

基于 Python 和 NumPy 开发的 Pandas,在数据分析领域,应用非常广泛。而使用 Pandas 处理数据的第一步往往就是读入数据,比如读写 CSV 文件,而Pandas也提供了强劲的读取支持,参数有 38 个之多。这些参数中,有的容易被忽略,但却在实际工作中用处很大。比如:

  • 文件读取时设置某些列为时间类型
  • 导入文件,含有重复列
  • 过滤某些列
  • 每次迭代读取 10 行

而pandas读取csv文件时通过read_csv函数读取的,下面我们就来好好看看这个函数生得一副什么模样,都有哪些参数。

read_csv中的参数

以下都是read_csv中的参数,但是根据功能我们划分为不同的类别。

基本参数

filepath_or_buffer

数据输入路径,可以是文件路径,也可以是 URL,或者实现 read 方法的任意对象。就是我们输入的第一个参数。

In [2]: pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data') Out[2]: 5.1 3.5 1.4 0.2 Iris-setosa 0 4.9 3.0 1.4 0.2 Iris-setosa 1 4.7 3.2 1.3 0.2 Iris-setosa 2 4.6 3.1 1.5 0.2 Iris-setosa 3 5.0 3.6 1.4 0.2 Iris-setosa 4 5.4 3.9 1.7 0.4 Iris-setosa .. ... ... ... ... ... 144 6.7 3.0 5.2 2.3 Iris-virginica 145 6.3 2.5 5.0 1.9 Iris-virginica 146 6.5 3.0 5.2 2.0 Iris-virginica 147 6.2 3.4 5.4 2.3 Iris-virginica 148 5.9 3.0 5.1 1.8 Iris-virginica [149 rows x 5 columns]

sep

数据文件的分隔符,默认为逗号。

举例:下面的girl.csv 文件的分割符为 \t,如果使用 sep 默认的逗号分隔符,读入后的数据混为一体。

In [4]: df = pd.read_csv('girl.csv') In [5]: df Out[5]: name\tage\tgender 0 椎名真白\t18\t女 1 古明地觉\t17\t女 2 古明地恋\t16\t女 # 分隔符指定错误,所以多个列的数据连在一块了

sep 必须设置为 '\t',数据分割才会正常。

In [1]: df = pd.read_csv('girl.csv', sep='\t') In [2]: df Out[2]: name age gender 0 椎名真白 18 女 1 古明地觉 17 女 2 古明地恋 16 女

delimiter

分隔符的另一个名字,与 sep 功能相似。

delimiter_whitespace

0.18 版本后新加参数,默认为 False,设置为 True 时,表示分割符为空白字符,可以是空格、 \t 等。

如下 girl.csv 文件分隔符为\t,设置 delim_whitespace 为 True:

In [4]: df = pd.read_csv('girl.csv',delim_whitespace=True) In [5]: df Out[5]: name age gender 0 椎名真白 18 女 1 古明地觉 17 女 2 古明地恋 16 女 # 不管分隔符是什么,只要是空白字符,那么可以通过delim_whitespace=True进行读取

header

设置导入 DataFrame 的列名称,默认为 'infer',注意它与下面介绍的 names 参数的微妙关系。

names

当names没被赋值时,header会变成0,即选取数据文件的第一行作为列名。

当 names 被赋值,header 没被赋值时,那么header会变成None。如果都赋值,就会实现两个参数的组合功能。

我们举例说明

  • names 没有被赋值,header 也没赋值:
  • In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True) In [2]: df Out[2]: name age gender 0 椎名真白 18 女 1 古明地觉 17 女 2 古明地恋 16 女 # 我们说这种情况下,header为变成0,即选取文件的第一行作为表头
  • names 没有赋值,header 被赋值
  • In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, header=1) In [2]: df Out[2]: 椎名真白 18 女 0 古明地觉 17 女 1 古明地恋 16 女 # 不指定names,指定header为1,则选取第二行当做表头,第二行下面的是数据
  • names 被赋值,header 没有被赋值
  • In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, names=["姓名", "年龄", "性别"]) In [2]: df Out[2]: 姓名 年龄 性别 0 name age gender 1 椎名真白 18 女 2 古明地觉 17 女 3 古明地恋 16 女 # 我们看到names适用于没有表头的情况 # 指定names没有指定header,那么header相当于None # 一般来说,读取文件会有一个表头的,一般是第一行,但是有的文件只是数据而没有表头 # 那么这个时候我们就可以通过names手动指定、或者生成表头,而文件里面的数据则全部是内容 # 所以这里那么name、age、gender也当成是一条记录了,本来它是表头的,但是我们指定了names,所以它就变成数据了,表头是我们在names里面指定的
  • names和header都被赋值
  • In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, names=["姓名", "年龄", "性别"], header=0) In [2]: df Out[2]: 姓名 年龄 性别 0 椎名真白 18 女 1 古明地觉 17 女 2 古明地恋 16 女 # 这个相当于先不看names,只看header,我们说header等于0代表什么呢?显然是把第一行当做表头,下面的当成数据 # 好了,然后再把表头用names给替换掉 # 再来看个栗子 In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, names=["姓名", "年龄", "性别"], header=1) In [2]: df Out[2]: 姓名 年龄 性别 0 古明地觉 17 女 1 古明地恋 16 女 # header=1,表示第二行当做表头,第二行下面当成数据 # 然后再把表头用names给替换掉,就是上面的结果 # 所以一般情况下,有表头并且是第一行,那么names和header都无需指定 # 但是有表头、而表头不是第一行,可能从下面几行开始才是真正的表头和数据,这个是指定header即可 # 如果没有表头,全部是纯数据,那么我们可以通过names手动生成表头 # 而names和header都指定的情况下,一般是有表头但是这个表头你不想用,所以用names来把原来的表头替换掉,其实就等价于读取之后再对列名进行rename

index_col

我们在读取文件之后,生成的索引默认是0 1 2 3...,我们当然可以set_index,但是也可以在读取的时候就指定某个列为索引

In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, index_col="name") In [2]: df Out[2]: age gender name 椎名真白 18 女 古明地觉 17 女 古明地恋 16 女 # 这里指定"name"作为索引,另外除了指定单个列,还可以指定多个列,比如["name", "age"] # 并且我们可以输入列的名字,也可以输入对应的索引。比如:name, age, gender,它们对应的索引就是0, 1, 2

usecols

如果列有很多,而我们不想要全部的列、而是只要指定的列就可以使用这个参数。

In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, usecols=["name", "age"]) In [2]: df Out[2]: name age 0 椎名真白 18 1 古明地觉 17 2 古明地恋 16 # 这里只要name和age两列

mangle_dupe_cols

实际生产用的数据会很复杂,有时导入的数据会含有重名的列。参数 mangle_dupe_cols 默认为 True,重名的列导入后面多一个 .1。如果设置为 False,会抛出不支持的异常:

# ValueError: Setting mangle_dupe_cols=False is not supported yet

prefix

prefix 参数,当导入的数据没有 header 时,设置此参数会自动加一个前缀。比如:

In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, header=None) In [2]: df Out[2]: 0 1 2 0 name age gender 1 椎名真白 18 女 2 古明地觉 17 女 3 古明地恋 16 女 # 我们看到在不指定names的时候,header默认为0,表示以第一行为表头 # 但如果不指定names、还显式地将header指定为None,那么会自动生成表头0 1 2 3... # 因为DataFrame肯定是要有列名(表头)的 In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, header=None, prefix="xx") In [2]: df Out[2]: xx0 xx1 xx2 0 name age gender 1 椎名真白 18 女 2 古明地觉 17 女 3 古明地恋 16 女 # 而prefix就是给这样的列名增加前缀的 # 但感觉不是很常用

通用解析参数

dtype

笔者就曾遇到一件比较尴尬的事情,就是处理地铁人员数据的。工作人员的id都是以0开头的,比如0100012521,这是一个字符串。但是在读取的时候解析成整型了,结果把开头的0给丢了。这个时候我们就可以通过dtype来指定某个列的类型,就是告诉pandas你在解析的时候按照我指定的类型进行解析。

In [1]: df = pd.read_csv('girl.csv', delim_whitespace=True, dtype={"age": str}) In [2]: df Out[2]: name age gender 0 椎名真白 18 女 1 古明地觉 17 女 2 古明地恋 16 女 # 这里就表示要把age解析成字符串

engine

pandas解析数据时用的引擎,Pandas 目前的解析引擎提供两种:C、Python,默认为 C,因为 C 引擎解析速度更快,但是特性没有 Python 引擎全。如果使用 C 引擎没有的特性时,会自动退化为 Python 引擎。

比如使用分隔符进行解析,如果指定分隔符不是单个字符、或者"\s ",那么C引擎就无法解析了。我们知道如果分隔符为空白字符的话,那么可以指定delim_whitespace=True,但是也可以指定sep=r"\s "。

In [1]: df = pd.read_csv('girl.csv', sep=r"\s ") In [2]: df Out[2]: name age gender 0 椎名真白 18 女 1 古明地觉 17 女 2 古明地恋 16 女 # 如果sep是单个字符,或者字符串\s ,那么C是可以解决的。 # 但如果我们指定的sep比较复杂,这时候引擎就会退化。 # 我们指定的\s{0}相当于没指定,\s \s{0}在结果上等同于\s 。 # 但是它不是单个字符,也不是\s ,因此此时的C引擎就无法解决了,而是会退化为python引擎 In [1]: df = pd.read_csv('girl.csv', sep=r"\s \s{0}", encoding="utf-8") In [2]: df Out[2]: ParserWarning: Falling back to the 'python' engine because the 'c' engine does not support regex separators (separators > 1 char and different from '\s ' are interpreted as regex); you can avoid this warning by specifying engine='python'. name age gender 0 椎名真白 18 女 1 古明地觉 17 女 2 古明地恋 16 女 # 我们看到虽然自动退化,但是弹出了警告,这个时候需要手动的指定engine="python"来避免警告 # 这里面还用到了encoding参数,这个后面会说,因为引擎一旦退化,在Windows上不指定会读出乱码 # 这里我们看到sep是可以支持正则的,但是说实话sep这个参数都会设置成单个字符 # 基本上在生成文件的时候,分隔符不会复杂到读取的时候需要使用正则来分隔的。

converters

可以在读取的时候对列数据进行变换

In [1]: df = pd.read_csv('girl.csv', sep="\t", converters={"age": lambda x: int(x) 10}) In [2]: df Out[2]: name age gender 0 椎名真白 28 女 1 古明地觉 27 女 2 古明地恋 26 女

看到少女们都长了10岁,完成对 age 列的数据加 10,注意 int(x),此处解析器默认所有列的类型为 str,所以需要显式类型转换。

true_values和false_value

指定哪些值应该被清洗为True,哪些值被清洗为False。这两位老铁需要成对出现,只出现一个没有效果。但是说实话,这个不常用

In [1]: df = pd.read_csv('girl.csv', sep="\t") In [2]: df Out[2]: name age gender 对错 0 椎名真白 18 女 对 1 古明地觉 17 女 错 2 古明地恋 16 女 对 # 加了一个字段 In [1]: df = pd.read_csv('girl.csv', sep="\t", true_values=["对"], false_values=["错"]) In [2]: df Out[2]: name age gender 对错 0 椎名真白 18 女 True 1 古明地觉 17 女 False 2 古明地恋 16 女 True

skiprows

skiprows 过滤行,想过滤掉哪些行,就写在一个列表里面传递给skiprows即可。注意的是:这里是先过滤,然后再确定表头,比如:

In [1]: df = pd.read_csv('girl.csv', sep="\t", skiprows=[0]) In [2]: df Out[2]: 椎名真白 18 女 对 0 古明地觉 17 女 错 1 古明地恋 16 女 对 # 我们把第一行过滤掉了,但是第一行是表头 # 所以过滤掉之后,第二行就变成表头了 # 这里过滤第二行 In [1]: df = pd.read_csv('girl.csv', sep="\t", skiprows=[1]) In [2]: df Out[2]: name age gender 对错 0 古明地觉 17 女 错 1 古明地恋 16 女 对

里面除了传入具体的数值,来表明要过滤掉哪一行,还可以传入一个函数

In [1]: df = pd.read_csv('girl.csv', sep="\t", skiprows=lambda x: x > 0 and x % 2 == 0) In [2]: df Out[2]: name age gender 对错 0 椎名真白 18 女 对 1 古明地恋 16 女 对 # 由于索引从0开始,凡是索引大于0、并且%2等于0的记录都过滤掉 # 索引大于0,是为了保证表头不被过滤掉

skipfooter

从文件末尾过滤行,解析引擎退化为 Python。这是因为 C 解析引擎没有这个特性。

In [1]: df = pd.read_csv('girl.csv', sep="\t", skipfooter=1, encoding="utf-8", engine="python") In [2]: df Out[2]: name age gender 对错 0 椎名真白 18 女 对 1 古明地觉 17 女 错 # skipfooter接收整型,表示从结尾往上过滤掉指定数量的行 # 因为引擎退化为python,那么要手动指定engine="python",不然会警告 # 另外需要指定encoding="utf-8",因为csv存在编码问题,当引擎退化为python的时候,在Windows上读取会乱码

nrows

nrows 参数设置一次性读入的文件行数,它在读入大文件时很有用,比如 16G 内存的PC无法容纳几百 G 的大文件。

low_memory

这个看起来是和内存有关的,但其实它是和数据类型相关的。在解释这个原因之前,我们还要先从DataFrame的数据类型说起。

我们知道得到DataFrame的每一列都是有类型的,那么在读取csv的时候,pandas也是要根据数据来判断每一列的类型的。但pandas主要是靠"猜"的方法,因为在读取csv的时候是分块读取的,每读取一块的时候,会根据数据来判断每一列是什么类型;然后再读取下一块,会再对类型进行一个判断,得到每一列的类型,如果得到的结果和上一个块得到结果不一样,那么就会发出警告,提示有以下的列存在多种数据类型:

DtypeWarning: Columns (1,5,8,......) have mixed types. Specify dtype option on import or set low_memory=False.

而为了保证正常读取,那么会把类型像大的方向兼容,比如第一个块的user_id解释成整型,但是第二个块发现user_id有的值无法解析成整型的,那么类型整体就会变成字符串,于是pandas提示该列存在混合类型。而一旦设置low_memory=False,那么pandas在读取csv的时候就不分块读了,而是直接将文件全部读取到内存里面,这样只需要对整体进行一次判断,就能得到每一列的类型。但是这种方式也有缺陷,一旦csv过大,就会内存溢出。

但是从数据库读取就不用担心了,因为数据库是规定了每一列的类型的。如果是从数据库读取得到的DataFrame,那么每一列的数据类型和数据库表中的类型是一致的。

还有,我们在上面介绍了dtype,这个是我们手动规定类型。那么pandas就会按照我们规定的类型去解析指定的列,但是一旦无法解析就会报错。

memory_map

如果你知道python的一个模块mmap,那么你肯定很好理解。如果使用的数据在内存里,那么直接进行映射即可,不会再次进行IO操作。默认为False

空值处理相关参数

na_values

na_values 参数可以配置哪些值需要处理成 NaN,这个是非常常用的,但是用的人不多。

df = pd.read_csv('girl.csv') print(df) """ name age gender 0 mashiro 18 女 1 # 17 女 2 koishi 16 # """ # 将#全部换成NaN df = pd.read_csv('girl.csv', na_values=["#"]) print(df) """ name age gender 0 mashiro 18 女 1 NaN 17 女 2 koishi 16 NaN """ # 也可以指定多个值 df = pd.read_csv('girl.csv', na_values=["#", "mashiro"]) print(df) """ name age gender 0 NaN 18 女 1 NaN 17 女 2 koishi 16 NaN """ # 也可以只对指定的列进行替换 df = pd.read_csv('girl.csv', na_values={"name": ["#"], "gender": ["女"]}) print(df) """ name age gender 0 mashiro 18 NaN 1 NaN 17 NaN 2 koishi 16 # """

keep_default_na 是和 na_values 搭配的,如果前者为 True,则 na_values 被解析为 Na/NaN 的字符除了用户设置外,还包括默认值。默认为True

skip_blank_lines

skip_blank_lines 默认为 True,则过滤掉空行,如为 False 则解析为 NaN

verbose

打印一些重要信息

时间处理相关参数

parse_dates

指定某些列为时间类型。

df = pd.read_csv("xx.csv", parse_dates=["column"])

date_parser

date_parser 参数定制某种时间类型,详细使用过程总结如下。因为有些格式虽然是日期,但不是那种可以直接转换的样子:比如'2018-01-01'。可能是这种类型:'2018年1月1日',这个时候我们就需要手动来定制解析的规则

df = pd.read_csv("xx.csv", parse_dates=["column"], date_parser=lambda x: pd.datetime.strptime(x, "%Y年%m月%d日"))

infer_datetime_format

infer_datetime_format 参数默认为 False。如果设定为 True 并且 parse_dates 可用,那么 Pandas 将尝试转换为日期类型,如果可以转换,转换方法并解析,在某些情况下会快 5~10 倍。

分块读入相关参数

分块读入内存,尤其单机处理大文件时会很有用。

iterator

iterator 取值 boolean,默认为False。如果为True,那么返回一个 TextFileReader 对象,以便逐块处理文件。这个在文件很大时,内存无法容纳所有数据文件,此时分批读入,依次处理。

# 此时返回一个类似于迭代器的对象 chunk = pd.read_csv('girl.csv', iterator=True) # 调用get_chunk,里面传入整型,来读取指定的行数 print(chunk.get_chunk(1)) """ name age gender 0 mashiro 18 女 """ print(chunk.get_chunk(2)) """ name age gender 1 # 17 女 2 koishi 16 # """ try: print(chunk.get_chunk(2)) except StopIteration: print("文件读取完毕") # 文件读取完毕 # 文件总共三行,所以读完之后,再读就溢出了 # 如果还剩下1行,但是我们指定读取100,那么也不会报错 # 不够指定的行数,那么有多少返回多少

chunksize

chunksize 整型,默认为 None,设置文件块的大小。

chunk = pd.read_csv('girl.csv', chunksize=2) # 还是返回一个类似于迭代器的对象 print(chunk) # <pandas.io.parsers.TextFileReader object at 0x00000258C41B2CD0> # 调用get_chunk,如果不指定行数,那么就是默认的chunksize print(chunk.get_chunk()) """ name age gender 0 mashiro 18 女 1 # 17 女 """ # 但也可以指定 print(chunk.get_chunk(1)) """ name age gender 2 koishi 16 # """ try: print(chunk.get_chunk(2)) except StopIteration: print("文件读取完毕") # 文件读取完毕

格式和压缩相关参数

compression

compression 参数取值为 {‘infer’, ‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None},默认 ‘infer’,直接使用磁盘上的压缩文件。

如果使用 infer 参数,则使用 gzip、bz2、zip 或者解压文件名中以 ‘.gz’、‘.bz2’、‘.zip’ 或 ‘xz’ 这些为后缀的文件,否则不解压。

如果使用 zip,那么 ZIP 包中必须只包含一个文件。设置为 None 则不解压。

# 直接将上面的girl.csv添加到压缩文件,打包成girl.zip df = pd.read_csv('girl.zip', compression="zip") print(df) """ name age gender 0 mashiro 18 女 1 # 17 女 2 koishi 16 # """ # 会自动解包,读取文件,但是如果没有compression参数,那么就会报错了 # UnicodeDecodeError: 'utf-8' codec can't decode byte 0xce in position 0: invalid continuation byte

thousands

千分位分割符,如 , 或者 .,默认为None

encoding

encoding 指定字符集类型,通常指定为 'utf-8'。根据情况也可能是ISO-8859-1

error_bad_lines和warn_bad_lines

如果一行包含过多的列,假设csv的数据有3列,但是某一行却有4个数据,显然数据有问题。那么默认情况下不会返回DataFrame,而是会报错。

# pandas.errors.ParserError: Error tokenizing data. C error: Expected 3 fields in line 3, saw 4

我们在某一行中多加了一个数据,结果显示错误。因为girl.csv里面有三列,但是有一行却有四个数据,所以报错。

在小样本读取时,这个错误很快就能发现。但是如果样本比较大、并且由于数据集不可能那么干净、很容易出现这种情况,那么该怎么办呢?而且这种情况下,Excel基本上是打不开这么大的文件的。这个时候我们就可以将error_bad_lines设置为False(默认为True),意思是遇到这种情况,直接把这一行给我扔掉。同时会设置 warn_bad_lines 设置为True,打印剔除的这行。

df = pd.read_csv('girl.csv', error_bad_lines=False, warn_bad_lines=True) print(df) """ name age gender 0 mashiro 18 女 1 koishi 16 # b'Skipping line 3: expected 3 fields, saw 4\n' """

以上两参数只能在C解析引擎下使用。

总结

pandas在读取csv的时候支持的参数是很多的,其中部分参数也适用于读取其它类型的文件。这些参数虽然很多平常都不会用,但是还是要了解,因为read_csv的其它参数是可以很方便地解决某些问题的。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页