使用
(一)pandas
import pandas as pd
# xlsx和xls
data = pd.read_excel(r'file_path')
# csv
data = pd.read_csv(r'file_path')
(二)read函数
# 使用'open'函数打开文件
file = open('filename.txt', 'r') # 'r'表示读取模式
# 使用'read'函数读取文件内容
content = file.read()
避免将文件路径中的/识别为转义字符
(一)使用原始字符串(Raw Strings)
# 使用r前缀是为了确保文件路径中的每个反斜杠\都被当作普通字符,而不是转义字符的开始
# 在Python字符串前加上r或R前缀表示该字符串是一个“原始字符串”(raw string)
file_path = r'C:\path\to\your\file.txt'
# 直接将file_path作为参数传入相应的读取函数
(二)使用双反斜杠
# 原先:'C:\path\to\your\file.tx
file_path = 'C:\\path\\to\\your\\file.txt'
# 直接将file_path作为参数传入文件读取函数
区别
(一)数据结构化
-
pandas:当使用pandas的read_excel、read_csv等函数读取文件时,你得到的是一个结构化的DataFrame对象。DataFrame是一个二维的、大小可变的、具有潜在异构类型列的表格数据结构。它非常适合于存储和处理表格数据,并提供了丰富的API来进行数据清洗、转换、分析和可视化。
-
标准读取函数:使用Python的open()、read()函数读取文件时,你得到的是一个原始的字符串,其中包含了文件的全部内容。你需要自己处理这个字符串来解析数据,并将其结构化为你想要的形式(例如,转换为列表、字典或自定义的对象)。
(二)性能与内存管理
-
pandas:针对性能进行了优化,尤其是在处理大型数据集时。它内部使用了高效的数据存储和算法,可以更快地加载和处理数据。然而,对于非常大的数据集,pandas可能会消耗大量内存。
- 标准读取函数:标准读取函数在处理小型文件时通常足够快,但对于大型文件或需要复杂解析的文件,性能可能会成为问题。此外,由于你需要自己管理数据结构,因此在内存使用方面也可能不如pandas高效。
(三)易用性和功能
-
pandas:pandas提供了大量高级功能,如数据筛选、分组、排序、合并、连接、统计等,这些功能都很容易通过简洁的API调用实现。此外,pandas还集成了与许多其他库(如NumPy、Matplotlib、SciPy等)的互操作性。
-
标准读取函数:使用标准读取函数时,你需要自己实现所有这些功能,这通常意味着编写更多的代码和进行更多的调试。然而,这也给了你更大的灵活性来控制数据的处理方式。
(四)文件格式支持
-
pandas:pandas支持多种文件格式,包括CSV、Excel、SQL、HDF5、JSON等。这使得pandas成为处理多种不同来源数据的理想选择。
-
标准读取函数:标准读取函数主要支持文本文件(如CSV),但对于更复杂的文件格式(如Excel或JSON),你可能需要使用额外的库或编写更多的自定义代码来解析数据。