我是一名新手研究员,需要分析一个包含原始传感器数据的大型Excel格式数据集。
每个Excel数据文件对于每个研究参与者都超过100 MB。表格包含5个工作表,用于测量5种不同的生理参数。每个工作表包含超过1百万行和两列(时间、生理参数)。
在1百万行传感器数据后,数据会自动继续在Excel文件的以下列(C和D)中。
每次我尝试在Python中加载数据文件,都需要很长时间。我想知道几件事:
1)如何告诉Python从特定的Excel工作表读取数据?这需要这么长时间吗?
这是我尝试过的:
df = pd.read_excel("filepath", sheet_name="Sheetname")
print (df.head (5))
2) 使用Python和Pandas对这个大数据文件进行数据清洗是否可行?我尝试过以下方法来加速处理:
import xlrd
work_book = xlrd.open_workbook('filepath', on_demand=True)
work_book.release_resources()
3)之后:我想比较不同研究参与者的生理参数。由于这是一项时间序列分析,需要针对参与者进行比较,那么我应该如何开始使用Python进行分析呢?
我在几天内学习了Python的基础知识,并且非常喜欢它。我意识到我还有很长的路要走。
更新:我想我刚刚完成了时间序列分析(实际上只是趋势分析,使用Dickey-Fuller测试和滚动平均可视化技术)! :D 非常感谢大家的帮助!!!在pandas中,“datetime”模块对我来说最难处理,我的日期时间列仍然被识别为“对象”。这正常吗?它不应该是datetime64类型吗?