我从事数据挖掘研究,通常需要使用Python脚本从SQLite数据库、CSV文件、pickle文件等加载大型数据集。在开发过程中,我经常需要修改脚本,但是每次等待数据加载需要20至30秒。
有时,加载数据流(例如来自SQLite数据库)可以正常工作,但并非所有情况都适用 - 如果我经常需要返回到数据集,则宁愿支付加载数据的前期时间成本。
我目前最好的解决方案是对数据进行子抽样,直到我满意为止。是否有更好的解决方案/设计实践?
我的“理想”解决方案将 cleverly 利用Python调试器(pdb),以便数据保留在内存中,我可以编辑脚本,然后从给定点恢复。
有时,加载数据流(例如来自SQLite数据库)可以正常工作,但并非所有情况都适用 - 如果我经常需要返回到数据集,则宁愿支付加载数据的前期时间成本。
我目前最好的解决方案是对数据进行子抽样,直到我满意为止。是否有更好的解决方案/设计实践?
我的“理想”解决方案将 cleverly 利用Python调试器(pdb),以便数据保留在内存中,我可以编辑脚本,然后从给定点恢复。