python 读取csv文件时 out of memory 的问题_csv 文件太大。导致python 读取oom超时

在python读取csv大文件时用如下方法出现Out of memory：

df_train = pd.read_csv("F:/study/new_data/new_data/train_set.csv"）

文件比较大，我电脑内存是8g，跑程序的时候有4.2g可用，但是我动态观测内存的时候发现这种方法时内存耗了1g左右，我电脑还剩3g左右内存时，便报错Out of memory，我用的也是64位的python，没找到解决办法，然后只有换一种读取方式，用chunksize的方式：

df_train=pd.DataFrame()
data1=pd.read_csv("F:/study/new_data/new_data/train_set.csv",chunksize=100)
for chunk in data1:
    df_train=df_train.append(chunk)

这种读取方式没有显示Out of memory ，我动态观测电脑内存发现程序跑了3g多，电脑内存还剩900M时都没有报错，不清楚上面第一种方法为啥会报错，但是这种方法也解决了问题。

11.6

今天更新了pandas 发现不用chunksize的方式也能成功读取数据不会显示Out of memory的错误