我有一个Pandas数据框，df：
c1 c2
0 10 100
1 11 110
2 12 120
for row in df.rows:
print(row['c1'], row['c2'])
我找到了一个类似的问题，建议使用以下任一方法：
对于日期和行数据，使用df.T.iteritems()进行循环：
使用df.iterrows()进行循环：
但我不理解 row 对象是什么以及如何使用它。
一些库（例如我使用的Java互操作库）要求一次传递一行值，例如，如果是流数据。为了复制流式特性，我逐个“流”我的数据框架值，我写了下面的代码，这在某些时候非常有用。
class DataFrameReader:
def __init__(self, df):
self._df = df
self._row = None
self._columns = df.columns.tolist()
self.reset()
self.row_index = 0
def __getattr__(self, key):
return self.__getitem__(key)
def read(self) -> bool:
self._row = next(self._iterator, None)
self.row_index += 1
return self._row is not None
def columns(self):
return self._columns
def reset(self) -> None:
self._iterator = self._df.itertuples()
def get_index(self):
return self._row[0]
def index(self):
return self._row[0]
def to_dict(self, columns: List[str] = None):
return self.row(columns=columns)
def tolist(self, cols) -> List[object]:
return [self.__getitem__(c) for c in cols]
def row(self, columns: List[str] = None) -> Dict[str, object]:
cols = set(self._columns if columns is None else columns)
return {c : self.__getitem__(c) for c in self._columns if c in cols}
def __getitem__(self, key) -> object:
# the df index of the row is at index 0
try:
if type(key) is list:
ix = [self._columns.index(key) + 1 for k in key]
else:
ix = self._columns.index(key) + 1
return self._row[ix]
except BaseException as e:
return None
def __next__(self) -> 'DataFrameReader':
if self.read():
return self
else:
raise StopIteration
def __iter__(self) -> 'DataFrameReader':
return self
可以使用哪些：
for row in DataFrameReader(df):
print(row.my_column_name)
print(row.to_dict())
print(row['my_column_name'])
print(row.tolist())
并保留正在迭代的行的值/名称映射。显然，与上面提到的使用apply和Cython相比，速度要慢得多，但在某些情况下是必要的。
ufuncs（通用函数）。但是，如果您想要应用的函数尚未在NumPy中实现，该怎么办呢？嗯，在Python中，您可以使用numba的vectorize装饰器轻松创建ufuncs，就像这样：from numba import vectorize, float64
@vectorize([float64(float64)])
def f(x):
#x is your line, do something with it, and return a float
=================== 分治法 =================
步骤1：分割/切片
在这个步骤中，我们将对整个数据框进行迭代的划分。想象一下，您将把 CSV 文件读入 Pandas 数据框中，然后进行迭代。在我的案例中，我有 5,000,000 条记录，我将把它分成 100,000 条记录。
注意： 我需要再次说明，根据本页其他解决方案所解释的其他运行时分析，“记录数”与 df 搜索的“运行时间”呈指数比例关系。根据我数据的基准测试结果，如下：
Number of records | Iteration rate [per second]
========================================
100,000 | 500
500,000 | 200
1,000,000 | 50
5,000,000 | 20
步骤2：合并
这将是一个简单的步骤，只需将所有编写的CSV文件合并到一个数据帧中，并将其写入一个更大的CSV文件中。
以下是示例代码：
# Step 1 (Splitting/Slicing)
import pandas as pd
df_all = pd.read_csv('C:/KtV.csv')
df_index = 100000
df_len = len(df)
for i in range(df_len // df_index + 1):
lower_bound = i * df_index
higher_bound = min(lower_bound + df_index, df_len)
# Splitting/slicing df (make sure to copy() otherwise it will be a view
df = df_all[lower_bound:higher_bound].copy()
'''
Write your iteration over the sliced df here
using iterrows() or intertuples() or ...
'''
# Writing into CSV files
df.to_csv('C:/KtV_prep_' + str(i) + '.csv')
# Step 2 (Merging)
filename = 'C:/KtV_prep_'
df = (pd.read_csv(f) for f in [filename + str(i) + '.csv' for i in range(ktv_len // ktv_index + 1)])
df_prep_all = pd.concat(df)
df_prep_all.to_csv('C:/KtV_prep_all.csv')
参考资料：
或者
要从特定行获取值，您可以将数据框转换为ndarray。
然后像这样选择行和列的值：
pandas也是读取csv文件的首选。使用API来操作数据更加易于编程。 - F.S.