English
资源说明：在Keras中，当面临大规模数据集的训练任务时，由于内存限制，我们不能一次性加载所有数据。为了解决这个问题，Keras提供了`Sequence`类，这是一个可迭代的数据生成器接口，允许在训练过程中按需生成数据，而不是一次性加载。这样可以有效地处理大数据集，同时降低内存负担。
`Sequence`类的使用方法如下：
1. **定义Sequence子类**：我们需要创建一个继承自`keras.utils.Sequence`的类。在这个子类中，我们需要重写两个关键方法：`__len__`和`__getitem__`。
- `__len__`：返回序列的长度，即一个完整的训练周期（epoch）中包含的批次数量。通常，这个值等于数据集样本数除以批量大小。
- `__getitem__`：根据索引获取一批数据。这个方法应该返回一个元组，其中包含模型的输入和对应的标签。
例如：
```python
class SequenceData(keras.utils.Sequence):
def __init__(self, path, batch_size=32):
self.path = path
self.batch_size = batch_size
# ... 加载数据和初始化其他变量 ...
def __len__(self):
return self.L // self.batch_size # L是数据集的总长度
def __getitem__(self, idx):
# 从数据集中获取一个批量数据，并进行预处理
# 返回模型的输入和标签
```
2. **数据预处理**：在`__getitem__`方法中，我们可以执行数据的预处理操作，如图像的读取、缩放、归一化等。在这个例子中，`data_generation`方法负责这部分工作。
3. **训练模型**：使用`fit_generator`函数进行模型训练，将`Sequence`实例作为生成器传递。`fit_generator`接受几个关键参数：
- `generator`：你的Sequence实例。
- `steps_per_epoch`：每个epoch要调用生成器的次数，等于`__len__`的返回值。
- `epochs`：总的训练轮数。
- `workers`：用于并行数据预处理的进程数。
- `use_multiprocessing`：如果为True，使用多进程数据预处理（不支持Windows）。
示例：
```python
D = SequenceData('train.csv')
model_train.fit_generator(
generator=D,
steps_per_epoch=int(len(D)),
epochs=2,
workers=20,
use_multiprocessing=True,
validation_data=SequenceData('vali.csv'),
validation_steps=int(20000 / 32)
)
```
4. **评估模型**：同样，我们也可以使用`evaluate_generator`来评估模型性能：
```python
model.evaluate_generator(generator=SequenceData('face_test.csv'), steps=int(125100 / 32), workers=32)
```
通过使用`Sequence`类，Keras能够高效地处理大型数据集，特别是在多GPU或分布式设置中。此外，它还允许在数据预处理阶段实现并行化，从而提高训练速度。然而，需要注意的是，由于Python的全局解释器锁（GIL），在Windows系统上无法利用多进程优势，只能使用单进程，这可能会影响数据读取和预处理的效率。在Linux或macOS系统中，`use_multiprocessing=True`可以显著加快数据生成速度。
本源码包内暂不包含可直接显示的源代码文件，请下载源码包。
