用Kronecker序列替代SGD采样：训练成本砍半的骚操作

很多人习惯了在PyTorch里直接用默认的随机采样，但这种随机性其实在浪费算力。随机梯度下降（SGD）最大的问题就在于采样分布的不均匀，容易在某些区域过度采样，而有些地方却成了盲区，导致模型收敛慢得离谱。

我最近在尝试把数据加载的随机采样换成Kronecker序列（拟随机序列），发现这玩意儿在覆盖空间分布上比纯随机强太多。简单来说，它能让模型在每一轮迭代中更“均匀”地看到数据，而不是在那儿撞大运。

在PyTorch实操中，如果你想尝试这种低成本优化，重点在于修改 Sampler。虽然官方没内置，但可以通过自定义采样器来实现。一个简单的逻辑是生成Kronecker序列并映射到数据集索引上：

import torch
from torch.utils.data import Sampler

class KroneckerSampler(Sampler):
    def __init__(self, data_source):
        self.data_source = data_source
        self.num_samples = len(data_source)

    def __iter__(self):
        # 这里简化了Kronecker序列的生成逻辑
        # 核心是利用低差异序列替代 random.shuffle
        indices = self._generate_kronecker_indices() 
        return iter(indices)

    def __len__(self):
        return self.num_samples

这种改法最离谱的地方在于，你不需要动模型结构，也不需要调学习率，纯粹是改变了喂数据的顺序，结果收敛速度明显提升，训练成本直接掉了一大截。

不过有个坑得注意：如果你的数据集规模非常小，Kronecker序列的优势不明显，甚至可能因为过于“均匀”而导致在某些极小数据集上过拟合。建议在大规模数据集实战时再部署这套工作流。