我自己修改了一下num_workers，从1改为4，速度提高了3倍（4卡12h/epoch -> 6卡3h/epoch），说明有效突破瓶颈。

一般都会配个AI辅助coding，比人的bug定位能力更强。问题就在于AI有时候自己陷入了报错循环，不管怎么喂代码和报错信息都不回改，这种情况就需要人调试。怎么调试：找到参数/错误传递路径可以问问AI这个值是怎么传递的，然后具体看看每个文件里的代码，让AI帮忙在代码前后加上报错打印点调试，一方面，判断真正出错的是哪个路径的哪一步。

查看push/pull历史

报错原因：模型注意力头无法被GPU数量整除，比如28不能被3个GPU均分，需要设置GPU数量为2或4等。

有时下载过慢，pip install 依赖的时候会报错超时。 这个时候排除断网的问题，那就是网速太慢了。这种情况，比起增加时延，例如：

博弈论的分类有：

鸣谢：感谢 @Xecades老师对本方法的原创性贡献！本文仅仅是转述他的方法。

有时候服务器出现报错：