深度学习训练过程中的问题&解决
来源： 时间：2024-09-22 14:03
初始学习率设定
过采样&降采样基础版本的过采样：随机过采样训练样本中数量比较少的数据；缺点，容易过拟合；改进版本的过采样：SMOTE，通过插值的方式加入近邻的数据点；神经网络中的过采样：SGD训练时，保证每个batch内部样本均衡。改变loss 权重
代表工作:focal loss，正负样本分别赋予不同的权重当作异常检测任务处理 GPU利用率低
可以从0.0001到0.1每次扩大10倍试验，直到验证集上的loss增大。
一般0.01-0.1左右
解决方式
采样层面过采样&降采样基础版本的过采样：随机过采样训练样本中数量比较少的数据；缺点，容易过拟合；改进版本的过采样：SMOTE，通过插值的方式加入近邻的数据点；神经网络中的过采样：SGD训练时，保证每个batch内部样本均衡。改变loss 权重
代表工作:focal loss，正负样本分别赋予不同的权重当作异常检测任务处理 GPU利用率低
由于CPU数据读取跟不上（读到内存+多线程+二进制文件），而GPU的处理速度太快，导致GPU的利用率不高。
提高batch_size;减少日志IO操作频率；dataloader 多线程读取数据 Loss 为NaN的原因 梯度爆炸出现除零、对数函数自变量为负值等数学问题出现坏样本相关知识
深度学习中的重复惩罚：揭秘系数调整对模型训练的影响
基于深度学习的鸟类识别系统（网页版+YOLOv8/v7/v6/v5代码+训练数据集）
在养宠物过程中，你最想解决的问题是什么？
深度学习的艺术：从理论到实践
基于深度学习的犬种识别系统详解（网页版+YOLOv8/v7/v6/v5代码+训练数据集）
深度学习 诊断
PyTorch深度学习：猫狗情感识别
毕业设计：基于深度学习的动物叫声识别系统
基于深度学习的鸟类声音识别的研究与应用
深度学习+大规模计算+大数据=人工智能，谁掌握先进的算力？
网址: 深度学习训练过程中的问题&解决 https://www.mcbbbk.com/newsview219211.html
| 上一篇: 几个神经网训练过程中的常见问题及 |
下一篇: YOLO训练过拟合问题：分析与解 |
推荐分享
- 1养玉米蛇的危害 28694
- 2狗交配为什么会锁住？从狗狗生 7180
- 3我的狗老公李淑敏33——如何 6236
- 4豆柴犬为什么不建议养？可爱的 4637
- 5南京宠物粮食薄荷饼宠物食品包 4563
- 6中国境内禁养的十大鸟种，你知 4429
- 7湖南隆飞尔动物药业有限公司宠 4259
- 8自制狗狗辅食：棉花面纱犬的美 4257
- 9家养水獭多少钱一只正常 4212
- 10广州哪里卖宠物猫狗的选择性多 4122
分享热点排名
分享热点
