深度学习训练过程中的问题&解决
来源:
时间:2024-09-22 14:03
初始学习率设定
过采样&降采样基础版本的过采样:随机过采样训练样本中数量比较少的数据;缺点,容易过拟合;改进版本的过采样:SMOTE,通过插值的方式加入近邻的数据点;神经网络中的过采样:SGD训练时,保证每个batch内部样本均衡。改变loss 权重
代表工作:focal loss,正负样本分别赋予不同的权重当作异常检测任务处理 GPU利用率低
可以从0.0001到0.1每次扩大10倍试验,直到验证集上的loss增大。
一般0.01-0.1左右
解决方式
采样层面过采样&降采样基础版本的过采样:随机过采样训练样本中数量比较少的数据;缺点,容易过拟合;改进版本的过采样:SMOTE,通过插值的方式加入近邻的数据点;神经网络中的过采样:SGD训练时,保证每个batch内部样本均衡。改变loss 权重
代表工作:focal loss,正负样本分别赋予不同的权重当作异常检测任务处理 GPU利用率低
由于CPU数据读取跟不上(读到内存+多线程+二进制文件),而GPU的处理速度太快,导致GPU的利用率不高。
提高batch_size;减少日志IO操作频率;dataloader 多线程读取数据 Loss 为NaN的原因 梯度爆炸出现除零、对数函数自变量为负值等数学问题出现坏样本相关知识
深度学习中的重复惩罚:揭秘系数调整对模型训练的影响
基于深度学习的鸟类识别系统(网页版+YOLOv8/v7/v6/v5代码+训练数据集)
在养宠物过程中,你最想解决的问题是什么?
深度学习的艺术:从理论到实践
基于深度学习的犬种识别系统详解(网页版+YOLOv8/v7/v6/v5代码+训练数据集)
深度学习 诊断
PyTorch深度学习:猫狗情感识别
毕业设计:基于深度学习的动物叫声识别系统
基于深度学习的鸟类声音识别的研究与应用
深度学习+大规模计算+大数据=人工智能,谁掌握先进的算力?
网址: 深度学习训练过程中的问题&解决 https://www.mcbbbk.com/newsview219211.html
上一篇: 几个神经网训练过程中的常见问题及 |
下一篇: YOLO训练过拟合问题:分析与解 |
推荐分享

- 1我的狗老公李淑敏33——如何 5096
- 2南京宠物粮食薄荷饼宠物食品包 4363
- 3家养水獭多少钱一只正常 3825
- 4豆柴犬为什么不建议养?可爱的 3668
- 5自制狗狗辅食:棉花面纱犬的美 3615
- 6狗交配为什么会锁住?从狗狗生 3601
- 7广州哪里卖宠物猫狗的选择性多 3535
- 8湖南隆飞尔动物药业有限公司宠 3477
- 9黄金蟒的价格 3396
- 10益和 MATCHWELL 狗 3352
分享热点排名
分享热点