首页 分享 深度学习训练过程中的问题&解决

深度学习训练过程中的问题&解决

来源:萌宠菠菠乐园 时间:2024-09-22 14:03
初始学习率设定

可以从0.0001到0.1每次扩大10倍试验,直到验证集上的loss增大。
一般0.01-0.1左右

样本不平衡问题

解决方式

采样层面
过采样&降采样基础版本的过采样:随机过采样训练样本中数量比较少的数据;缺点,容易过拟合;改进版本的过采样:SMOTE,通过插值的方式加入近邻的数据点;神经网络中的过采样:SGD训练时,保证每个batch内部样本均衡。改变loss 权重
 代表工作:focal loss,正负样本分别赋予不同的权重当作异常检测任务处理 GPU利用率低

由于CPU数据读取跟不上(读到内存+多线程+二进制文件),而GPU的处理速度太快,导致GPU的利用率不高。

提高batch_size;减少日志IO操作频率;dataloader 多线程读取数据 Loss 为NaN的原因 梯度爆炸出现除零、对数函数自变量为负值等数学问题出现坏样本

相关知识

深度学习中的重复惩罚:揭秘系数调整对模型训练的影响
基于深度学习的鸟类识别系统(网页版+YOLOv8/v7/v6/v5代码+训练数据集)
在养宠物过程中,你最想解决的问题是什么?
深度学习的艺术:从理论到实践
基于深度学习的犬种识别系统详解(网页版+YOLOv8/v7/v6/v5代码+训练数据集)
深度学习 诊断
PyTorch深度学习:猫狗情感识别
毕业设计:基于深度学习的动物叫声识别系统
基于深度学习的鸟类声音识别的研究与应用
深度学习+大规模计算+大数据=人工智能,谁掌握先进的算力?

网址: 深度学习训练过程中的问题&解决 https://www.mcbbbk.com/newsview219211.html

所属分类:萌宠日常
上一篇: 几个神经网训练过程中的常见问题及
下一篇: YOLO训练过拟合问题:分析与解

推荐分享