一个算法工程师复现算法的踩西北侧总结

1开始，方便打印机数值顺利完成对比。

不想随意的去随机，尽可能应有原因可以复现比如不须不想加入随机样本弱化，数学方法的随机果实互换成。

用寡量的样本，这样可以较快的动手实验室，也可以让数学方法较快过拟合。数学方法能过拟合可以约莫确定数学方法是可以懂得点什么的。

尽可能按照原意来复现，在复现从前，不须不想过多的添加自己独有的想要。比如受训匹配，数学方法backbone，样本弱化方法等等不须按照书评来。不确切的点可以试图email写作者或者四处寻找涉及群人讨论。

日志打印机同类型，比如解loss为nan的具体情况情况，须要知道是forward的造成了还是bp造成了。

五、一些显然依赖于的受训建议

应有样本是可靠的

有预受训数学方法最差用上

通常学习率匹配小于1e-5理论上没法啥用了，比如cosine或者step转换成，再继续一的学习率到1e-5就好了。当然特殊执行不一样

bn在受训时昨天打开更新（之外是tf的小伙伴，不易溢），不然显然借助于现的原因是受训时loss下降之后，检验感觉数学方法就没法收敛

sgd是很棒的，但是实验室用adam显然收敛更快更好

如果想要不错的压榨借助于一个启发式的性能衡量，劝不须应有当从前数学方法能到达适当的性能衡量再继续去压榨。而不是盲目的换成模块，疯狂调参，那样显然只是浪费时间

不想太相信自己的调参应用，在不能一个较高的baseline具体情况完同类型，调参不都会有质的更有（除非是之后匹配造成了某种bug）

样本小时，使用了预受训数学方法昨天互换成从前几层的数学方法匹配，还可以用点状的学习率

loss balance偶尔很依赖于

反复受训显然可以提升点数，将一个数学方法受训好后，用受训好的数学方法动手预受训数学方法载入，继续用同一套匹配受训。有点像CyclicLR（_scheduler.CyclicLR.html#torch.optim.lr_scheduler.CyclicLR）

DL不能像机器学习有那么多公式保持平衡，很多都是make sense就动手个实验室来验证，所以尽可能多书本专著，看看别人的实验室，这样就可以减小过多的实验室。

这篇书评是为了倾听自己的一些须知，期望旁观者能用得上，如果有严重错误还劝告知，一定都会断章取义他人

原意：

。

武汉白癜风专业医院
武汉看男科去哪家医院好
长沙看男科去哪里好
武汉看牛皮癣去哪个医院
重庆看妇科哪间医院好
感冒后嗓子痒痒老想咳嗽怎么办
视疲劳滴眼药水好用吗
喉咙痒咳嗽吃消炎药没效果
英太青对腰椎间盘突出好吗
类风湿性关节炎有哪些症状