[262小说]:262xs. c o m 一秒记住！
方教授的实验室里堆着三台服务器，全是二手货，风扇转起来跟拖拉机似的。
课题是国家重点实验室的子项目，手写数字识别。
听起来简单，做起来要命。
方教授带着蒋旭和另外两个研究生搞了快两个月，准确率卡在百分之八十七，怎么调都上不去。
训练一次要跑十四个小时，慢得人想砸机器。
那天下午，陆远照常来实验室。
方教授不在，去市里开会了。
蒋旭坐在屏幕前，眼睛熬得通红。
他看见陆远进来，指了指屏幕上的代码。
“陆哥，你帮我看看。这损失函数降到零点零三就下不去了。再练就过拟合。方老师试了三种优化器，没用。”
陆远拉过凳子坐下来。
他先把代码从上到下翻了一遍，又点开训练日志看了两组数据，手指在桌面上敲了两下。
“学习率怎么设的。”
“零点零一。”
“固定的？”
“嗯。方老师说这个最稳。”
陆远没说话。
他把代码拉到最底下，看了几行权重初始化的部分。
然后他站起来，走到白板前，拿起记号笔。
“你过来。”
蒋旭凑过去。
陆远画了个横轴，标上迭代次数。
又画了个纵轴，标上损失。
曲线先陡后平，最后几乎不降了。
“学习率不是越小越好。刚开始要大，步子迈开，先找到大致方向。快到谷底了再调小，慢慢摸。”
他用笔在曲线中段画了个点。
“你从这里开始，每隔一千步，把学习率乘零点一。这叫衰减。”
蒋旭盯着白板：“就这么简单？”
“就这么简单。还有，”陆远转身回到电脑前，敲了几行代码。他把原本逐样本计算的梯度改成了一批一批算。
每次取六十四张图，算平均梯度，再更新权重。
“批量训练。别一张一张喂。内存扛得住的话，取一百二十八。”
蒋旭张了张嘴：“这也行？”
“行不行跑了再说。”
他们重新启动训练。
屏幕上，损失曲线开始往下走，比之前陡得多。
前一千步直接降到零点零二五。
蒋旭眼睛瞪大了。
“还没完。”陆远又敲了几行。
他打开数据加载模块，把输入图像的像素值从零到二五五归一化到零到一之间。
“数据范围先统一。不然梯度忽大忽小，学习率再对也没用。”
第三处改完，他让蒋旭重新跑了一遍完整训练。
这一次，屏幕上跳出的数字让蒋旭直接从凳子上弹了起来。
百分之九十四。
训练时间从原来的十四小时缩短到不到五小时。
蒋旭盯着屏幕看了十几秒，然后转头看陆远。
陆远已经把键盘推回原位，端起杯子喝了口茶。
“陆哥。”
“嗯。”
“这是你写的？”
“随便调了调。”
“随便调了调？”蒋旭的声音都变了调，“方老师带着我们三个人搞了两个月。你来了四十分钟。”
“你们方法不对。力气使在刀背上了。”
蒋旭坐回凳子上，脸色复杂。
他摘下眼镜擦了擦，又戴上，盯着屏幕上的准确率数字看了很久。
“陆哥。”
“嗯。”
“你家里给你留了脑子。我家里只给我留了书。”
陆远笑了：“书多好。书不咬人。”
蒋旭苦笑：“我读了七年计算机，不如你修三个月主板。”
“修主板跟算法一个道理。哪条线断了，信号就到不了终点。找出来，接上。就这么简单。”
蒋旭摇头，说不出话。
方教授第二天回来，看到训练日志和新的准确率，在实验室里站了很久。
他先问蒋旭，蒋旭说是陆远调的。
𝟐𝟼𝟐𝕏S .𝐶o𝐌
本章未完，请点击下一页继续阅读