[262小说]:262xs. c o m 一秒记住!
中期评审定在周三下午。
会议室不大,长条桌围了十几个人。
墙上挂着投影幕布,幕布上打着各组的进度表。
李副研究员坐在长桌一端,面前摊着评审表。
他旁边坐了一个生面孔。
三十多岁,穿深色衬衫,袖口卷到小臂。
没打领带,但坐姿很直。
头发梳得利落,手上戴一块素面的金属表。
他听汇报的时候不翻材料,也不记笔记,就盯着屏幕看,偶尔点一下头。
李副研究员介绍了一句:“这位是赵博士。刚从硅谷回来,负责下一阶段的架构评审。”
赵博士没起身,只朝大家点了点头。
各组轮流汇报。
第三组的小赵先讲,内容是关于多模态对齐的优化方案。
赵博士听完,问了一个问题。
“对齐模块现在跑一轮要多久。”
小赵说:“完整训练一轮十二小时。推理一次大概零点八秒。”
“太慢。”
小赵愣了一下,没接上话。
赵博士把目光移向长桌末尾。
陆远坐在那里,面前放着一台笔记本。
“你是跨模态对齐模块的实际开发者?”
“嗯。”
“代码是你写的?”
“一部分。”
“训练十二小时,推理零点八秒。你能压到多少。”
陆远想了想。
“训练六小时。推理零点三秒。”
会议室里有人抬头看他,赵博士看了他两秒。
“怎么压。”
“重构数据加载管线。把I/O瓶颈消掉。再把模型推理路径上的冗余计算合并。尤其是特征融合那一段,现在重复算了三遍。”
赵博士没再问,他转向李副研究员。
“评审继续。”
汇报全部结束后,赵博士站起来。
他走到投影幕布前,把陆远刚才那段汇报调出来,重新翻了一遍。
看完了,他转过身,看着会议室里的所有人。
“跨模态对齐模块,从今天起并入核心组。负责人不变。实际执行人,陆远。”
会议室里安静了一下。
核心组原来的一个成员,姓周,三十出头,资历不浅。他举起手。
“赵博士,陆远是本科生。核心组的工作强度和要求,他可能跟不上。”
赵博士看了他一眼。
“你那个语言模型模块,上一轮训练精度多少。”
“百分之八十九点七。”
“陆远的跨模态模块,精度多少。”
周没说话。
赵博士说:“有本事你也把那个模块做到他的精度。做得到,你也能进。做不到,就按这个定。”
没人再吭声。
散会之后,陆远把工位搬到了核心组那边。
核心组在走廊另一头,独立隔间,六台最新型号的工作站,一台共享存储服务器。
他分到靠墙那台机器,开机的时候,风扇声音比旧机器轻很多。
他坐下之后,先把整个项目的架构图调出来。
从数据输入到特征提取,从模态对齐到决策输出。
一整套流程,十几万行代码。
他一行一行过,过了三天。
越看越清楚。
这个时代没有现成的深度学习框架,很多底层运算都是手写的。
矩阵乘法靠循环堆,卷积靠滑动窗口,效率低得惊人。
可没有人觉得有问题,因为大家都这么写。
他决定重构。
先从数据加载开始。
原来的代码把整批数据一次性读进内存,再一块一块处理。
批量一大,内存就爆。
他把加载改成流式,每次只读当前批次需要的部分,内存占用降了七成。
𝟚𝟔𝟚𝒳𝒮 .𝒸o𝙈
本章未完,请点击下一页继续阅读