第139章 神经网络的曙光(1 / 2)

“当时我正在天慧一号边上,突然乌拉一声!我靠……知道飞机在你身边起飞是什么感觉么?”

见赵强师兄比手画脚,还穿着鞋套,余江就一个劲地直乐。

“没事没事,炸不了。”

“我知道炸不了,但你这动静也太大了吧。”赵师兄瞥了一眼余江导出来的监控,很是心疼:“你这满载要飞多久?”

“大概七八个小时吧。”

本书由??????????.??????全网首发

“……”忍了几忍,赵强最终还是叹道:“虽然是你姐花的钱,你也悠着点吧……这才交付的新机器,看着心疼啊。”

“嗯嗯,就这一次。”

余江把赵师兄送到门口,轻轻呼了口气。

也亏得自己有钱捐了一台,按照这种宝贝劲,就算是石院士全力支持他,超算中心也会不乐意的。

回到电脑前坐下,余江再次翻起了书。

实验室的研究生们陆续就位,没一会,余江把“天慧一号”算力占满的消息便传遍了实验室。

众人也不好说什么,只是暗暗摇头。

当ap;前@章#节$内%容^不ap;完*整!要~查!看-完_整|章;节请退ap;出%阅#读|模*式!加载中...这时余江又不好意思地道:“现在所有层的权重都要参与链式求导和梯度更新,计算密度大了点,所以超算动静就有点大。”

石院士沉默许久,轻轻嗯了一声。

“神经网络本来就是吃资源的,而且不同参数的结果差异太大,根本没有规律可言,你这就只跑三天,时间够吗?”

余江回头,只见老太太是真诚地在问,心中微微一暖,轻声道:“是这样的,石老师,我翻了之前的好多论文,自己又琢磨了好久,觉得超参数其实还是有规律的。”

所谓参数没规律,这正是神经网络被诟病不可解释的原因之一。

“石老师,譬如这个dbn模型,学习率0.1不是随便选的——低于0.05在这个网络结构下几乎不收敛,高于0.2很容易发散,这个区间对于784维到500维的映射是相对稳定的。”

“weight_st我设了0.0001,如果设成零,网络会倾向于用少数强权重拟合数据;加一点惩罚,它会强迫网络用更多弱权重来学习规律。其实这些参数,论文里有人做过类似对比实验,只是没有总结成方法论。”

听余江一口气介绍完,石院士皱眉沉思了一会:“原理呢?”

“先找到规律,再探求原理。”他轻轻呼气:“石老师,我这边用的是yannle实验室提供的nist原始数据集,不知道现在实验室用这个数据集的错误率是多少?”

“之前你师兄拿来练过手,差不多5%吧。”