“给神经网络提供输入向量,让它根据自己的参数矩阵输出对应的输出值,我们将之称为前向传播。用数学语言来描述就是这样。”
“记第L层的第i个神经元的激活值为a(l)i,参数记为行向量(·)(l)i的话,如果这一层有s个神经元,那么这一层行向量的维数就有sl+1维……”
“这个多出来的1是从哪儿来的?”周至又开始问问题了。
“因为我们要设置偏置单元。所以这一层的行向量就会是一个巨大的矩阵,它的行是S(l+1),列是Sl+1。”
“这还只是其中的一层,”周至有点明白了:“之前你说过,这种每相邻两层的神经元全部互相连接的方式,你们称为全连接。其实最终的结果,是输入层通过非线性激活函数穿透所有隐藏层之后的最终结果,也就是说,它是经过无数个矩阵叠加运算之后的结果,是吧?”
“差不多可以这样理解。”麦小苗说道:“不过需要注意的是神经网络中的权重和偏置这些参数是机器自己学习出来的,它们被称为模型参数;而神经网络一共有几层、每层隐藏层有多少节点等等,这些参数是预先指定的,这种被预先指定且在学习过程中不改变的参数被称为超参数。”
“这还只是单输出的情况。如果我们要解决多元分类输出的问题的话,运算结构就会变得更加的复杂,成为以上模型矩阵的再一次矩阵叠加。”
麦小苗有些激动,拉着周至的袖子:“回国之前,我一直担心没有人能够理解这种数学理论的优越性,只被它需要耗费的资源与投入给吓得止步不前了。要是按照部委那点拨款计划来看……肘子,真的很感谢你。”
“要是按照那个拨款计划来看,恐怕又会多一个手搓原子弹的励志故事了。”周至说道:“其实宋主任他们也不是不理解,只不过……你现在也是家访过好多小朋友家里的人了,应该明白现在国家需要用钱的地方,太多了。”
这就是这个国家如今的现状,说多了都是泪,就连北斗导航实验卫星系统工程这么重要的国之重器,先期理论验证阶段,一共两次拨款,加起来才给了六十五万。
“嗯,肘子你放心,我对自己带来的这个运算模型是很有信心的,在理论上已经验证过了的。”
“你能够说服部委和科学院同意建立实验室,本身就是大家对你有信心的表现。”周至笑道:“你也不用担心我的看法,虽然我不明白你这些高深的数学知识,但我对你这个人有信心,小苗,放胆去干吧!”
“嗯!”麦小苗点头:“但是……我有个问题。”
“什么问题?”