对这一点吕尧是很确定的,因为等到明年谷歌内部就会研发出基于「自注意力机制」的Ai模型,并在2017年发表论文《AttentionisAllYouNeed》,在论文中首次提出该概念。
在自然语言处理的测试中,「自注意力机制」迅速成为行业新标杆,并成为ChatGPT等AI模型的底层架构。
吕尧本身对AI是了解不多的,但随着AI爆火,各种关于AI的科普文章铺天盖地,吕尧被动吸收了不少这一行相关的知识。
这些知识放在专业的大牛那里自然只能算得上科普级的,但在2014年这个时间段,吕尧掌握的信息却是能影响未来的。
所以吕尧笑道:「放心吧,肯定行的。」
再不济再不济,他们也能在2017年藉助谷歌发表的论文进行模型构建,即便是从2017年才开始构建模型,那也足够领先国内大部分的同行,成为A1行业的翘楚。
但吕尧不打算等那麽久。
等王杉从研究室那边回来,或许他能旁敲侧击跟王杉聊聊。
天才们需要的往往只是一簇灵感的火光,当这道灵感的火光点燃他们知识的海洋,一个给予该灵感的体系自然而然也就会浮现。
而吕尧,手里现在就着来自未来的「灵感火光」。
就是不知道王杉的知识储备够不够乾货,能不能被吕尧这簇灵感火光点燃。
帮助陆小亦排解完心底的郁闷后,吕尧就继续做自己的企划书。
现在AI数据中心已经开始建设,硬体的建设需要差不多一年多的时间,在这期间吕尧就可以先把要做的项目先立项,等所有项目逐步投放市场后,就能给未来的AI模型囤积训练数据。
这对AI模型来说是最重要的,光有数据没有训练的AI空洞乏味,毫无用处。
两天后,王杉从京城那边回来。
连续好几天的高强度会议和来回的奔波让王杉累的不轻,但就算很累,王杉回来后还是跟铁一样坐到他的电脑前愣愣出神。
他是从下午五点多回来的,枯坐在电脑跟前一直到晚上十点多都没怎麽动弹他就像是一台卡住的机器。
晚上的时候吕尧端着两杯安神补脑的营养补品来到王杉电脑桌前,笑着问道:「王哥喝点吗。」
王杉跟机器人一样生硬回道:「我不喝咖啡。」
吕尧把杯子放到王杉桌边,说道:「不是咖啡,是安神补脑的营养品。」
王杉这才笑了笑:「谢谢。」
吕尧靠在王杉桌边说道:「我看你从下午回来就一直在这僵着,是有什麽的特别难的问题吗?说出来咱们可以聊聊。」
王杉笑道:「都是专业上的事情。」
这是很明显的回绝。
虽然吕尧那份企划书里把建设AI的步骤说的相当详细,甚至用什麽方式喂养Al,培养AI都说的很明白,但经过这段时间的接触,王杉也明白在计算机工程方面,吕尧是个实打实的门外汉。
所以他不打算跟吕尧多聊什麽。
吕尧却不放弃:「那就当给我科普呗,费曼说啊最好的学习方式就是把自己会的东西讲给不会的人听,如果对方能听懂,那就说明这个知识是真正被你消化吸收了。」
王杉点点头,费曼学习法,确实很有道理。
心里稍微一琢磨,王杉就认同了吕尧的说法,打算给吕尧科普一下AI方面的基础知识,这也有助于他理清自己的思路。
于是王杉想了想后就抽出一张纸说道:「这次我回京城,组里面主要对专攻哪个神经网络有很大的分歧,你知道现在主流的神经网络模型有哪些吗?」
吕尧摇摇头。
然后王杉就开始给吕尧进行科普。
当下比较主流的神经网络有「深度神经网络」,「卷积神经网络」,「生成对抗网络」,「循环神经网络」等等。
其中卷积神经网络在图像识别丶目标检测等领域有非常好的表现。
循环神经网络在处理「序列数据」时则非常有优势,循环神经网络具有循环连接,使得信息可以在网络中传递并保持记忆,它的每个时间步都接收一个输入和一个隐藏状态,然后根据当前输入和前一个时间步的隐藏状态计算当前时间步的输出和新的隐藏状态。
王杉科普完说道:「现在业内对循环神经网络是比较看好的,他对自然语言的解析记忆算是非常不错的了。」
「但要把它作为主攻的方向,我心底总觉得哪里不太对劲。」
吕尧看着王杉画在纸上的循环神经输入输出模型示意图,发现这个流程其实跟transformer已经很像了。
区别只在于中间层的设计。
于是吕尧绞尽脑汁把自己关于transformer的理解说出来:「我觉得这都不太对劲,循环神经网络有种死记硬背的感觉,能不能设计一种算法,来捕捉输入数据中的内在算法呢?」