使用这些输入和输出来训练系统,逐渐加权连接。隐藏层增加了计算复杂性,为机器提供了足够的连接来编码有趣的数据。训练本身使用线性回归的表亲方法(有过度简化的风险)。在大量输入和输出上,我们希望最小化模型的误差。在某些情况下,我们从输出向后工作回到输入,这与您可能从完成回到开始的困难纸迷宫的工作方式大致相同。为什么要这么麻烦?如果我们知道输入和输出(坚持监督学习,以保持简单),为什么我们不只是有一个查找表?如果 X,那么 Y – 简单。当我们得到一个不在表格中的输入时会发生什么?系统失败。神经网络的神奇之处在于,如果系统经过适当的训练,它可以为全新的输入返回输出。把一个很长的故事写成中等长度,这些简单的神经网络是有趣的玩物,但不能解决许多复杂的问题。
所以,我们把它们放在一边。然后,不可避免的事情发生了——计算能力呈指数级增长并且变得更便宜(感谢 Gordon Moore!)。具体来说,我们发明 号码表 了 GPU。你可能会认为 GPU 是为游戏玩家打造的,但它本质上是一个非常强大的数学机器。在某些时候,简单的神经网络大规模地扩展,我的意思是大规模地——大约 1,000,000 倍。这些新机器能够执行更有趣的任务,神经网络的新时代诞生了。这些新机器需要更复杂的方法,因此,冒着过度简化一个非常复杂的主题的风险,深度学习诞生了。 谷歌如何使用深度学习? 幸运的是,我们对 RankBrain 了解得更多。
在 Steven Levy 关于谷歌机器学习雄心的优秀文章中,他引用了更广泛的谷歌大脑小组负责人 Jeff Dean 的以下内容...... 到 2014 年初,谷歌的机器学习大师认为 [Amit 的方法] 应该改变。“我们与排名团队进行了一系列讨论,”迪恩说。“我们说我们至少应该试试这个,看看有没有什么收获。” 结果证明,他的团队考虑的实验是搜索的核心:排名中的文档与查询的匹配程度(通过用户是否点击它来衡量)。“我们只是说,让我们尝试从神经网络计算这个额外的分数,看看这是否是一个有用的分数。” 直到 2016 年初,Google 搜索团队的负责人 Amit Singhal 率先采用了启发式方法——我们可以称之为“排名因素”。Google 的机器学习 (ML) 倡导者最终能够说服团队在排名环境中测试 ML。