Connect with us

Saaspad | China Tech & SaaS News, Trends & Insight

AI 网红 Andrej Karpathy:为什么 AlphaGo很难应用到围棋以外的世界?

想法

AI 网红 Andrej Karpathy:为什么 AlphaGo很难应用到围棋以外的世界?

AI 网红 Andrej Karpathy:为什么 AlphaGo很难应用到围棋以外的世界?

Karpathy在文章中谈到了AlphaGo技术中一些很酷的部分,以及,从围棋的7大属性出发,谈到了AlphaGo常常被人忽视的一些局限性。


我最近有幸跟几个人聊到了AlphaGo与柯洁等棋手的比赛。特别是,大多数的报道都是大众科学+PR的混合体,所以,最常见的问题就变成了“AlphaGo的突破性表现在什么地方?”“AI研究者如何看待AlphaGo的胜利”以及“ 胜利的意义在哪?”

我想,针对这些问题,我有一些自己的想法。

一些很酷的部分

AlphaGo  是由一系列相对来说比较基础(standard)的技术组成的:行为复制(对人类所展示的数据进行有监督式的学习),强化学习,价值函数和蒙特卡洛树搜索(MCTS)。不过,这些“组件”的组合形式是极具创新性的。

具体说来,AlphaGo使用了一个SL(监督学习)策略,来把在自我对弈中变得越来越完美的强化学习策略激活。这也是随后他们评估价值函数的来源,接着他们会把价值函数嵌入到蒙特卡洛树搜索中(从某处程度上来说这很令人意外),蒙特卡洛树搜索会使用(更烂!但是更多样化)的监督学习策略来对rollouts进行抽样。

此外,策略/价值网络是一些深度神经网络,所以,要让所有的事情都正常工作,这意味着其本身也会面临一些独特的挑战(例如,价值函数的训练使用的是一种狡猾的方法,以预防过拟合)。在所有的这些方面,DeepMind都执行得非常好。他们曾说,在解决强化学习的难题上,AlphaGo本身并没有使用任何具有基础性的、算法的突破。

11

狭义AlphaGo

缩小来看,总的来说 AlphaGo 还只是一个狭义的AI系统,会下围棋,但是也仅此而已。DeepMind用来玩 ATARI 游戏的智能体使用的并不是AlphaGo惯用的技术方法。神经图灵机与AlphaGo没有什么关系。

谷歌搜索引擎也不会使用AlphaGo。所以,AlphaGo不会推广到除围棋以外的任何问题上。但是,研究AlphaGo的人和神经网络技术可以扩展,它们比旧时代的AI 具有更高的效率,因为以前的AI,每一词demo都需要储备专门化的、具体的代码。

我希望通过列举围棋的一些特殊属性,来扩展AlphaGo的狭义意义。这能有利于我们了解AlphaGo可以或者不可以扩展到什么地方。围棋是:

  1. 完全确定性的。在围棋的规则中,不存在任何不清晰的地方。如果对弈双方采取的是相同的一系列动作,那么,他们可以达到的状态就通常就是确定的。
  2. 可以完全观察的。每一个玩家都拥有完全的信息,并且不存在隐藏的变量。例如,德州扑克就不符合这一属性,因为你不能看到对手的牌。
  3. 行动空间是不连续的。有一些独特的下法是可以施展。作为对比,在机器人身上,你可能会希望在每一个节点都需要连续具有连续性的控制。
  4. 能够获得一个完美的模拟器(游戏本身),所以每一步能取得的效果都是可以精确预测的。这一前提是AlphaGo强烈依赖的,但是,这种情形在现实世界中是非常稀缺的。
  5. 每一盘棋都很短,只有大约200手。相对于强化学习的阶段,这是一段相当短的时间。因为在自我对弈阶段,每一盘棋可能包含的是上万或者更多手。
  6. 评估是清晰、快速的,允许大量的试错。换句话说,智能体能数百万次的体验胜利和失败,这能让它们进行学习,虽然缓慢但是很确定,正如深度神经网络中常见的优化那样。
  7. 有大量的人类棋谱数据,所以AlphaGo不需要从头开始进行学习。

举个例子:AlphaGo应用在机器人上?

以上列举了围棋的一些魅力,下面我们再来看机器人问题,以及我们可以如何将AlphaGo 应用到机器人中,比如说 Amazon 的机器人拣选挑战赛(Picking Challenge)。这个问题只是想想就有点滑稽。

  • 首先,你的动作(高维度,连续动作)由机器人的电机笨拙/吵闹地执行(违反了1和3)。
  • 机器人可能必须要环顾四周以便找到需要移动的物品,因此它并不能总是感知到所有相关信息,有时候它只是根据需要收集信息(违反了2)。
  • 我们可能有一个物理模拟器,但这些模拟器是不完美的(尤其是模拟接触压力);这就带来了一些挑战(违反了4)。
  • 取决于你的行动空间的抽象程度(扭矩- >夹子的位置),一次成功可能要远多于200个动作(也就是说,第5点取决于设置)。更长的情节增加了信用分配的问题,这对学习算法在任何结果的行动中分配责任来说很困难。
  • 由于我们是在现实世界中操作,机器人练习数百万次某一动作(成功或失败)会变得更加困难。一种解决方法是并行化机器人,但会相当昂贵。此外,机器人的失败可能还包括机器人本身的损坏。另一种方法是使用模拟器,然后转移到现实世界中,但在不同领域的转移中又会带来新的挑战。(即违反了6)
  • 最后,很少有数百万的人类演示数据(违反了7)。

简言之,基本上围棋满足的每一个假设,以及AlphaGo有优势的地方都被违反了,每一个成功的方法看起来都完全不一样了。更一般地说,上文的围棋的一些属性对当前的算法(例如1,2,3)并不是不可克服的,而且有些对于AlphaGo的训练是非常关键的,但是很少存在于其他真实世界的应用(4,6)。

结论

虽然 AlphaGo 在AI算法方面并没有根本性的突破,虽然它仍然只是狭义AI的一个例子,但 AlphaGo 仍然象征着 Alphabet 的AI 能力:该公司的人才数量/质量上,他们掌握的计算资源,以及公司高层对AI的关注。

Alphabet 在AI上下了大赌注,而且是安全的赌注。不过也许我的这篇文章是带有偏见的:)

本文转自公众号新智元(ID:AI_era)

Continue Reading
You may also like...
selina的头像

Click to comment

Leave a Reply

电子邮件地址不会被公开。 必填项已用*标注

More in 想法

Popular

To Top