德州扑克AI的发展史

  • 686
  • A+
德州扑克AI的发展史



扑克AI的兴起可以说是一段奇怪的旅程。


德州扑克AI的兴起彻底撬动了之前亘古不变的由人类主导的游戏—德扑,2017 年 1 月,由 CMU 学者 Noam Brown、Tuomas Sandholm 开发的人工智能程序 Libratus 在宾夕法尼亚州匹兹堡的 Rivers 娱乐场持续 20 天的 1 对 1 无限制德扑比赛中成功战胜了 4 名全球顶级职业玩家人工智能程序 Libratus 训练成本150美元,每小时赢1000刀。

1655276483412576

而要想成为一名真正盈利的职业牌手,训练的成本可能会是 Libratus的几百倍,从一开始的购买书籍、购买专业设备、研究牌技、试错、培训费用、花钱买教训还不包括其中的时间成本以及上下风期的变数……原本那些站在德扑金字塔顶端享受荣誉与奖金的人,突然有一天被人工智能战胜, 是谁动了原本只属于人类博弈游戏的这块奶酪?


人工智能对德扑圈的这块奶酪早已觊觎已久……



1984年——Mike Caro向世界展示了一款扑克软件


扑克职业玩家Mike Caro写了一个他称为Orac的计算机程序,在1984年的WSOP中与几位职业选手竞争。


Caro花了两年的时间在一个美化的Apple II上开发Orac。


在今天的AI标准下,Orac很简单,但实际上它在一场比赛中击败了Doyle Brunson


有趣的是,Orac实际上是在扫描带有条形码的实体卡。那个游戏本身并没有发生在电脑上。


Orac还在Stratosphere的Bob Stupak参加了一场促销比赛,并遭遇了严重的打击。在三场最佳系列赛的第一场比赛中,奥拉克全押,斯塔帕克跟注。


Orac失败了,但根据卡罗的说法,有人踢掉了电源线,机器不得不重新启动,重新设置了比赛。 



1991年——阿尔伯塔大学团队投入研究


阿尔伯塔大学计算机研究小组将成为扑克人工智能的最大开发者之一,开始他们的扑克机器人研究工作。


除了Denis Richard Pap,Jonathan Schaeffer,Duane Szafron,Michael Bradley Johanson,Neil Burch等人之外,该组还包括一系列面孔,包括游戏科学家和兼职扑克职业Darse Billings。Michael Bowling随后加入其中,并成为扑克人工智能世界的一名重要玩家。



1996年—深蓝AI征服国际象棋世界冠军

IBM的深蓝AI击败了国际象棋世界冠军加里卡斯帕罗夫。


这引发了研究人员编程AI的急剧增加,以在Go或扑克等传统游戏中击败人类。


然而,扑克与国际象棋明显不同,因为这是一个不完美信息的游戏,计算机难以掌握。


有趣的是,深蓝项目(最初的深思)项目由冯雄雄在卡内基梅隆大学开始。


卡内基梅隆大学将继续在开发扑克AI方面发挥重要作用。


1997年—UoA发布Loki,第一个正确的扑克AI


阿尔伯塔大学计算机研究小组介绍了Loki,并将传奇的rec.gambling /扑克论坛作为他们研究的资源。


游戏科学家和兼职职业扑克职业选手Darse Billings和两名学生在阿尔伯塔大学计算机科学家Jonathan Schaeffer和Duane Szafron的指导下开发Loki。


Loki设计用于玩全桌(9名玩家)扑克,其中(截至2017年)尚未完全被计算机解决。


与大多数早期AI一样,Loki也专注于限注德州扑克,而不是流行的无限制变体。


最初,球队很有希望Loki有一天能够在WSOP中获得足够的进步,但Caesars最终会将规则改为竞争对手只保留人类。


Loki是众多AI中的第一个,它对扑克世界产生巨大影响。


此时,Loki的技术水平略低于普通人类扑克玩家。


1999年—Loki变成了Poki,获得了视频游戏合同

Loki背后的阿尔伯塔大学队决定重新启动机器人Poki并将焦点转移到具有较少变数的德州扑克双人游戏中。Poki可以在普通扑克玩家的水平上玩扑克。


这些早期机器人(以及后来的机器人)中的许多都围绕着纳什均衡的概念,简单地说,就是在考虑其他玩家的决定的同时做出最好的决定。


Poki最终将获得视频游戏Stacked的许可,其中还有Daniel Negreanu的肖像。


2002年—PsOpti / Sparbot显示UoA的潜力


阿尔伯塔大学发布了一系列机器人,包括PsOpti和Sparbot,试图解决单挑限制扑克。


尽管结果令人鼓舞,但在两人德州扑克中,没有一个机器人比中等强度更好。


该团队使用职业扑克职业选手Gautam“thecount”Rao作为AI的对手。Rao当时有这样说:


“你有一个非常强大的计划。一旦你向它添加了对手模型,它就会杀死所有人。“


AoU在接下来的几年里致力于对手建模或学习对手的表现。


2003年—扑克AI开发者从国际象棋模式过渡


这是扑克人工智能发展的关键一年因为研究人员开始将他们的注意力从国际象棋方法转移到像深蓝色一样在人工智能领域取得成功。


另一个值得注意的是,在卡内基梅隆(Carnegie Mellon)攻读博士学位的Michael Bowling在阿尔伯塔大学(University of Alberta)工作,在那里他将成为他们计算机扑克人工智能研究未来10多年的推动力。


2004年—Carnegie Mellon,Tuomas Sandholm开始扑克A.I. 研究工作

卡内基梅隆大学和最近Libratus AI背后的驱动力Tuomas Sandholm教授开始他们的扑克AI工作。


多年来,Andrew Gilpin,Sam Ganzfried和Noam Brown也为Sandholm的研究做出了巨大贡献。


在其他新闻中,ICCM Poker Bot Challenge为来自世界各地的各种机器人举办无限注德州扑克锦标赛。多伦多大学的Ace Gruber参加比赛。


2005年—世界扑克系列机器人


扑克热潮正如火如荼,金宫在Binions举办促销活动,获得1万美元的第一名奖金。共有六个不同的条目。


由印第安纳州37岁的汽车销售员希尔顿·吉文斯设计的PokerProbot取得了胜利。PokerProbot以微弱优势击败了Poki-X,这是阿尔伯塔大学着名的Poki AI(Loki的更新版)的匆忙拼凑版本。


人类职业选手Phil Laak在比赛期间还在一场单挑赛中击败PokerProbot。


“在三到五年内,他们将赢得胜利。” Kenneth "The Clone" Jones对洛杉矶时报说,他是扑克职业玩家兼软件工程师。


2007年—Polaris接替Phil Laak人工智能

阿尔伯塔大学首次亮相Polaris,后来成为最着名的扑克机器人之一,这要归功于与Phil Laak的对决(虽然它很接近,但它失败了)。


Polaris实际上是一个复合程序,由许多机器人组成(包括备受吹捧的Hyperborean08)。


该计划包含许多固定策略,并在比赛期间选择它们。


有趣的是,Polaris在计算能力方面并不是特别密集,可以使用MacBook Pro等产品运行。


Polaris只参加双人对决无限注德州扑克。https://www.moshike.com


从1981到2007年,扑克AI的发展让人刮目相看,从一开始被人类秒杀到和人类打平手,再到2007年的扑克AI已经发展到双人对决无限注德州扑克……

后10年的扑克AI是如何发展达到现在的地步的呢?下一篇文章见!

德州扑克







德州扑克