博弈论的最佳解决方案:关于GTO扑克的几点思考(上)

  • 824
  • A+

博弈论的最佳解决方案:关于GTO扑克的几点思考(上)


作者:Nikolai Yakovenko


GTO扑克中的“GTO”意思是”游戏最优策略”。在扑克中,这个术语会被抛出来表示一些不同的概念。

 

GTO指的是关于给对手建模的思想,以及根据范围和概率来思考扑克局面,而不是严格地以结果为导向。

 

有时候,这些想法会变成年轻的职业玩家在扑克室大喊一个给定打法是否属于“GTO”或者“反GTO”,我们经常在论坛里也会看到这样的帖子。

 

但是,GTO扑克的真正含义是什么?它适用于您的游戏吗?

 

寻求一个无法被剥削的策略

 

游戏的最佳解决方案具有精确的数学定义。

 

有趣的是考虑这些对扑克玩家意味着什么,以及该概念如何成为研究理想扑克策略的主要框架。

 

由于笔者这些天的大部分时间都花在构建扑克游戏水平强悍的计算机AI上,所以我经常在思考计算机如何看待无法被对手剥削的GTO扑克策略。

 

GTO(尤其是在现代扑克游戏中)主要是追求一种策略,使您无法被对手占便宜。

 

想想《杀死比尔》中的乌玛·瑟曼。或任何布鲁斯·威利斯电影中的他。

 

在扑克之外,在介绍GTO的时候总要讲到“囚徒困境”。

 

假设,我们两个人因共同犯罪被捕。如果我们俩都不说话,我们俩都只面临一个月监禁。但是,如果我们中的一个人背叛了另一个人,那么告密者就可以无罪释放,而另一个人会面临一年监禁。

 

如果我们俩都认罪,那么我们俩都会受到稍微严厉的判决监禁三个月,因为每个人的证词都可以用来对付对方。

 

即使我们在第一种情况下最好(没人认罪),但无论对方怎么做,每个人最好的策略还是与当局合作,(如果我不认罪,你认罪告密你就没事了,那如果我认罪了,那么你最好的策略也是认罪)。

 

在玩家相互利用而获得回报的环境中,即使各方都能从中受益,也可能不值得合作。

 

“泡沫困境”



这相当于两名玩家在锦标赛的泡沫阶段中进行对抗。

 

除了不怕泡沫破裂的超深筹码可以肆意地抢夺别人的筹码,其余玩家都可以从导致淘汰的对抗中受益。

 

因此,对抗的两个玩家只是通过试图淘汰对方来伤害自己。但是,他们不可能共同寻求互惠互利的解决方案。

 

对于一名有思想的扑克玩家来说,对对手试图击败你的尝试做出反应是很自然的,冠以GTO扑克的名头似乎有点多余。

 

当然,对手有策略。您对他持各种底牌的策略将有所了解,你的工作是在执行自己的策略时将其考虑在内。

 

换句话说,游戏对手。这就是GTO扑克的全部目的。

  

“解决”扑克游戏(以及其他游戏)


当你根据对手的策略调整策略时,他或她将根据你的策略进行调整,依此类推。

 

对于单挑限注德州扑克,艾伯塔大学团队将这一过程做出了合乎逻辑的结论,并于今年早些时候在《科学》杂志上发表了他们的结果。

 

他们利用计算机网络开了两个策略,反复调整以适应对方的游戏。

 

最终,他们达到了一种状态,在任何特定情况下,任何一方都无法获得比对方多获得甚至1%的优势。

 

这听起来很复杂,简单来说,从本质上讲,他们达成了一种策略,对手无法利用其他任何可能的策略来剥削我们,或者至少不会拥有超过1%的优势。

 

令人困惑的是,阿尔伯塔大学的团队声称已经“解决”了单挑限注德州扑克,而实际上他们只是为单挑限注德州扑克找到了一个GTO平衡,并且可能存在其他平衡点。这还有待发现。



根据该论文,他们的“接近完美”的单挑限注德州扑克机器人在按钮位90%以上加注,但是在面对3bet后,它几乎从来不做4bet,即使手上是AA。

 

这似乎暗示在按钮位用AA做4bet是错误的,或者至少不如通过平跟3bet来掩饰手牌那样有利可图。

 

第一次阅读他们的论文时,这肯定是我认为的含义。

 

但是,阿尔伯塔的人很快指出,在按钮位用AA跟注3bet,只是在他们发现的GTO平衡中是最佳的。

 

考虑到其他策略,用口袋对A进行4bet可能不是最优的。您可能可以用AA去做4bet,但是接下来需要调整其他策略。

 

至少,你也需要用其他的牌4bet,以免暴露你的AA。如果他们用AA做4bet,然后再把其他的策略跑一遍直到稳定,是否会达到不同的GTO平衡?那将是一个有趣的实验。

 

在实践中,如果您知道对手将用一对跟注AA,而不是知道你的4bet范围很紧的话,那么你就少赢了一注。

 

在The Thinking Poker Podcast的一集中,Andrew Brokos和Nate Meyvis很好地解释了这一点。

 

博弈论对最佳玩法有很强的定义,在这种情况下,您应该考虑到用任何一手牌做出的每一次玩法都是平衡的一部分。

 

但是,在实际情况下,考虑到你可能玩的手牌范围以及对手可能的手牌,在该情况下只有95%的打法是最优化的。

 

在节目中讨论过的一手牌中,一位听众在有限德州扑克游戏中没有位置在高牌Ace牌面,手持KK。

 

单挑时,这仍然是一手正ev的牌,但下注没有太大价值。对手有Ace不会弃牌,而过牌可以从诈唬哪里或者从更小的中对那里获得价值。

 

让我们考虑一下计算机AI可能遇到的情况。

 

假设您正在玩$ 100 / $ 200级别的限注德州扑克。底池里有$ 400,而你在翻牌前用KK加注。

 

此时你的期望价值可能约为+ $ 700(包括现有底池以及未来赢到更多筹码的价值)。现在在有高张A翻牌面,你的价值下降到+ $ 300左右。

 

更重要的是,过牌跟注的价值下降的幅度可能小于下注的价值。

 

假设双方都玩的很好,长远看不输不赢,估计你的手牌价值是另一种模拟GTO的方法。

 

博弈论的最佳解决方案:关于GTO扑克的几点思考(下):https://www.moshike.com/a/2682.html 



德州扑克





德州扑克