z***t
发帖数: 10817 | 1 【 以下文字转载自 Military 讨论区 】
发信人: threepig (), 信区: Military
标 题: 德州扑克也不是啥人工智能的禁区，早晚碾压人类
发信站: BBS 未名空间站 (Tue Jan 10 09:35:38 2017, 美东)
看来网上扑克赌场的生意做不了多久了。
学界 | 新论文提出玩扑克人工智能DeepStack：已达职业玩家水平
2017-01-10 机器之心
选自arxiv.org
机器之心编译
参与：吴攀、李亚洲
当地时间 1 月 11 日，在宾夕法尼亚州匹兹堡的 Rivers 赌场，由卡耐基梅隆大学（
CMU）开发的名为 Libratus 的人工智能系统将与人类顶级职业德州扑克玩家进行 20
万美元的比赛。然而 CMU 并不是唯一一个在研究如何让人工智能学习玩扑克牌的地方
，近日，加拿大阿尔伯塔大学、捷克布拉格查理大学和捷克理工大学的研究者联合发表
了一篇论文，表示其人工智能已经在无限制扑克（No-Limit Poker）游戏上达到了专家
级的水平。点击阅读原文可下载该论文。
摘要
近些年来，人工智能领域出现了很多突破，其中游戏往往被用作重要的里程碑。过去实
现那些成功的游戏的一个常见的特征是它们都涉及到玩家之间的信息对称，即所有的玩
家都获取了相同的信息。然而和游戏相比，这种完美信息（perfect information）的
性质在真实世界问题中却少见得多。扑克是一个典型的不完美信息（imperfect
information）游戏，而且其一直以来都是人工智能领域内的一个难题。在这篇论文中
，我们介绍了 DeepStack，这是一种用于扑克这样的不完美信息环境的新算法。它结合
了回归推理来处理信息不对称性，还结合了分解（decomposition）来将计算集中到相
关的决策上，以及一种形式的关于任意牌的直觉——该直觉可以使用深度学习进行自我
玩牌而自动学习到。在一项涉及到数十位参与者和 44000 手扑克的研究中，DeepStack
成为了世界上第一个在一对一无限制德州扑克（heads-up no-limit Texas hold'em）
上击败了职业扑克玩家的计算机程序。此外，我们还表明：和已经被人亲睐了十多年的
抽象范式（abstraction paradigm）相比，这种方法能够极大地减少最糟糕情况的
exploitability 值。
DeepStack
DeepStack 是一种可用于一个很大类别的序列不完美信息博弈（sequential imperfect
information games）的通用算法。为了明晰这个算法，我们将会在 HUNL 游戏中描述
其运算。一个扑克游戏的状态可以被分成玩家的私有信息（两张牌面朝下的手牌）和公
共状态（包括牌面朝上的牌和玩家采取的下注动作序列）。游戏中的公开状态的可能序
列构成一个公开树（public tree），其中每一个公开状态都有一个相关的公开子树（
public subtree）。
图 1：HUNL 中公开树的一部分。红色和天蓝色的边表示玩家动作。绿色边表示公开的
公共牌。带有筹码的叶节点表示游戏结束，其中，如果一个玩家根据之前的动作和玩家
手牌的联合分布而弃牌或做出决定，那么收益就可能是固定的。
图 2：DeepStack 架构概览（见 a）。对于每一个公开状态，DeepStack 都要重新计算
它需要的动作，这会用到一个深度有限的向前预测——其中子树值（subtree value）
会通过一个训练好的深度神经网络 Neural net（见 b）来计算，该深度神经网络
Neural net 是比赛前通过随机生成的扑克情境（见 c）来训练的。图 2 是由专业图形
设计师设计，和图 3 的风格类似。
图 3:深度反事实价值网络（Deep counterfactual value networks）。该网络的输入
包括底池大小、公共牌、手牌范围（player ranges），这些首先会被处理成 bucket
ranges。来自这 7 层全连接隐藏层的输出还要经过后处理（post-processed），从而
保证该值（values）满足零和约束（zero-sum constraint），然后这些值又会回过来
被映射为 hand counterfactual values。 | N*****m
发帖数: 42603 | 2 显然比人强啊
【在 z***t 的大作中提到】
: 【 以下文字转载自 Military 讨论区 】
: 发信人: threepig (), 信区: Military
: 标 题: 德州扑克也不是啥人工智能的禁区，早晚碾压人类
: 发信站: BBS 未名空间站 (Tue Jan 10 09:35:38 2017, 美东)
: 看来网上扑克赌场的生意做不了多久了。
: 学界 | 新论文提出玩扑克人工智能DeepStack：已达职业玩家水平
: 2017-01-10 机器之心
: 选自arxiv.org
: 机器之心编译
: 参与：吴攀、李亚洲
| z***t
发帖数: 10817 | 3
胜率部分容易算
poker star转播 台面翻一张牌出来 胜率实时变化
但deep learning怎么应对bluff等人性的贪婪狡诈的问题
还就是中规中矩有好牌就bet raise,那不暴露底牌了吗
【在 N*****m 的大作中提到】
: 显然比人强啊
| N*****m
发帖数: 42603 | 4 真按牌面概率算，bluff没用的，也就是对人有用
【在 z***t 的大作中提到】
:
: 胜率部分容易算
: poker star转播 台面翻一张牌出来 胜率实时变化
: 但deep learning怎么应对bluff等人性的贪婪狡诈的问题
: 还就是中规中矩有好牌就bet raise,那不暴露底牌了吗
| l******n
发帖数: 9344 | 5 把一个选手的录像全部用来training，很容易发现他什么时候在bluff，比如用了多长
时间，脸部表情或者动作之类的
我觉得更难的是利益最大化的问题，比如手里的牌有一定胜率的时候，你需要怎么bet
或者action来最大化利润。
【在 N*****m 的大作中提到】
: 真按牌面概率算，bluff没用的，也就是对人有用
| w**n
发帖数: 175 | 6 电视直播显示的概率是基于知道所有选手的牌，如果只知道自己的牌，也可以算概率，
但是置信区间会很大，如果一桌人类选手每把一发牌就all-in， AI的胜率也搞不到哪
去 | N********n
发帖数: 8363 | 7 人工智能在德州扑克还有桥牌之类游戏中并没有明显优势，因为可用信息是有限
的。机器只能看到自己的牌，看不到别人的牌，只能靠不完整的信息区推测。这
不同于摊开来玩的围棋、象棋。下棋没有BLUFF这种招数的。 | f*****r
发帖数: 754 | 8 这个还仍然只能打heads-up，multi-way还不行吧？
【在 z***t 的大作中提到】
:
: 胜率部分容易算
: poker star转播 台面翻一张牌出来 胜率实时变化
: 但deep learning怎么应对bluff等人性的贪婪狡诈的问题
: 还就是中规中矩有好牌就bet raise,那不暴露底牌了吗
|
| z***t
发帖数: 10817 | 9 今日头条
7亿用户的选择
打开
Master以60连胜横扫围棋界，在围棋界产生了什么样的影响？
打开
底牌APP致中国扑克玩家道歉书：对不起！我们不应该……
打开
司文专栏：一个商学院老师的德州扑克感悟
打开
德州扑克人机大战第八天战况：人类选手全线溃败
扑克人社区
1-19 0:09
关注
北京时间1月19日中午12点，人机德州扑克单挑大战第八天的战斗刚刚鸣金收兵。今天
人工智能Libratus在和人类的交手中四战全胜，人类选手被四比零KO，损失约24万美元
，是迄今为止输得最惨的一天。目前双方一共激战了40,340手，人类选手总计亏损47万
１千6百美元。这画面太残忍，我不忍看……
Dong Kim是目前还算体面的人类选手，亏损不到3万美元。其他三名选手损失均超过10
万美元。Jason Les是目前最惨的人类选手，亏损18万多美元。
目前人类选手战绩如下：
Dong Kim亏损29,506美元
Jason Les亏损186,489美元
Jimmy Chou 亏损113,728美元
Daniel Mcaulay亏损141,877美元
目前比赛才进行了约1/3的进程，人类选手还有很多时间挽回局势，希望他们在接下来
的比赛中不要气馁，稳打稳扎，夺回人类的尊严。国象和围棋的最高舞台已经被人工智
能攻陷，小编希望四名选手能够守住这块竞技运动最后的领地（至少不要输得太惨！）。
本文为头条号作者发布，不代表今日头条立场。
热门评论
lennth
最后领地？麻将说不服
3
伏流58412496
人工智能玩德州扑克，基本上就是概率计算了。你怎么玩的过？你就是奥斯卡影帝，它
不看你的脸，怎么诈它？
6
打开今日头条, 查看全部32条评论
精彩推荐
全球最有权势的华人，比肩比尔盖茨，百度又挖来了一位超级牛人？
下载头条阅读胡华成40分钟前
百度二把陆奇到岗 听李彦宏讲怎么搞定他的
下载头条阅读智东西40分钟前
广告01-19
棋牌竞技化又添新项目 棋圣聂卫平也“掼蛋”
下载头条阅读北晚新视觉网4小时前
人类棋手能打败AlphaGo吗？
下载头条阅读头条问答01-05
司文专栏：一个商学院老师的德州扑克感悟
下载头条阅读底牌APP10小时前
网络赌博都是骗局吗？
下载头条阅读头条问答01-16
你见过哪些大隐于市的得道高人或者在某个领域深藏不露的绝世高手？
下载头条阅读头条问答1小时前
Master以60连胜横扫围棋界，在围棋界产生了什么样的影响？
下载头条阅读头条问答01-05
BAT的下半场：人工智能，属于百度最后的救赎
下载头条阅读砍柴网9小时前
连Dwan都懵逼了，什么！你要不要这么紧弱-斗牌德州
下载头条观看斗牌德州扑克6260次播放
03:49
你所知道最冷的冷知识是什么？
下载头条阅读头条问答2016-11-26
扑克名人堂成员出售个人1983年WSOP主赛事金手链
下载头条阅读扑克人社区01-18
华为“人工智能”系统大升级！网友却表示：抢到手再说！
下载头条阅读安卓菌2小时前
程序员让开，硅谷将会是物理学家的天下，薪水高得离谱
下载头条阅读造就2小时前
拳击运动员的实战能力怎么样，打得过街头混混吗？
下载头条阅读头条问答2016-11-02
加载更多精彩推荐...
周总理病逝，毛主席与朱老总哭着告别昔日的战友！
打开今日头条，查看精彩内容 > | z***t
发帖数: 10817 | 10 Go to Menu
Carnegie Mellon University
Search Only CMU NewsSubmit Carnegie Mellon University Search
|CMU NEWS| >Stories>All News>2017>January>
Poker Play Begins in "Brains Vs. AI: Upping the Ante"
Wednesday, January 11, 2017
Poker Play Begins in "Brains Vs. AI: Upping the Ante"
Pros will play 120,000 hands against Carnegie Mellon artificial intelligence
ByByron Spice
Play began Jan. 11 for "Brains Vs. Artificial Intelligence: Upping the Ante,
" a competition at Rivers Casino in Pittsburgh that pits a Carnegie Mellon
University artificial intelligence called Libratus against four of the world
's best professional poker players.
During the 20-day event, Libratus and the pros - Jason Les, Dong Kim, Daniel
McAulay and Jimmy Chou — will play a total of 120,000 hands of Heads-Up No
-Limit Texas Hold'em. The pros will split a prize purse of $200,000, while
the AI and its creators — Professor Tuomas Sandholm and Ph.D. student Noam
Brown - look to prove that AI can best the top high-stake players of the
game.
"A lot of people throughout the AI community are watching this event
carefully," said Andrew Moore, dean of Carnegie Mellon's School of Computer
Science. He said beating some of the top players in the game would be a
significant achievement for AI and will only be possible if Libratus can
successfully bluff and otherwise mislead its human opponents.
Moore noted that the ability to outperform the best human players at an
imperfect information game such as poker could lead to a host of new
applications for AI. For example, he said negotiating the best price for a
new car might someday be a task that people can assign to their smartphone.
But the game they are playing in Brains Vs. AI is two-player Texas Hold'em
with no restrictions on bet size, an incredibly complex game that has proven
elusive to solution by AI, said Sandholm, a professor of computer science.
A previous CMU AI, called Claudico, was out-pointed in the first Brains Vs.
AI competition in 2015. He noted that international betting sites consider
Libratus a definite underdog in this contest, with odds varying between 4-to
-1 and 5-to-1 against the AI.
"I'm really delighted that we got four of the top Heads-Up No-Limit Texas
Hold'em specialists in the world here today," Sandholm said, making the
event the ultimate test of the AI.
AIs developed by Sandholm and Brown have won the last two Annual Computer
Poker Competitions, in which pokerbots play each other. Libratus represents
a two-generation leap ahead from Claudico, the AI that competed in the 2015
Brains Vs. AI.
"I don't know what to expect," said Les, one of the poker pros and a veteran
of the 2015 contest, comparing the new Libratus to a player who has been
practicing the game in Antarctica for years and is only now beginning to
play others. He said he and his fellow players consider Brains Vs. AI to be
part of an important research effort.
"If we're going to test this system, we really want to push it to the
absolute limit," Les said.
Sandholm noted that the Libratus AI is not specifically a poker program. Its
algorithm could be applied to any number of situations that involve
incomplete and misleading information, such as business negotiations,
military strategy, cybersecurity and even medical treatment design.
Libratus developed its knowledge of the game and its strategy by analyzing
the rules of the game, not by trying to copy the play of humans. The AI
calculated its poker strategy using about 15 million core hours of
computation on the Pittsburgh Supercomputing Center's Bridges computer.
Ralph Roskies, scientific director of the PSC, said this use of Bridges
already has generated 2 1/2 petabytes of data.
To ensure the outcome of the competition is not due to luck, the four
pros will be paired to play duplicate matches - Player A in each pair will
receive the same cards as the computer receives against Player B, and vice
versa. One of the players in each of these pairs will play on the floor of
the casino, while his counterpart will be isolated in a separate room.
For this second installment of Brains Vs. AI, the pros have agreed to
increase the number of hands to improve the chance of reaching statistical
significance, that is, ruling out with high confidence the possibility that
either the humans or the computer win by just getting lucky. To do so, the
pros will play more days and will "two-table," playing two hands
simultaneously.
Play will begin at 11 a.m. each day at Rivers Casino and end around 7 p.m.
The public is welcome to observe game play, which will be in Rivers' Poker
Room. Libratus' games also will be streamed viaTwitch. Aggregate scores
will be posted each evening on the competitionwebsite.
Brains Vs. AI is sponsored by GreatPoint Ventures, Avenue4Analytics,TNG
Technology Consulting GmbH, the journalArtificial Intelligence,Intel
andOptimized Markets, Inc.Carnegie Mellon'sSchool of
Computer Sciencehas partnered with Rivers Casino, thePittsburgh
Supercomputing Center(PSC) through a peer-reviewedXSEDE
allocation, and Sandholm'sElectronic Marketplaces Laboratoryfor this
event.
Share:
7
Carnegie Mellon University News5000 Forbes AvenuePittsburgh, PA 15213(412)
268-2900The Piper: Campus NewsCarnegie Mellon Today MagazineEvent
CalendarCarnegie Mellon Home
https://www.cmu.edu/news/stories/archives/2017/january/poker-play.html |
|
