机械必威体育网址

标题: 如何让机器人通过自学习的方式学会玩“石头、剪刀、布”游戏？ [打印本页]
作者: 刘景亚    时间: 2016-4-8 17:44
标题: 如何让机器人通过自学习的方式学会玩“石头、剪刀、布”游戏？
本帖最后由 刘景亚 于 2016-4-11 18:26 编辑 ! C( S/ M% h+ e# h: q
" M# J! J- _. _+ I3 S
前段时间的人机围棋大战赚足了人们的眼球，Google公司的AlphaGO也使机器学习和深度学习让更多的人有了一定的了解，可谓做了一次很好的科技普及。
" u3 R! W/ P- v2 S4 V现在我们从简单问题入手，如何基于机器学习，通过自学习的方式让机器人学会玩“石头、剪刀、布”游戏？) q/ |! }& Y3 h% ]
不知大家有何建议？欢迎大家发言参加讨论。
) u; n- O$ j5 l: p3 X*******************************************************************************************
0 g# l9 D! n& |7 E* `分割线以上为原贴
1 L# p: O) h, H$ `% I*******************************************************************************************# O) e5 J, n) z  y* H0 b' i, Z  c
非常感谢各位大侠的参与和讨论。& r, V9 E4 i; ^2 z; I& X! `6 t; W
关于机器人玩“石头、剪子、布”游戏，我本打算分三个问题和步骤和大家一起探讨。看到讨论中，大家对这三个方面都有所涉及。
  o! V; E7 |/ H- U0 }/ b下面我把我对这个问题的认识抛出来与大家交流分享。: D0 [4 Q/ r* {5 s" c( |8 M
要让一个机器人玩“石头、剪刀、布”，我们分三步走。) ?+ ^5 f$ i5 O  V
第一步，如何让机器人通过自学习的方式学会游戏规则？比如，一开始机器人并不知道石头、剪子和布，哪个赢哪个，要玩游戏首先得学会规则。当然要实现这一步，有比较简单的办法，最直接的是程序员编程时，直接定义这个规则，这是以前经常用的传统的方法。现在我们想通过一种新的方法来实现，让机器人像小孩一样，通过不断地实践、摸索和总结掌握这个规则，也就是自学习和机器学习。) W3 }4 K# d0 P' [5 w8 p  d: P6 B
第二步，如何让机器人在掌握规则后大概率获胜？
7 W% W: i7 {4 u* @+ I第三步，能不能通过一种方法，使机器人在每局对战时100%获胜？
- F  h" _0 |$ i5 `0 J*****************************************************************************************
! ?) [) ]- R/ G; w. D3 R) a关于第一步，可以用如下方法实现：让机器人和人对战，在对战的实践过程中训练机器人，使其不断自学习以掌握规则。在对战，人始终随机出，机器人一开始并不知道规则，也随机出。赢了有奖励，输了有惩罚，随着对战次数的增多，机器人就会对出拳的种类形成“价值判断”。在训练过程中，机器人会反复判断，是随机出还是基于已经学到的部分知识。经过不断训练，机器人就会学会游戏规则。这个过程区别于以往的程序员直接定义，和人类的学习过程十分类似。. X) q5 h2 s% |. u
那么这个方法有没有效果，我们验证一下。
) G; M( L0 {- r; ]0 X9 [# A下图是我与机器人玩25局的情况，注意这个机器人一开始并不知道游戏规则。我随机出拳，机器人一开始也随机出，赢了奖励，输了惩罚。大家会发现，从第11局开始，机器人就已经完全掌握了规则。' B) l: J! X% L* Q. I# {
, F7 N% V& g  U0 j" C/ Z6 l
[attach]383558[/attach]5 |( \# s" G6 j
7 o! L# @3 l' x( d& F! }1 [" P5 g

" m' e0 U4 i- |( y/ U
+ o2 i# ]0 ~$ T  W5 g
作者: pacelife    时间: 2016-4-8 17:54
这种纯概率的东西，要做算法是很简单，但是胜率要提上去不容易啊
作者: 2266998    时间: 2016-4-8 18:15
应该上一个图形处理系统，先分辨对面这家伙是谁，再决定怎么玩，- ?  D: I& Y/ y' q

6 _2 o/ u/ \( h3 w人的活动，是有固定姿态的，比如下一步怎么活动，有细微表现，总结了这些姿态，就可以胜了对面的家伙，
1 R9 s# S3 D$ f
" _6 i; V2 d' t0 r0 Z
作者: crazypeanut    时间: 2016-4-8 18:38
本帖最后由 crazypeanut 于 2016-4-8 18:39 编辑 ) _6 Z6 I6 G. U$ }* }7 x+ k5 G  J

, r, n( z  A% |0 d5 P如果不考虑心理学因素的话，猜拳不是博弈系统，是一个纯概率系统，样本空间为（剪，石），（剪，布），（剪，剪），（石，剪），（石，布），（石，石），（布，剪），（布，石），（布，布）  _2 f  Z" N% X) Y7 b) w
" c6 ~/ ]$ ~* Q) T" `
获胜组合是（剪，布），（石，剪），（布，石），概率为1/3，相应的，平局组合和输掉组合均为1/3
1 f. q+ j7 B9 S% |+ e5 c. o" _4 `$ s; x! P
因此，如果没有心理学算法在里面，用随机算法随机选择出拳的话，获胜几率不会超过1/3# O& O" S& o. g
* v% j- \' _- `0 R9 G- L
而将心理学因素考虑进去，就像8爷所说的，要加上图形系统，增加了复杂性，也偏离了正道) b& N3 c, z; X; d9 d

5 ?9 K! m6 U) Q/ V* p# G$ \个人建议，选择五子棋或者黑白棋作为研究对象更合适，五子棋和黑白棋应该算是最简单的博弈系统了，棋子就黑白两种，相对容易处理2 z+ F9 y* ~/ Q1 y5 V; b
, v5 q% n) c: i) j. k
有人可能说井字棋更简单，但是作为博弈系统，井子棋有不败的策略，没有太大的研究价值
作者: 木子12    时间: 2016-4-8 19:06
crazypeanut 发表于 2016-4-8 18:38
" ]5 D2 p) D; O% S, |6 N如果不考虑心理学因素的话，猜拳不是博弈系统，是一个纯概率系统，样本空间为（剪，石），（剪，布），（剪 ...
4 }+ K/ j9 p& i( r
之前好像有一个日本的机械手，就是这么干的，动作相当灵活
/ @+ ~% q6 }5 |8 Q
作者: fiyu1314    时间: 2016-4-8 19:54
     玩石头剪刀布没问题。很简单。生成1 2 3 随机数分别代表石头剪刀布。  自学习估计这个必威APP精装版下载里懂得就少了。去个程序员必威APP精装版下载估计能弄明白自学习的程序的都不多。顶多就是 分析下 这个人出什么的概率，和出完什么再出什么的概率。然后弄个算法分析下他会出什么的概率最大。再高科技点，就分析他出什么之前的浑身表情动作等。
作者: 冷月梧桐    时间: 2016-4-8 20:25
这是一个随机概率的问题，石头，剪刀，布就是三个动作点，然后随机输出一个动作点就会呈现一个动作就好了，从理论上来讲是完全可行的
作者: shiqi67    时间: 2016-4-8 20:45
楼主的意思应该是“如何让机器人学会玩剪刀石头布”，而不是“使机器人玩”剪刀石头布吧……
9 }# Z( w; e/ E* z6 V. i& h2 j; v楼上都跑偏了吧
作者: huiyu788    时间: 2016-4-9 07:58
可以根据对方出拳的情况，用多项式拟合，然后用多项式预测下一步对方出什么，对方每出一次拳，就修正多项式
作者: wsxm82    时间: 2016-4-11 10:14
用上“分歧终端机”呢，非诚勿扰里的那个
作者: 刘景亚    时间: 2016-4-11 18:42
下图是我与机器人每次玩25局，重复了6次的实验结果。" v2 j& U. }: y  {- H/ U5 w9 K
图中1表示机器人胜，2表示机器人负，3表示平局。
+ A1 J0 `$ g+ K, ?' S' z可以看出，机器人基本上在10局左右，就会掌握规则。' B) R5 `( X1 Q" ~
[attach]383559[/attach]4 D1 d+ {* A% e0 @7 d0 a( {9 H

/ C1 i; d6 k% J8 |; |; L4 O& l/ N( |& J( d! i3 r! C
作者: ywjianghu    时间: 2016-5-8 09:46
楼主位没有说明，这个机器人是带视觉识别系统的吧？# K4 F. q6 f4 P) o7 ]
单纯从概率和经验上，是无法判断人接下去出什么的。
+ E# A* z/ ?+ V) F$ U- K$ Y



欢迎光临 机械必威体育网址 (//www.szfco.com/) Powered by Discuz! X3.4