上周我们讨论了机器学习的agent的顶底特点，本周我们讨论其它问题。

1，先说问题

常规的软件指标可以成为交易系统，但是无法取得进化效果，如上一篇所说，交易系统是需要进化的，因为本质上是人与人之间的博弈，别人在进化，交易系统也需要进化。

有一个经典的例子叫赌徒问题：一个赌徒利用硬币投掷的反正面结果来。假如投掷结果是硬币的正面朝上，那么他就赢得他所压的赌注，如果是反面朝上，那么他输掉他的赌注。当这个赌徒赢满100美元或者他输掉他所有的钱时，结束。每一轮投掷，赌徒必须取出他资金的一部分作为赌注，赌注金额必须是整数。这个问题可以表述为一个无折扣的、情节式的有穷马尔可夫决策过程。

状态就是赌徒所拥有的资金，，

动作就是下赌注，。

除了赌徒达到100美元的目标而奖赏为＋1以外，其他奖赏均为0。

状态－值函数给出每个状态能够获胜的概率。

策略就是如何决定每轮取出多少钱去下注。最优策略就是使取得最后胜利的概率最大化。

令代表硬币正面朝上的概率。假如已知，那么整个问题也就知道了，并且可以得解，比如通过值迭代求解。

 2,关于实践

    这个问题很经典的原因是在某些方面和做交易的过程太像了。用数学方法来描述这个过程是

任意初始化V，比如：，对于所有

Repeat

                            For each

Until （一个极小的正数）

              输出一个确定的策略

                          值状态          

                                                                                策略状态                                                                      3总结

 这个过程很难理解，因为涉及到很多的数学知识，特别是马尔科夫链和贝尔曼方程，这方面的知识不过多解释，只能自己去学习了。

作家格拉德威尔在《异类》一书中指出的定律。“人们眼中的天才之所以卓越非凡，并非天资超人一等，而是付出了持续不断的努力。1万小时的锤炼是任何人从平凡变成世界级大师的必要条件。”他将此称为“一万小时定律”。一万小时定律的成功代表大画家达·芬奇，当初从师学艺就是从练习画一只只鸡蛋开始的。他日复一日，年复一年，变换着不同角度、不同光线，少说也得练习一万个小时，打下了扎实的基本功，从最简单一万小时定律提法来源于《异数》最枯燥的重复中掌握了达到最高深艺术境界的途径。这才有了后来的世界名画《蒙娜丽莎》、《最后的晚餐》。