有个Hold at 20 turn的策略，每一步期望的最大值是20，如果当前得分达到20，就要见好而收。

假设策略是一直扔骰子，求扔到1前得分的均值。

第$k$步的概率$p_k=\frac{(5/6)^{k-1}}{\sum_{k=1}^{\infty}(5/6)^{k-1}}$，分子为归一化因子。

第$k$步得分的均值是$E_{k}(score)=4k*(5/6)+0*1/6$

得分的均值

$$E(score)=\sum_{k=1}^{\infty}p_kE_k(score)$$

$$=\frac{\sum_{k=1}^{\infty}4k(5/6)^k}{\sum_{k=1}^{\infty}(5/6)^{k-1}}$$

$$=120/6$$

$$=20$$

用MC验证：

import numpy as np
n=10000
score=np.zeros(n)
step=np.zeros(n)
for i in range(n):
  x=np.random.randint(low=1,high=7)
  while x>1:
    score[i]+=x
    step[i]+=1
    x=np.random.randint(low=1,high=7)
    
print("E(score)=%f"%score.mean())
print("E(step)=%f"%step.mean())

结果是

E(score)=19.878700
E(step)=4.978100

假设扔完$k$次之后，手上钱的期望为$E_k$。

显然

$$E_1=\frac{0+2+3+4+5+6}{6}=\frac{10}{3}$$

并且

$$E_{k+1}=\frac{1}{6}0+\frac{5}{6}(E_k+4)=\frac{5}{6}E_k+\frac{10}{3}$$

当$E_{k+1}=E_k$的时候，停止扔骰子，此时$E_k=20$。