確率の収束とはなにか？
確率というものは、試行回数を増やせば増やす程、
その決められた確率に収束していく性質があります。
これが、確率の収束です。
「確率が確率である以上、確率が収束するのは極めて当然」
「収束しない確率があるなら、それはインチキ・イカサマ」
（引用：ＴＳ式確率の収束より）
サイコロの例で考えてみましょう。
サイコロを1回振った時、1の目が出る確率は1/6です。
では、10回サイコロを振ったとき、1の目は何回でるでしょうか？
1回も出なかったり、3、4回でたり、色々な可能性が考えられますよね。
10連続で1の目が出る可能性だって0ではありません。
サイコロを10回振った程度では、1の目が出る確率は中々1/6にならないかもしれません。
しかし、サイコロを振る回数を100回、1000回、10000回と増やしていくと
1の目が出る確率は、限りなく1/6に近づいていきます。
パチンコで例を挙げるなら・・・
例えば、大当たり確率が1/200のパチンコ台があり、同じ台を毎日、1日中打っていたとします。
1日単位で見れば、大当たり確率が1/100になることもあれば、1/300になることもあるでしょう。
しかし、長いスパンで見れば、大当たり確率は限りなく1/200に近づいていきます。
以上が確率の収束について基本的な考え方です。
確率と確率変数を掛けた総和を取ったものが期待値であるため
確率が収束していくということは、期待値も収束していくと言えます。