英和和英

平均情報量

有限の完全事象系の中から,いずれの事象が生起したかを知ることによって伝えられる情報量の平均値.数学的には,
〈備考〉完全事象系とは,それを構成する事象が互いに排反であり,すべての事象の和集合が全事象に一致する事象系をいう.〈例〉{a,b,c}を三つの事象から成る集合とし,各事象の生起確率をp(a)=0.5, p(b)=0.25 及び p(c)=0.25 とす る.この集合のエントロピーは次のとおり. H(X)=p(a)I(a)+P(b)I(b)+p(c)I(c)=1.5 Sh

参照

• entropy(エントロピー)
• entropy