Entropy

엔트로피에 대해서 말하기 전에 surprise에 대해서 먼저 알아야 한다. surprise는 쉽게 말해서 확률의 반대인데, 예를 들어서 동전에 앞면이 나올 확률이 1인 경우에 앞면이 나올 surprise는 0가 된다. (동전 앞면이 나올 확률이 1이라는 것은 언제나 동전 앞면이 나온다는 건데 그럼 동전 앞면이 나왔을 때 놀라는 정도?는 0이라는 의미임) 근데 이 suprise는 something이 아닐 확률과는 다른 개념이므로 1-something 으로 정의되는 것이 아니라 1/(somthing) 으로 정의된다. 그렇지만 여기서도 문제가 발생하는게, $1/1=1$이 되고 $1/0=\infty$ 가 되므로 이렇게 하지 말고 log를 씌워서 아래와 같이 정의한다. $$\text{surprise}(p(X)) = \log \left( \frac{1}{p(X)}\right)$$ 그러면 surprise$(p(X)=1) = 0$, surprise$(p(X)=0) = log(1) - log(0) = 1$ 조건이 성립됨. 엔트로피는 이 surprise의 expected value이다.

Surprise(앞면) = $\log_{2}(0.9) = -0.15$, Surprise(뒷면) = $\log_{2}(0.1) = -3.32$이고 entropy는 이 surprise의 기대값이므로 average amount of surprise per 동전 뒤집기 이고 다음과 같이 계산된다.
$$(0.9 \times 0.15) + (0.1 \times 3.32) = 0.47$$ 이걸 일반식으로 나타내면 $$\text{Entropy} = -\sum p(x)\log(p(x)) $$