메시지는 특정 정보를 표현하는 일련의 순서화된 기호(언어, 텍스트, 이미지 등)로 구성된 기호 체계를 말합니다. 이 시스템에는 정보와 기호가 포함되어 있습니다. 정보는 메시지에 포함된 추상적인 양이며 메시지는 정보의 전달자입니다. 메시지는 구체적이고 정보는 추상적입니다.
정보 특성
정보가 불확실하더라도 이를 정량화할 수 있는 방법은 여전히 있습니다. 정보의 개념에 따르면 사람들은 정보가 다음과 같은 특징을 가지고 있다고 결론 내릴 수 있습니다.
1. 메시지가 발생할 확률 P(x)가 클수록, 반대로 정보의 양이 적어집니다. 발생 확률이 작을수록 정보의 양이 많아집니다. 정보의 양(I를 사용하여 표현)과 메시지 발생 확률은 반비례 관계에 있음을 알 수 있습니다.
2. 확률이 1이면 지구상의 모든 사람이 무슨 일이 일어났는지 100% 알고 있으므로 정보량이 0이 된다.
3. 메시지가 여러 개의 독립적인 작은 메시지로 구성된 경우 메시지의 정보 내용은 각 작은 메시지의 정보 내용의 합과 같아야 합니다.
이러한 특성을 바탕으로 수학적 로그함수로 표현하면 정보량과 메시지 발생 확률의 관계를 I=-loga(P(x))로 표현할 수 있다. 이런 식으로 정보를 수량화할 수는 없나요? 정보는 수량화할 수 있으니 단위를 부여해야겠죠? 사람의 체중은 킬로그램(kg)으로 측정되고, 키는 미터(m)로 측정됩니다. 그렇다면 정보량은 어떤 단위로 측정해야 할까요? 정보량은 일반적으로 비트 단위로 측정되는데, 이진 파형의 정보량이 정확히 1비트이기 때문에 더 편리합니다.