🌝

关于「信息量大」这句话

Posted at — Jan 03, 2020

前几天在知乎上看到一个问题:一句话的信息量能大到什么程度?看到评论区很多回复像

之类的,还获得了很多的点赞。当时突然想什么是信息,什么又是信息量?当你面对一件事情,难道不是那些有用的数据对你来说才是信息吗,其他的干扰应该是噪声啊。比如你和一个人聊天,对方给你的回复才是信息呀,而显示 “对方正在输入…”,并不会让你知道对方要说什么,这句话提供的信息仅仅是“对方正在干回复这件事儿”,而对方要回复的内容是什么,还是有很大的不确定性,这个不确定性是用信息熵来衡量的。

所以我们一直在把信息和信息熵混用。像上面三句话其实是信息熵很大,而信息量反而是很小的,因为你并不能从这些话里的出什么确切的结论。

”一切皆有可能“ 这句话更是直接告诉了你信息熵相当的大。为什么一切皆有可能?是因为你还没有得到足够多的信息来减小事情的不确定性。举个最简单的例子,你的沙雕同学抢了你的硬币,并让你猜在他哪只手里,在他告诉你答案之前,你对硬币在他哪只手是不确定的,现在他告诉你他的左手没有硬币,若他没有说谎,那么他就给了你信息,让你对硬币在他哪只手的不确定性从1降到了2/3,也就是说你的沙雕同学给你了1/3的信息,这1/3的信息通过声波传给了你。

故对于任何事情,你得通过各种方法去收集信息来消灭不确定性,减小信息熵。所以今晚吃什么 😵

评论插件加载中 OvO