Rate distortion

当讨论quantizer中的distortion时, 就是指MSE(可以有别的方法,但是MSE最常见且简单去计算).

conditional entropy(条件熵)可以看作是度量一个source的residual uncertainty(剩余不确定性). 那么在uniform quantization的条件下, 给定x, 那么y就可以直接计算出, 则说明y是确定性的, 则H(Y|X) = 0 (给定x后, y的不确定性就为0; 也可以看作y在x的大圈范围内).