语音深度学习常用的特征:梅尔谱

Mel spectrogram 梅尔谱

根据我们人类听觉的特性,我们对低频声音比较敏感,对高频声音没那么敏感

所以当声音频率线性增大时,频率越高,我们越难听出差别,因此不用线性谱而是对数谱

Mel谱包含三大特性:

  • 时域-频域信息
  • 感知相关的振幅信息
  • 感知相关的频域信息

Mel谱的核心就是Mel-scale,一个对数尺度的对于频率感知线性变化的尺度
语音深度学习常用的特征:梅尔谱

提取Mel谱的方法:

  1. 做STFT得到复数矩阵
  2. 将幅度转成分贝(db) 问:如果这里在mel spectrogram里面就把幅度转成db了,
    那Log_mel_spectrogram跟它又有什么区别呢?
  3. 将频率转到mel-scale

step 3 : 先选择mel bands的数目,一个mel band就像一系列跟感知有关的频率

构造mel filter banks:

  • 将最低频率和最高频率转到mel尺度上
  • 在我们的频率范围内等距取到(# bands)个点,这些点是不同mel band的中心频率
  • 将我们取的点又转回Hertz
  • 将这些中心频率点(float)取整到临近的frequency bin
  • 生成三角滤波器

对语谱图使用mel filter banks

M = (# bands, framesize / 2 + 1)

Y = (framesize / 2 + 1, # frames)

Mel spectrogram = MY (# bands, # frames)

但如果只是简单理解的话,Mel谱只是把普通语谱图的频率从线性转到了mel尺度

mel尺度是一种对数尺度,人类对于频率的感知在mel尺度上更加敏感

Mel谱的各种应用:

  • Audio 分类
  • 自动情感识别
  • 音乐流派分类
  • 音乐乐器分类
# Extract Mel spectrograms
mel_spectrogram = librosa.feature.melspectrogram(source, sr=sr1, n_fft=1024, hop_length=512, n_mels=128)

log_mel_spectrogram = librosa.power_to_db(mel_spectrogram)
上一篇:论文阅读笔记:Tacotron和Tacotron2


下一篇:require的总结