一. 直播客户端音频处理流程
首先采集音频，采集到的音频内容过大，要经过编码压缩才能传输。
二. 音频数据流的采集
编码流程：采集到的原始数据就是PCM，经过编码器编码压缩后成为aac/mp3格式的压缩数据，然后再套一层封装形成mp4/flv格式的多媒体文件。
解码流程：mp4/flv格式的多媒体文件经过解封装，得到aac/mp3格式的压缩数据，再经过解码器解码，生成PCM数据。
可以看出编码和解码是完全相反的过程。
三. 声音三要素
- 音调：音频的快慢。如男生音调小于女生，而女生小于儿童，音频越快声音越悦耳。
- 音量:震动的幅度。
-
音色：谐波 不同的乐器有不同的谐波，对于乐器来说，钢琴对于小提琴产生的声音是不一样的，但是他们的频率是一样的。
谐波就是和音，黄色绿色蓝色三种正弦波通过协调合成了一个紫色的波形，其中绿色波是基频波，合成的紫色波也是在它的频率上微调，而紫色中波形的小的震动波形(如顶端)就是谐波，声音好听不好听就是这些小的谐波导致的。
四. 模数转换
我们自然界中的声音是模拟信号，需要将声音的模拟信号转化为数字信号，如何进行数字信号采样，首先模拟信号如下：
对声音进行量化采样，按照每0.25进行采样，当然采样越多声音损失就越少：
经过量化采样后就变成了数字信息：
再将相应的数据转成二进制，就可以在链路上传播了。
五. 音频原始数据
1. 音频原始数据格式
常用的格式：
- PCM：纯的音频数据，没有任何格式。
- WAV：PCM数据上套上一个头部，就成了WAV数据，头部存着PCM基本信息，所以它基本上存储的是PCM数据。
2. 量化基本概念
- 采样大小：一个采样用多少bit存放。常用的是16bit
- 采样频率：8k、16k。32k、44.1k、48k
- 声道数: 单声道、双声道、多声道、三个声道以上叫做立体声。
一个PCM的音频流的码率=采样率采样大小声道数，比如：
采样率为44.1khz，采样大小为16bit，双声道的PCM编码WAV文件，它的码率为44.1khz162=1411.2kb/s 每秒1.4M的数据传输。这么大的码流显然无法在我们的网络上传输，所以需要压缩。
3. WAV Header
上面说了WAV格式是PCM上套了个头部，头部具体包括了采样大小、采样频率，声道数及其他信息。
六. 音频编码原理
1.音频压缩
音视频压缩技术是在保证信号在听觉方面不产生失真的前提下，对音频数据信号进行尽可能大的压缩，包括有损压缩和无损压缩。
- 消除冗余信息，也是有损压缩，冗余信号是指不能被人耳感知到的信号，包含人耳听觉范围之外的音频信号以及被掩蔽掉的音频信号。信号的遮蔽可以分为频域遮蔽和时域遮蔽。
频域遮蔽效应
声强不高和人耳听觉范围之外的音频信号都会被遮蔽掉，频率相近的高声强会遮蔽掉低声强的声音。
时域遮蔽效应
随着时间的推移，声音之间会有遮蔽效应，越靠近某个时间段高声强的声音越容易被遮蔽，同时发出的声音声强低的被遮蔽。
- 无损压缩，无损编码，通过优化排列方式来达到压缩目的。
熵编码
- 哈夫曼编码
- 算术编码
- 香农编码
2.音频编码过程
3.常用音频编码器
包括OPUS、AAC、Ogg、Speex、iLBC、AMR、G.711等，其中，AAC在直播系统中应用比较广泛；OPUS是较新的音编码器，WebRTC默认使用OPUS；固话一般用的G.711。
网上效果测评：OPUS>AAC>Ogg。
AAC(Advanced Audio Coding)
相对于Mp3:
- 压缩率更高
- 保真性较好，解压还原度高。
它通过一些附加的编码技术（比如PS、SBR等），衍生出了LC-AAC、HE-AAC（v1）、HE-AAC v2三种主要的编码格式。
AAC格式
4.ffmpeg生成AAC文件
ffmpeg -i water.mp4 -vn -c:a libfdk_aac -ar 44100 -profile:a aac_he_v2 -b:a 48k -ac 2 out.aac
-b:a：音频码率
可能的报错：
解决方案：
5.音频重采样
音频重采样就是将音频三元组(采样率、采样大小、通道数)的值转成另一组值，如将44100/16/2转成48000/16/2，
为什么要重采样呢？
- 从设备采集的音频数据与编码器要求的数据不一致
- 扬声器要求的音频数据与要播放的音频数据不一致
- 更方便运算，如回音消除要求单声道，因为单声道更容易进行回音消除，所以需要重采样变成单声道。
重采样的步骤
- 创建重采样上下文
- 设置参数
- 初始化重采样
- 进行重采样
重采样的几个重要的API
- swr_alloc_set_opts：1. 创建重采样上下文 2. 设置参数。
- swr_init：初始化重采样
- swr_convert：对音频帧转换，重采样。
- swr_free：释放上下文
6 .ffmpeg编码过程
创建并打开编码器
