推荐几个堪称教科书级别的 Android 音视频入门项目

[glumess]

在 直播 中有提到几个不错的开源项目，这里再重点推荐一下：

目前，市面上关于音视频学习的相关书籍并不多，而且即使看了书籍学了理论，最终还是要回归到代码上来。

毕竟 IT 行业实践性要求高，强调动手能力，音视频这方面就更得多操作和探索了。

推荐下面几个项目会各有侧重，分别涵盖了 Android 音视频录制 API 、OpenGL 渲染和综合运用的例子。

• GPUImage

Github 地址：

https://github.com/cats-oss/android-gpuimage

GPUImage 毫无疑问是音视频项目里面必读工程了，它的侧重点在于渲染方面。

有些公司的招聘要求上可能都会写明熟悉 GPUImage，重要性可见一斑。

通过阅读 GPUImage 的源码，能够让你掌握 OpenGL 的渲染以及渲染链的搭建，同时工程里面很多特效 Shader 代码，通过阅读和实践这些 Shader 代码，能够让你掌握初步的 Shader 编写能力。

比如常见的滤镜效果，在 GPUImage 就有现成的代码例子，这一点在我的直播中也有讲到。有兴趣的可以翻阅视频，掌握常见滤镜效果的代码编写。

如果需要 GPUImage 相关的源码分析文档，也可以参考我之前写过的一篇文章：

OpenGL 之 GPUImage 源码分析

• AudioVideoRecordingSample

Github 地址

https://github.com/saki4510t/AudioVideoRecordingSample

此项目的侧重点在于 Android 音视频相关 API 的使用，尤其是在 录制和编码方面的。

该项目运行后能够将 Camera 采集的视频和音频内容编码成一个 MP4 文件。

这其中用到了 MediaCodec 做编码，用到了 MediaMuxer 将音频和视频混合。

这样的一个完整示例对于掌握 Android 上音视频相关 API 帮忙非常大，因为它能够成功正确运行，而且可以通过去修改其源码来做自己的实验，验证自己对于 API 的理解和掌握。

当你能够熟练掌握其内容，或者你就可以试着更进一步，尝试用 FFmpeg 做音视频的编码和混合，实现和 Android 音视频 API 一样的功能。

• Grafika

Github 地址

https://github.com/google/grafika

此项目是 Google 提供的一个非官方的项目，它的侧重点在于将 OpenGL 与 Android 音视频 API 综合运用。

它包含了很多个完整小示例，比如如何使用 TextureView 显示 OpenGL 内容、使用三种方式进行 OpenGL 内容的录制、如何进行硬编码操作等。

通过阅读这些例子，能够让你掌握更多的技巧，把前面学会的 OpenGL 和 Android 音视频 API 更灵活运用了，进一步加深理解。

甚至有些例子都可以用到项目早期需求中去的，比如如何进行 EGL 的封装、渲染线程与主线程的分离。

另外，以上三个例子都会包含 Camera 相关的操作，比如如何将 Camera 内容展示到 SurfaceView 、TextureView 上，如何进行 Camera 拍摄等。

最后

之前这三个项目堪称教科学书级别的，不是没有理由的。至少我都源码阅读了两边以上。

第一次阅读的时候会觉得 " 嗯，明白怎么回事了 "，等到项目实践了，需要自己从头搞一遍，这时再回头看，会有新的感悟 "哦，原来要这样设计呀" ，等到更熟练的时候，在来看，可能就会觉得 "咦，这块能优化一波了"。

以上，希望对于想从事音视频开发的你，也能够看看上面几个项目源码，学习到更多技巧，共同进步。

[glumess]

欢迎关注我的公众号 [音视频开发进阶] ，一起来搞搞音视频呀

[OneMan]

我们也是搞音视频的，LZ 在哪高就呢

[BenX]

楼主，欢迎关注。我们也搞音视频重点在 WebRTC 方向

[glumess]

@OneMan 目前在抖音打杂，欢迎交流 https://glumes.com

[glumess]

@BenX 可以关注一波微信公众号交流哦

[GromHellscream]

那 iOS 方向的...

[glumess]

@GromHellscream 等我学会了 iOS 再来推荐吧~~~

[OneMan]

ios 有没有原生的解码 mp3,m4a 等类型文件， 然后解码出 pcm buffer 的用例呢？
类似 android 的 MediaExtractor 和 MediaCodec

[CoderMVP]

早就关注楼主了，来支持

[glumess]

@OneMan 我也不是特别清楚，要看看 AVFoudation 支不支持了

[glumess]

@CoderMVP 感谢支持

[xylxAdai]

不错不错，感谢分享。有推荐的类似 chromium 的 MSE 机制的音视频项目推荐吗，直接看 chromium 的内核实现有点脑壳疼

[lerp]

已关注

[glumess]

@xylxAdai chromium 的 MSE 机制 这个还不太会呢

[fzz]

改天关注。

[Marshall9527]

@BenX 同搞 WebRTC 方向

[glumess]

@fzz 下次一定

[GaoMjun]

看到这个决定把以前搞的给开源了，Android iOS 都有
[https://github.com/GaoMjun/Ringo-Android]( https://github.com/GaoMjun/Ringo-Android)
[https://bitbucket.org/GaoMjun/ringo-ios/src/master/]( https://bitbucket.org/GaoMjun/ringo-ios/src/master/)
有需要的可以看看

[kylix]

收藏备用~~~

[twoconk]

开始以为的 WebRTC 、FFmpeg 呢，正好也做这块，平时在 https://it3q.com 记点笔记，有兴趣同学关注

[glumess]

@GaoMjun 大佬，敬佩

[huruwo]

芜湖起飞
现在是 Android 开发问下 想深入到音视频不知道市场行情支不支持转

[glumess]

@huruwo 多学点技能总是好的，出现技术和工作经历不匹配就尴尬了

[wlanjie888]

推荐一个我写的 Android 的短视频 SDK https://github.com/wlanjie/trinity
包含了音视频的大部分功能,是一个比较不错的学习项目

[glumess]

@wlanjie888 太流弊了，大佬

[wlanjie888]

@glumess 大家一起学习