Android硬件解码组件MediaCodec使用教程
更新时间：2022年11月21日 17:01:41 作者：lpf_wei
在Android开发中提供了实现音视频编解码工具MediaCodec，针对对应音视频解码类型通过该类创建对应解码器就能实现对数据进行解码操作。本文通过示例详细讲解了MediaCodec的使用，需要的可以参考一下
1.MediaCodec 是什么
MediaCodec类可以访问底层媒体编解码器框架（StageFright 或 OpenMAX），即编解码组件。是Android 的低层多媒体基础设施的一部分（通常与MediaExtractor、MediaSync、MediaMuxer、Image、Surface和AudioTrack一起使用），它本身并不具备Codec能力，通过调动底层编解码组件获得了Codec的能力。
2.创建MediaCodec的方式
2.1按照格式创建
- createDecoderByType(String type)：创建解码器
- createEncoderByType(String type):创建编码器
type是数据解析阶段的mimeType，如"video/avc"
2.2按照名字创建
createByCodecName(String name)
OMX.google.h264.decoder: 软解码
OMX.MTK.VIDEO.DECODER>AVC：硬解码
3.MediaCode硬件解码并进行播放实例
private String mFilePath="/sdcard/DCIM/189017886849403.mp4";
private DecodeThread mDecodeThread;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
// setContentView(R.layout.activity_media_codec_decode);
SurfaceView surfaceView=new SurfaceView(this);
/*不自己维护缓冲区，等待屏幕的渲染引擎 将内容推送到用户前面*/
surfaceView.getHolder().setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
surfaceView.getHolder().addCallback(this);
setContentView(surfaceView);
}- 定义播放的视频路径
- 定义解码的线程
- 创建SurfaceView，并设置Callback
@Override
public void surfaceCreated(@NonNull SurfaceHolder holder) {
}
@Override
public void surfaceChanged(@NonNull SurfaceHolder holder, int format, int width, int height) {
if (mDecodeThread ==null){
mDecodeThread =new DecodeThread(holder.getSurface());
mDecodeThread.start();
}
}
@Override
public void surfaceDestroyed(@NonNull SurfaceHolder holder) {
if (mDecodeThread !=null){
mDecodeThread.interrupt(); //停止线程的正确姿势
}
}- 在SurfaceView的回调函数surfaceChanged 开启线程
- 在SurfaceView的回调函数surfaceDestroyed 打断线程
private class DecodeThread extends Thread{
private MediaExtractor mMediaExtractor;
private MediaCodec mMediaCodec;
private Surface mSurface;
/*通过构造方法将surface传递进来*/
public DecodeThread(Surface surface){
mSurface = surface;
}
@Override
public void run() {
super.run();
mMediaExtractor = new MediaExtractor();
try {
mMediaExtractor.setDataSource(mFilePath);
} catch (IOException e) {
e.printStackTrace();
}
int trackCount = mMediaExtractor.getTrackCount();
//从媒体提取器中拿到了 MIME 以及MediaFormat 通过MIME 创建的硬件解码器 通过MediaFormat配置的硬件解码器
for (int i = 0; i < trackCount; i++) {
MediaFormat trackFormat = mMediaExtractor.getTrackFormat(i);
Log.d("lpf","trackFormat is "+trackFormat);
String mime=trackFormat.getString(MediaFormat.KEY_MIME);
Log.d("lpf","mime is "+mime);
if (mime.startsWith("video/")){
mMediaExtractor.selectTrack(i);
try {
mMediaCodec=MediaCodec.createDecoderByType(mime);
} catch (IOException e) {
e.printStackTrace();
}
//这样配置之后，解码之后的数据就会 直接显示在mSurface 上边 这里是核心点
mMediaCodec.configure(trackFormat,mSurface,null,0);
break;
}
}
if (mMediaCodec == null){
return;
}
//调用Start 如果没有异常信息，表示成功构建组件
mMediaCodec.start();
ByteBuffer[] inputBuffers = mMediaCodec.getInputBuffers();
ByteBuffer[] outputBuffers = mMediaCodec.getOutputBuffers();
//每个Buffer的元数据包括具体的范围以及偏移大小，以及数据中心相关解码的buffer
MediaCodec.BufferInfo info=new MediaCodec.BufferInfo();
boolean isEOF=false;
long startMs=System.currentTimeMillis();
while (!Thread.interrupted()){//只要线程不中断
if (!isEOF){
//返回有效的buffer 索引，如果没有相关的Buffer可用，就返回-1
//传入的timeoutUs为0表示立即返回
// 如果数据的buffer可用，将无限期等待timeUs的单位是纳秒
int index =mMediaCodec.dequeueInputBuffer(10000);
if (index >= 0){
ByteBuffer byteBuffer=inputBuffers[index];
Log.d("lpf","bytebuffer is "+byteBuffer);
int sampleSize=mMediaExtractor.readSampleData(byteBuffer,0);
Log.d("lpf","sampleSize is "+sampleSize);
if (sampleSize < 0){
Log.d("lpf","inputBuffer is BUFFER_FLAG_END_OF_STREAMING");
mMediaCodec.queueInputBuffer(index,0,0,0,MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isEOF=true;
}else{
mMediaCodec.queueInputBuffer(index,0,sampleSize,mMediaExtractor.getSampleTime(),0);
mMediaExtractor.advance(); //下一帧数据
}
}
}
int outIndex=mMediaCodec.dequeueOutputBuffer(info,100000);
switch (outIndex){
case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
//当buffer变化时，必须重新指向新的buffer
outputBuffers=mMediaCodec.getOutputBuffers();
break;
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
//当Buffer的封装格式发生变化的时候，需重新指向新的buffer格式
Log.d("lpf","output buffer changed");
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
//dequeueOutputBuffer 超时的时候会到这个case
Log.d("lpf","dequeueOutputBuffer timeout");
break;
default:
ByteBuffer buffer=outputBuffers[outIndex];
//由于配置的时候 将Surface 传进去了 所以解码的时候 将数据直接交给了Surface进行显示了
//使用简单的时钟的方式保持视频的fps（每秒显示的帧数），不然视频会播放的比较快
Log.d("lpf","解码之后的 buffer数据="+buffer);
while (info.presentationTimeUs/1000>System.currentTimeMillis()-startMs){
try {
Thread.sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
mMediaCodec.releaseOutputBuffer(outIndex,true);
break;
}
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0){
Log.d("lpf","outputBuffer BUFFER_FLAG_END_OF_STREAM");
break;
}
}
mMediaCodec.stop();
mMediaCodec.release();// 释放组件
mMediaExtractor.release();
}
}- 定义媒体提取器：MediaExtractor,通过媒体提取器，得到视频的MIME以及MediaFormat数据
- 通过媒体提取器拿到的MIME 类型来创建硬件解码器MediaCodec，再通过上一步拿到的额MediaFormat来配置硬件解码器。
- 配置完成后，调用硬件解码器的start函数，解码器就开始工作了
- 从解码器上拿到输入和输出Buffer数组，用于解码使用
- dequeueInputBuffer通过这个函数得到待解码的数据index，然后通过index拿到ByteBuffer
- 然后mMediaExtractor调用readSampleData来读取数据，将数据得到ByteBuffer中去
- 接下来将数据丢入编码队列，这个队列在MediaCodec中
- 然后就可以从硬件解码器中获取数据了，由于配置的时候将Surface当做参数配置给了MediaCodec，所以数据会直接通过SurfaceView进行显示。
4.MediaCodec 异步解码进行播放
public void startSyncPlay(Surface surface){
mMediaExtractor = new MediaExtractor();
try {
mMediaExtractor.setDataSource(mFilePath);
} catch (IOException e) {
e.printStackTrace();
}
int trackCount = mMediaExtractor.getTrackCount();
//从媒体提取器中拿到了 MIME 以及MediaFormat 通过MIME 创建的硬件解码器 通过MediaFormat配置的硬件解码器
for (int i = 0; i < trackCount; i++) {
MediaFormat trackFormat = mMediaExtractor.getTrackFormat(i);
Log.d("lpf","trackFormat is "+trackFormat);
String mime=trackFormat.getString(MediaFormat.KEY_MIME);
Log.d("lpf","mime is "+mime);
if (mime.startsWith("video/")) {
mMediaExtractor.selectTrack(i);
try {
mMediaCodec=MediaCodec.createDecoderByType(mime);
if (mMediaCodec == null){
return;
}
//这样配置之后，解码之后的数据就会 直接显示在mSurface 上边 这里是核心点
mMediaCodec.configure(trackFormat,surface,null,0);
mMediaCodec.setCallback(new MediaCodec.Callback() {
@Override
public void onInputBufferAvailable(@NonNull MediaCodec codec, int index) {
ByteBuffer inputBuffer = codec.getInputBuffer(index);
int sampleSize=mMediaExtractor.readSampleData(inputBuffer,0);
if (sampleSize>0) {
codec.queueInputBuffer(index,0,sampleSize,mMediaExtractor.getSampleTime(),0);
mMediaExtractor.advance(); //下一帧数据
}else {
codec.queueInputBuffer(index,0,0,0,MediaCodec.BUFFER_FLAG_END_OF_STREAM);
}
}
@Override
public void onOutputBufferAvailable(@NonNull MediaCodec codec, int index, @NonNull MediaCodec.BufferInfo info) {
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0){
Log.d("lpf","outputBuffer BUFFER_FLAG_END_OF_STREAM");
codec.stop();
codec.release();// 释放组件
mMediaExtractor.release();
return;
}
if (index>0){
if (startMs==-1){
startMs=System.currentTimeMillis();
}
sleepRender(info,startMs);
}
codec.releaseOutputBuffer(index,true); //释放缓冲区，并交给Surface 进行播放
}
@Override
public void onError(@NonNull MediaCodec codec, @NonNull MediaCodec.CodecException e) {
}
@Override
public void onOutputFormatChanged(@NonNull MediaCodec codec, @NonNull MediaFormat format) {
}
});
//调用Start 如果没有异常信息，表示成功构建组件
mMediaCodec.start();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}异步的方式进行解码操作，比较简单，推荐使用这个方式
- onInputBufferAvailable，将需要编码的数据从这个回调方法中添加到解码队列
- onOutputBufferAvailable 在这个回调方法中就能拿到编码好的数据，可以说非常便利，思路也比同步的时候更加简洁。
到此这篇关于Android硬件解码组件MediaCodec使用教程的文章就介绍到这了,更多相关Android MediaCodec内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Android利用Service开发简单的音乐播放功能，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习吧2023-04-04
Android实现触发html页面的Button控件点击事件方式
这篇文章主要介绍了Android实现触发html页面的Button控件点击事件方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
Gradle是项目构建工具，是Google官方推荐的Android项目编译工具。构建工具是可以让开发者以可执行和有序的任务来表达自动化的需求。就是将源代码生成可执行程序。本文将详细介绍Gradle构建过程2021-06-06
Animation是一个抽象类，它并不参与屏幕的绘制，而是在设定的时间范围内对一段区间值进行插值。本文将利用Animation制作一个爱心三连动画效果，感兴趣的可以学习一下2022-03-03
这篇文章主要介绍了Android录屏功能的实现,具有很好的参考价值，希望对大家有所帮助，一起跟随小编过来看看吧2018-05-05
Android中使用Matrix控制图形变换和制作倒影效果的方法
这篇文章主要介绍了Android中使用Matrix控制图形变换和制作倒影效果的方法,用Matrix来作矩阵变化十分强大,文中的制作倒影的例子便是一个十分巧妙的运用,需要的朋友可以参考下2016-04-04
今天小编就为大家分享一篇android 全屏去掉底部虚拟导航栏的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
Android之自定义实现BaseAdapter（通用适配器一）
这篇文章主要为大家详细介绍了Android之自定义实现BaseAdapter通用适配器第一篇，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-08-08
这篇文章主要介绍了Android常用的intent action功能与用法,分析了intent的原理以及action属性常用动作名称、作用与使用方法,需要的朋友可以参考下2016-10-10
这篇文章主要介绍了Android实现腾讯新闻的新闻类别导航效果,非常不错，具有参考借鉴价值，需要的朋友可以参考下2017-03-03
最新评论