JavaScript实现视频转GIF的示例代码

 更新时间:2024年03月06日 08:37:06   作者:可乐鸡翅kele  
这篇文章主要介绍了JavaScript实现视频转GIF,本文一共会按照以下三步去实现一个视频转 GIF 功能,解封装视频,从视频文件中获取视频帧,解码视频帧,获取帧图像信息,拼装帧图像信息,生成 GIF,需要的朋友可以参考下

前言

之前使用过FFMpeg来做视频转GIF,但是FFMpeg的体积还是太大了,前端加载一般要10M左右。后面发现了 Webcodecs 这个新的 Web API ,它提供了解码视频的能力。所以就沿着这个方向去使劲,也是实现了一个纯前端的在线的视频转 GIF 功能。

本文一共会按照以下三步去实现一个视频转 GIF 功能:

  • 解封装视频,从视频文件中获取视频帧
  • 解码视频帧,获取帧图像信息
  • 拼装帧图像信息,生成 GIF

视频解封装

视频解封装是从一个包含多种媒体数据的容器中提取出特定类型的媒体数据的过程。通过解封装,可以从容器中分离出视频轨道、音频轨道等各种媒体数据。

它的主要目的是获取原始的音频、视频等媒体数据,以便进行后续的处理,比如播放、编辑或者转码。解封装后的数据可以根据需要被送入相应的解码器进行解码。

这里使用到的是 mp4box.js 这个库去解码上传的视频文件,以获取视频轨道信息。首先定义一个获取文件 Buffer 的方法,我这里是上传文件然后去获取 ArrayBuffer

const getFileArrayBuffer = (file) => {
  return new Promise((resolve) => {
    const reader = new FileReader();
    reader.onload = (e) => {
      resolve(e.target.result);
    };
    reader.readAsArrayBuffer(file);
  });
};

然后调用 mp4box 去解封装视频的轨道信息

const data = await getFileArrayBuffer(file);

data.fileStart = 0;

const getVideoInfo = async (data) => {
  return new Promise((resolve, rejcet) => {
    const mp4boxfile = MP4Box.createFile();
    mp4boxfile.onError = function (e) {
      console.log("e", e);
      rejcet(e);
    };
    mp4boxfile.onReady = (info) => {
      resolve({
        mp4boxfile,
        info,
      });
    };
    mp4boxfile.appendBuffer(data);
    mp4boxfile.flush();
  });
};

const { mp4boxfile, info } = await getVideoInfo(data);
console.log(info);
const videoTrack = info.tracks.find((track) => track.type === "video");
const timescale = videoTrack.timescale;
const duration = videoTrack.duration / timescale;
const nbSamples = videoTrack.nb_samples;
const fps = Math.round(nbSamples / duration);

以下大概是一个视频轨道的字段:

这里如果我们想获取视频的时长,帧率等信息,需要做一些小小的转换。nb_samples是视频总帧数; movie_timescale 我理解是视频的一个采样单位,拿 movie_duration/movie_timescale 才是我们视频的长度,这里大概是 18.2 秒。帧率就是总帧数/视频时长,这里大概是 15FPS

获取视频帧

获取视频帧这里用到的是一个较新的 Web APIVideoDecoderEncodedVideoChunk ,它们的API兼容性如下:

  • VideoDecoder是一个较新的API,它可以让我们通过JS在浏览器中解码视频
  • EncodedVideoChunk是指表示视频编码数据块对象,用于表示已经编码的视频数据,这些数据可以通过网络传输并在接收端进行解码。

我们利用VideoDecodermp4box解封装后得到的轨道信息进一步解析成一帧一帧的图片,为我们后续的合成GIF做准备。

const videoFrames = [];
const initDecoder = () => {
  const getExtradata = () => {
    // 生成VideoDecoder.configure需要的description信息
    const entry = mp4boxfile.moov.traks[0].mdia.minf.stbl.stsd.entries[0];

    const box = entry.avcC ?? entry.hvcC ?? entry.vpcC;
    if (box != null) {
      const stream = new MP4Box.DataStream(
        undefined,
        0,
        MP4Box.DataStream.BIG_ENDIAN
      );
      box.write(stream);
      // slice()方法的作用是移除moov box的header信息
      return new Uint8Array(stream.buffer.slice(8));
    }
  };

  // 初始化 VideoDecoder
  const decoder = new VideoDecoder({
    output: (videoFrame) => {
      createImageBitmap(videoFrame).then((img) => {
        videoFrames.push({
          img,
          duration: videoFrame.duration,
          timestamp: videoFrame.timestamp,
        });
        videoFrame.close();
        if (videoFrames.length === nbSamples) {
          const canvas = document.getElementById("canvas");
          const ctx = canvas.getContext("2d");
          const img = videoFrames[0].img;
          console.log(img);
          ctx.drawImage(img, 0, 0, img.width, img.height);
        }
      });
    },
    error: (err) => {
      console.error("videoDecoder错误:", err);
    },
  });
  const config = {
    codec: videoTrack.codec,
    codedWidth: videoTrack.video.width,
    codedHeight: videoTrack.video.height,
    description: getExtradata(),
  };
  decoder.configure(config);
  return decoder;
};
let decoder = initDecoder();

const getChunkList = () => {
  const track = mp4boxfile.getTrackById(videoTrack.id);
  console.log(track.samples.length);
  const chunkList = track.samples.map((_, index) => {
    const sample = mp4boxfile.getSample(track, index);
    const type = sample.is_sync ? "key" : "delta";
    const chunk = new EncodedVideoChunk({
      type,
      timestamp: sample.cts,
      duration: sample.duration,
      data: sample.data,
    });
    return chunk;
  });
  return chunkList;
};
const chunkList = getChunkList();
chunkList.forEach((chunk) => decoder.decode(chunk));

大概解释一下上面的代码:

  • initDecoder中我们初始化了一个VideoDecoder,它接收到数据之后就会响应output回调,在output回调中我们把videoFrame转成了一个ImageBitmap对象(即帧图像信息),然后收集起来。
  • 然后我们实现了一个getChunkList函数来收集解封装后的视频数据,把所有的chunk收集起来供decoder调用
  • 两者配合起来,我们就可以拿到这段视频轨道的所有视频帧图像

合成GIF

当所有的视频帧处理完成之后,docoder会触发一个flush方法,我们可以在这里进行GIF的合成。这里我GIF合成使用的库是gif.js。实现代码如下:

decoder.flush().then(() => {
  const width = videoFrames[0].img.width;
  const height = videoFrames[0].img.height;
  var gif = new GIF({
    workers: 4,
    quality: 10,
    width,
    height,
  });

  console.log("开始");
  videoFrames
    .map((frame) => frame.img)
    .forEach((imageBitmap) => {
      var offscreenCanvas = new OffscreenCanvas(
        imageBitmap.width,
        imageBitmap.height
      );
      var offscreenContext = offscreenCanvas.getContext("2d");
      offscreenContext.drawImage(imageBitmap, 0, 0);

      var imageData = offscreenContext.getImageData(
        0,
        0,
        imageBitmap.width,
        imageBitmap.height
      );
      gif.addFrame(imageData, { delay: 1000 / fps });
    });

  gif.on("finished", function (blob) {
    var link = document.createElement("a");
    link.href = URL.createObjectURL(blob);
    link.download = "animated.gif";
    document.body.appendChild(link);
    link.click();
    document.body.removeChild(link);
  });

  // 开始生成 GIF
  gif.render();
});

简单解释一下上面的代码:

  • 由于生成的imageBitmap并不能直接喂给gif.addFrame调用,所以这里使用了一个离屏Canvas去转换一下
  • gif.addFrame(imageData, { delay: 1000 / fps });这里的delay参数就是每一帧图片持续的时长,默认是500ms,我们用1秒除于帧率,来换算出实际的时长
  • 合成完毕之后,通过一个a标签把GIF下载下来

通过这样的方式,一个1M多MP4生成出来的GIF居然有30M,我滴妈呀。虽然质量跟流畅度还是挺好的,但这个体积也太吓人了。

所以我们最好对GIF进行一个压缩,这个场景下压缩主要是减少合成GIF的帧图像以及压缩每一帧图像的体积。

所以接下来我们会做如下操作:

  • new GIF的画布宽高缩小一半
  • 逢两帧抽取一帧,每一帧的延时变成原来的2
  • 对每一帧进行压缩

完整代码如下:

decoder.flush().then(() => {
  const width = videoFrames[0].img.width / 2;
  const height = videoFrames[0].img.height / 2;
  const gif = new GIF({
    workers: 4,
    quality: 10,
    width,
    height,
  });

  const halfFrames = videoFrames.filter((frame, index) => index % 2 === 0);
  halfFrames
    .map((frame) => frame.img)
    .forEach((imageBitmap) => {
      const originalWidth = imageBitmap.width;
      const originalHeight = imageBitmap.height;

      var offscreenCanvas = new OffscreenCanvas(
        imageBitmap.width / 2,
        imageBitmap.height / 2
      );
      var offscreenContext = offscreenCanvas.getContext("2d");

      // 在新Canvas上绘制原始ImageBitmap,并缩小一半
      offscreenContext.drawImage(
        imageBitmap,
        0,
        0,
        originalWidth,
        originalHeight,
        0,
        0,
        offscreenCanvas.width,
        offscreenCanvas.height
      );

      const compressedImageData = offscreenContext.getImageData(
        0,
        0,
        offscreenCanvas.width,
        offscreenCanvas.height
      );

      gif.addFrame(compressedImageData, { delay: (1000 / fps) * 2 });
    });

  gif.on("finished", function (blob) {
    // 创建一个虚拟的下载链接并触发点击
    const link = document.createElement("a");
    link.href = URL.createObjectURL(blob);
    link.download = "animated.gif";
    document.body.appendChild(link);
    link.click();
    document.body.removeChild(link);
  });

  // 开始生成 GIF
  gif.render();
});

下面是生成的GIF图,大小在5M左右

最后

decoder.configure(config);中有一个description字段,搞了好久都没搞定,最后还是拜读了张鑫旭大佬的文章,才把这个demo跑通。

跑通这个demo的时候是十分开心的,前端能做的事情越来越多了,而且Webcodecs解码的速度非常快,希望等到它更加完善后,会铺开更多的使用场景。

参考

以上就是JavaScript实现视频转GIF的示例代码的详细内容,更多关于JavaScript视频转GIF的资料请关注脚本之家其它相关文章!

相关文章

  • 详解js图片轮播效果实现原理

    详解js图片轮播效果实现原理

    这篇文章主要为大家详细介绍了js图片轮播效果实现原理,帮助大家更好地实现图片轮播效果,真正理解图片轮播原理,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2015-12-12
  • JavaScript prototype 使用介绍

    JavaScript prototype 使用介绍

    用过JavaScript的同学们肯定都对prototype如雷贯耳,但是这究竟是个什么东西却让初学者莫衷一是,只知道函数都会有一个prototype属性,可以为其添加函数供实例访问,其它的就不清楚了,最近看了一些 JavaScript高级程序设计,终于揭开了其神秘面纱
    2013-08-08
  • 详解GoJs节点的折叠展开实现

    详解GoJs节点的折叠展开实现

    这篇文章主要为大家介绍了GoJs节点的折叠展开实现示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-05-05
  • 小程序实现登录功能

    小程序实现登录功能

    这篇文章主要为大家详细介绍了小程序实现登录功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-09-09
  • 清除div下面的所有标签的方法

    清除div下面的所有标签的方法

    清除标签的方法有很多,下面有个不错的示例可以清楚div下面的所有标签,需要的朋友可以参考下
    2014-02-02
  • js实现网页自动刷新可制作节日倒计时效果

    js实现网页自动刷新可制作节日倒计时效果

    这篇文章主要介绍了通过js实现的网页自动刷新,利用此功能可制作节日倒计时效果,需要的朋友可以参考下
    2014-05-05
  • JavaScript数组_动力节点Java学院整理

    JavaScript数组_动力节点Java学院整理

    这篇文章主要介绍了JavaScript数组的相关知识,非常不错,具有参考借鉴价值,需要的朋友可以参考下
    2017-06-06
  • iview通过Dropdown(下拉菜单)实现的右键菜单

    iview通过Dropdown(下拉菜单)实现的右键菜单

    这篇文章主要介绍了iview通过Dropdown(下拉菜单)实现的右键菜单 ,需要的朋友可以参考下
    2018-10-10
  • js 获取坐标 通过JS得到当前焦点(鼠标)的坐标属性

    js 获取坐标 通过JS得到当前焦点(鼠标)的坐标属性

    通过JS得到当前焦点的坐标,如何实现,接下来详细介绍实现步骤,有需要的朋友可以参考下
    2013-01-01
  • 基于js实现复制内容到操作系统粘贴板过程解析

    基于js实现复制内容到操作系统粘贴板过程解析

    这篇文章主要介绍了基于js实现复制内容到操作系统粘贴板过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10

最新评论