脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → JavaScript → node.js → Node.js 异步提升任务处理速度

Node.js 如何利用异步提升任务处理速度

 更新时间：2019年01月07日 08:19:49   作者：全栈渐进之路  
这篇文章主要介绍了Node.js 如何利用异步提升任务处理速度，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

今天在做一个小任务，需要调用阿里云的图像识别接口，对 62662 张照片进行场景识别，并将结果写到本地的 csv 文件中。

因为任务很简单，没想很多就开始码。自从有了 async/await 之后，已经很久不写 callback 了，所以上手就写成这样：

本文所有代码均有简化，只保留关键过程

async fetchSceneTags(imagePath) {
  try {
   const result = await callAliyunAPI(imagePath);
   return result.errno === 0 ? result.tags : [];
 } catch(error) {
   return [];    
 }
}

async function writeScene(paths) {
  for (let i = 0, len = paths.length; i < len; i++) {
    await tags = fetchSceneTags(paths[i])
    writeToFile(tags);
    writeStdout(`${i} / ${len}`);
  }
}

function start() {
  const paths = loadPaths();
  writeScene(paths);
}

运行起来以后没问题就放着忙别的去了。过了差不多 2 小时回来一看，才跑了 17180 张图，每分钟 144 张。这才意识到同步速度太慢了，于是停掉进程，将代码改成下面这样：

fetchSceneTagsAsync(imagePath, callback) {
  callAliyunAPI(imagePath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function writeSceneAsync(paths) {
  const callback = tags => {
    await tags = fetchSceneTagsAsync(paths[i])
    writeToFile(tags);
  }
  
  paths.forEach(path => fetchSceneTagsAsync(path, callback));
}

function start() {
  const paths = loadPaths();
  writeSceneAsync(paths);
}

跑了一下，直接停摆了。嗯，不能一下把请求全发出去，加一个 Throttle：

fetchSceneTagsAsync(imagePath, callback) {
  callAliyunAPI(imagePath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function throttle(paths, callback) {
  if(paths.length === 0) return;
  
  const sub = paths.splice(0, 10);
  sub.forEach(path => fetchSceneTagsAsync(path, callback));
 setTimeout(() => throttle(paths, callback), 1000)
}

function writeSceneAsync(paths) {
  const callback = tags => {
    await tags = fetchSceneTagsAsync(paths[i])
    writeToFile(tags);
  }
  
  throttle(paths, callback)
}

function start() {
  const paths = loadPaths();
  writeSceneAsync(paths);
}

重新启动服务，观察了一下，大约每分钟处理 568 张图片，速度提升约 4 倍。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • node如何将package.json中的包降为低版本或者升级为高版本

    node如何将package.json中的包降为低版本或者升级为高版本

    比如现在你用某个包的当前版本,但是你安装的版本高了,那么你应该这么做,首先删除node项目中的node_modules目录,防止安装时的包不一致,下面给大家介绍node将package.json中的包降为低版本或者升级为高版本的方法,感兴趣的朋友一起看看吧
    2023-11-11
  • Node.js中HTTP模块与事件模块详解

    Node.js中HTTP模块与事件模块详解

    这篇文章主要详细介绍了Node.js中HTTP模块与事件模块的相关资料,需要的朋友可以参考下
    2014-11-11
  • 使用node.js实现接口步骤详细记录

    使用node.js实现接口步骤详细记录

    这篇文章主要给大家介绍了关于使用node.js实现接口步骤的相关资料,对于刚开始不会node写接口和调用接口,可以通过这个清晰的初步了解到整个过程,下面需要的朋友可以参考下
    2023-03-03
  • 如何删除node_modules重新安装的方法步骤

    如何删除node_modules重新安装的方法步骤

    我们在开发项目的时候，每次安装的 node 包会出现版本和项目所需要的版本不一致的问题，那么如何删除node_modules重新安装，本文就详细的介绍一下
    2021-09-09
  • node.js调用脚本(python/shell)和系统命令

    node.js调用脚本(python/shell)和系统命令

    这篇文章介绍了node.js调用脚本(python/shell)和系统命令的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-07-07
  • Node处理CPU密集型任务有哪些方法

    Node处理CPU密集型任务有哪些方法

    这篇文章主要介绍了Node处理CPU密集型任务有哪些方法，Node是一个非阻塞I/O和事件驱动的JavaScript运行环境，所以它非常适合用来构建I/O密集型应用，例如Web服务等
    2022-09-09
  • Node.js开发者必须了解的4个JS要点

    Node.js开发者必须了解的4个JS要点

    这篇文章主要介绍了Node.js开发者必须了解的4个JS要点，Node.js是一个面向服务器的框架，立足于Chrome强大的V8 JS引擎。尽管它由C++编写而成，但是它及其应用是运行在JS上的,需要的朋友可以参考下
    2016-02-02
  • 深入理解Node.js的HTTP模块

    深入理解Node.js的HTTP模块

    最近在工作中接触到了Node.js标准库提供了http模块，所以这篇文章想总结下Node.js的HTTP模块，方便大家和自己以后使用的时候参考借鉴。有需要的朋友们下面来一起看看吧。
    2016-10-10
  • Node.js中的HTTP请求与响应详解

    Node.js中的HTTP请求与响应详解

    本文详细讲解了Node.js中的HTTP请求与响应，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • Puppeteer 爬取动态生成的网页实战

    Puppeteer 爬取动态生成的网页实战

    这篇文章主要介绍了Puppeteer 爬取动态生成的网页实战，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11

最新评论