AVX2指令集优化整形数组求和算法

 更新时间:2022年05月18日 15:12:18   作者:concyclics  
这篇文章主要为大家介绍了AVX2指令集优化整形数组求和算法,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

一、AVX2指令集介绍

AVX2是SIMD(单指令多数据流)指令集,支持在一个指令周期内同时对256位内存进行操作。包含乘法,加法,位运算等功能。下附Intel官网使用文档。

Intel® Intrinsics Guide

我们本次要用到的指令有 __m256i _mm256_add_epi32(__m256i a, __m256i b), __m256i _mm256_add_epi64等

它们可以一次取256位的内存,并按32/64位一个整形进行加法运算。下附官网描述。

Synopsis

__m256i _mm256_add_epi64 (__m256i a, __m256i b)
#include <immintrin.h>
Instruction: vpaddq ymm, ymm, ymm
CPUID Flags: AVX2

Description

Add packed 64-bit integers in a and b, and store the results in dst.

Operation

FOR j := 0 to 3
	i := j*64
	dst[i+63:i] := a[i+63:i] + b[i+63:i]
ENDFOR
dst[MAX:256] := 0

Performance

ArchitectureLatencyThroughput (CPI)
Icelake10.33
Skylake10.33
Broadwell10.5
Haswell10.5

 

二、代码实现

0. 数据生成

为了比较结果,我们生成从1到N的等差数列。这里利用模版兼容不同数据类型。由于AVX2指令集一次要操作多个数据,为了防止访存越界,我们将大小扩展到256的整数倍位比特,也就是32字节的整数倍。

uint64_t lowbit(uint64_t x)
{
    return x & (-x);
}
uint64_t extTo2Power(uint64_t n, int i)//arraysize datasize
{
    while(lowbit(n) < i)
        n += lowbit(n);
    return n;
}
template <typename T>
T* getArray(uint64_t size)
{
    uint64_t ExSize = extTo2Power(size, 32/sizeof(T));
    T* arr = new T[ExSize];
    for (uint64_t i = 0; i < size; i++)
        arr[i] = i+1;
    for (uint64_t i = size; i < ExSize; i++)
        arr[i] = 0;
    return arr;
}

1. 普通数组求和

为了比较性能差异,我们先实现一份普通的数组求和。这里也使用模版。

template <typename T>
T simpleSum(T* arr, uint64_t size)
{
    T sum = 0;
    for (uint64_t i = 0; i < size; i++)
        sum += arr[i];
    return sum;
}

2. AVX2指令集求和:32位整形

这里我们预开一个avx2的整形变量,每次从数组中取8个32位整形,加到这个变量上,最后在对这8个32位整形求和。

int32_t avx2Sum(int32_t* arr, uint64_t size)
{
    int32_t sum[8] = {0};
    __m256i sum256 = _mm256_setzero_si256();
    __m256i load256 = _mm256_setzero_si256();
    for (uint64_t i = 0; i < size; i += 8)
    {
        load256 = _mm256_loadu_si256((__m256i*)&arr[i]);
        sum256 = _mm256_add_epi32(sum256, load256);
    }
    sum256 = _mm256_hadd_epi32(sum256, sum256);
    sum256 = _mm256_hadd_epi32(sum256, sum256);
    _mm256_storeu_si256((__m256i*)sum, sum256);
    sum[0] += sum[4];
    return sum[0];
}

这里的hadd是横向加法,具体实现类似下图,可以帮我们实现数组内求和:

3. AVX2指令集求和:64位整形

int64_t avx2Sum(int64_t* arr, uint64_t size)
{
    int64_t sum[4] = {0};
    __m256i sum256 = _mm256_setzero_si256();
    __m256i load256 = _mm256_setzero_si256();
    for (uint64_t i = 0; i < size; i += 4)
    {
        load256 = _mm256_loadu_si256((__m256i*)&arr[i]);
        sum256 = _mm256_add_epi64(sum256, load256);
    }
    _mm256_storeu_si256((__m256i*)sum, sum256);
    sum[0] += sum[1] + sum[2] + sum[3];
    return sum[0];
}

三、性能测试

测试环境

DeviceDescription
CPUIntel Core i9-9880H 8-core 2.3GHz
MemoryDDR4-2400MHz Dual-Channel 32GB
complierApple Clang-1300.0.29.30

计时方式

利用chrono库获取系统时钟计算运行时间,精确到毫秒级

uint64_t getTime()
{
    uint64_t timems = std::chrono::duration_cast<std::chrono::milliseconds>(std::chrono::system_clock::now().time_since_epoch()).count();
    return timems;
}

测试内容

对1到1e9求和,答案应该为500000000500000000, 分别测试32位整形和64位整形。

	uint64_t N = 1e9;
    // compare the performance of normal add and avx2 add
    uint64_t start, end;
    // test int32_t
    cout << "compare int32_t sum: " << endl;
    int32_t* arr = getArray<int32_t>(N);
    start = getTime();
    int32_t sum = simpleSum(arr, N);
    end = getTime();
    cout << "int32_t simpleSum time: " << end - start << endl;
    cout << "int32_t simpleSum sum: " << sum << endl;
    start = getTime();
    sum = avx2Sum(arr, N);
    end = getTime();
    cout << "int32_t avx2Sum time: " << end - start << endl;
    cout << "int32_t avx2Sum sum: " << sum << endl;
    delete[] arr;
    cout << endl << endl;
    // test int64_t
    cout << "compare int64_t sum: " << endl;
    int64_t* arr2 = getArray<int64_t>(N);
    start = getTime();
    int64_t sum2 = simpleSum(arr2, N);
    end = getTime();
    cout << "int64_t simpleSum time: " << end - start << endl;
    cout << "int64_t simpleSum sum: " << sum2 << endl;
    start = getTime();
    sum2 = avx2Sum(arr2, N);
    end = getTime();
    cout << "int64_t avx2Sum time: " << end - start << endl;
    cout << "int64_t avx2Sum sum: " << sum2 << endl;
    delete[] arr2;
    cout << endl << endl;

进行性能测试

第一次测试

测试命令

g++ -mavx2 avx_big_integer.cpp 
./a.out

测试结果

方法耗时(ms)
AVX2加法 32位537
普通加法 32位1661
AVX2加法 64位1094
普通加法 64位1957

可以看出,avx2在32位加法上大致能快3倍,在64位加法上只能快2倍,因为64位下每次只能操作4个变量,而32位能操作8个。

第二次测试

测试命令

现在我们再开启O2编译优化试一试:

g++ -O2 -mavx2 avx_big_integer.cpp 
./a.out

测试结果

方法耗时(ms)
AVX2加法 32位269
普通加法 32位342
AVX2加法 64位516
普通加法 64位750

发现开启O2后相对的性能提升减小很多。

四、总结

使用AVX2进行指令层面的并行加法,确实提高了运算效率。
但是,这里可能有朋友会有疑问,我们明明是每次同时处理了4/8个整形,为什么加速比达不到4/8倍呢?

个人推断原因:

  • VX2加法指令的长度大于普通加法,单次指令实现比普通加法略慢一些。
  • 在进行AVX2加法时,我们每次需要拷贝256位内存进对应256位的变量内,再把结果拷贝出来,存在拷贝的开支。
  • 普通加法在for循环内可能会激发流水线执行。
  • 开启O2后普通加法可以激发并行,提高实际运行效率。

以上就是AVX2指令集优化整形数组求和算法的详细内容,更多关于AVX2指令集整形数组求和的资料请关注脚本之家其它相关文章!

相关文章

  • C++之函数的重载

    C++之函数的重载

    这篇文章主要介绍了c++函数重载的相关知识,文章讲解的非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下
    2021-11-11
  • C++ 通过指针实现多态实例详解

    C++ 通过指针实现多态实例详解

    这篇文章主要介绍了 C++ 通过指针实现多态实例详解的相关资料,需要的朋友可以参考下
    2017-03-03
  • C/C++中获取重载函数地址的方法

    C/C++中获取重载函数地址的方法

    函数重载是函数的一种特殊情况,C++允许在同一作用域中声明几个功能类似的同名函数,这 些同名函数的形参列表不同,常用来处理实现功能类似数据类型不同的问题,本文给大家介绍了C/C++中获取重载函数地址的方法,需要的朋友可以参考下
    2024-04-04
  • C++ 中CloseHandle 函数--关闭一个句柄

    C++ 中CloseHandle 函数--关闭一个句柄

    这篇文章主要介绍了C++ 中CloseHandle 函数--关闭一个句柄的相关资料,需要的朋友可以参考下
    2017-05-05
  • OpenGL实现不规则区域填充算法

    OpenGL实现不规则区域填充算法

    这篇文章主要为大家详细介绍了OpenGL实现不规则区域填充算法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-02-02
  • 概率的问题:使用递归与多次试验模拟的分析

    概率的问题:使用递归与多次试验模拟的分析

    以下对概率的问题:使用了递归和多次试验模拟。需要的朋友参考下
    2013-05-05
  • C++多态与虚拟之C++编译器对函数名的改编(Name Mangling)

    C++多态与虚拟之C++编译器对函数名的改编(Name Mangling)

    在Windows DLLs中,使用C++编写的DllMain()等callback函数需避免C++编译器进行name mangling,因此需使用extern "C",这篇文章主要介绍了C++多态与虚拟:C++编译器对函数名的改编(Name Mangling),需要的朋友可以参考下
    2024-04-04
  • C++随机点名生成器实例代码(老师们的福音!)

    C++随机点名生成器实例代码(老师们的福音!)

    这篇文章主要给大家介绍了关于C++随机点名生成器的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-12-12
  • C语言中动态内存管理初学者容易犯的6个错误分享

    C语言中动态内存管理初学者容易犯的6个错误分享

    本篇文章主要介绍了初学者使用C语言中动态内存管理的4个函数时最容易犯的6个错误,以及如何避免这些错误,文中的示例代码讲解详细,感兴趣的可以了解一下
    2023-04-04
  • 一篇文章让你轻松理解C++中vector和list区别

    一篇文章让你轻松理解C++中vector和list区别

    对于学c语言的同学来说,vector和list这两个东西经常会搞错,下面这篇文章主要给大家介绍了关于C++中vector和list区别的相关资料,需要的朋友可以参考下
    2022-01-01

最新评论