Python+OpenCV手势检测与识别Mediapipe基础篇

更新时间：2022年12月10日 11:53:18 作者：BIGBOSSyifi

网上搜到了一些关于手势处理的实验,我在这儿简单的实现一下,下面这篇文章主要给大家介绍了关于Python+OpenCV手势检测与识别Mediapipe基础篇的相关资料,需要的朋友可以参考下

前言

本篇文章适合刚入门OpenCV的同学们。文章将介绍如何使用Python利用OpenCV图像捕捉，配合强大的Mediapipe库来实现手势检测与识别；本系列后续还会继续更新Mediapipe手势的各种衍生项目，还请多多关注！

项目效果图

视频捕捉帧数稳定在（25-30）

认识Mediapipe

项目的实现，核心是强大的Mediapipe ，它是google的一个开源项目：

功能	详细
人脸检测 FaceMesh	从图像/视频中重建出人脸的3D Mesh
人像分离	从图像/视频中把人分离出来
手势跟踪	21个关键点的3D坐标
人体3D识别	33个关键点的3D坐标
物体颜色识别	可以把头发检测出来，并图上颜色

Mediapipe Dev:https://mediapipe.dev/

以上是Mediapipe的几个常用功能，这几个功能我们会在后续一一讲解实现

Python安装Mediapipe

pip install mediapipe==0.8.9.1

也可以用 setup.py 安装

https://github.com/google/mediapipe

项目环境

Python 3.7

Mediapipe 0.8.9.1

Numpy 1.21.6

OpenCV-Python 4.5.5.64

OpenCV-contrib-Python 4.5.5.64

实测也支持Python3.8-3.9

代码

核心代码

OpenCV摄像头捕捉部分：

import cv2

cap = cv2.VideoCapture(0)       #OpenCV摄像头调用：0=内置摄像头（笔记本）   1=USB摄像头-1  2=USB摄像头-2

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化
    cv2.imshow("HandsImage", img)       #CV2窗体
    cv2.waitKey(1)      #关闭窗体

mediapipe 手势识别与绘制

#定义并引用mediapipe中的hands模块
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化
    results = hands.process(imgRGB)
    # print(results.multi_hand_landmarks)
    
    if results.multi_hand_landmarks:
        for handLms in results.multi_hand_landmarks:
            for id, lm in enumerate(handLms.landmark):
                # print(id, lm)
                h, w, c = img.shape
                cx, cy = int(lm.x * w), int(lm.y * h)
                print(id, cx, cy)
                # if id == 4:
                cv2.circle(img, (cx, cy), 15, (255, 0, 255), cv2.FILLED)
            
            #绘制手部特征点：
            mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)

视频帧率计算

import time

#帧率时间计算
pTime = 0
cTime = 0

while True
cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,
                (255, 0, 255), 3)       #FPS的字号，颜色等设置

完整代码

# Coding BIGBOSSyifi
# Datatime:2022/4/24 21:41
# Filename:HandsDetector.py
# Toolby: PyCharm

import cv2
import mediapipe as mp
import time

cap = cv2.VideoCapture(0)       #OpenCV摄像头调用：0=内置摄像头（笔记本）   1=USB摄像头-1  2=USB摄像头-2

#定义并引用mediapipe中的hands模块
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils

#帧率时间计算
pTime = 0
cTime = 0

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化
    results = hands.process(imgRGB)
    # print(results.multi_hand_landmarks)
    
    if results.multi_hand_landmarks:
        for handLms in results.multi_hand_landmarks:
            for id, lm in enumerate(handLms.landmark):
                # print(id, lm)
                h, w, c = img.shape
                cx, cy = int(lm.x * w), int(lm.y * h)
                print(id, cx, cy)
                # if id == 4:
                cv2.circle(img, (cx, cy), 15, (255, 0, 255), cv2.FILLED)
            
            #绘制手部特征点：
            mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)
    '''''
    视频FPS计算
       '''
    cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,
                (255, 0, 255), 3)       #FPS的字号，颜色等设置

    cv2.imshow("HandsImage", img)       #CV2窗体
    cv2.waitKey(1)      #关闭窗体

项目输出

结语

以此篇文章技术为基础，后续会更新利用此篇基础技术实现的《手势控制：音量，鼠标》

项目下载地址https://github.com/BIGBOSS-dedsec/HandsDetection_Python

到此这篇关于Python+OpenCV手势检测与识别Mediapipe基础篇的文章就介绍到这了,更多相关Python OpenCV手势识别Mediapipe内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python Django路径配置实现过程解析
这篇文章主要介绍了Python Django路径配置实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-11-11
python解包概念及实例
在本篇文章里小编给大家分享的是一篇关于python解包知识点总结，对此有兴趣的朋友们可以学习参考下。
2021-02-02
python操作yaml说明
这篇文章主要介绍了python操作yaml说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
Python工具PDB调试器的使用方法详解
还记得你是如何进行代码调试的吗？有人会说,我是添加一些输出语句,有人说,我是使用IDE自带的设置断点功能,当然都没有错,只是看哪个更合适,更能提升效率,但这都不是我们今天讲的重点,今天的重点是Python中PDB调试器的使用方法,需要的朋友可以参考下
2023-11-11
Python综合应用名片管理系统案例详解
这篇文章主要介绍了Python综合应用名片管理系统,结合具体案例形式详细分析了Python名片管理系统相关步骤、原理、实现方法与操作注意事项,需要的朋友可以参考下
2020-01-01
pytorch之scatter_的用法及说明
这篇文章主要介绍了pytorch之scatter_的用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-09-09
Python中一行和多行import模块问题
我们通过本篇文章给大家分析了为什么Python不建议使用一行import所有模块的原因，有兴趣的朋友学习下。
2018-04-04
python中文件操作与异常的处理图文详解
在实际开发中常常需要对程序中的数据进行持久化操作,而实现数据持久化最直接简单的方式就是将数据保存到文件中,下面这篇文章主要给大家介绍了关于python中文件操作与异常处理的相关资料,需要的朋友可以参考下
2021-12-12
利用python绘制数据曲线图的实现
这篇文章主要介绍了利用python绘制数据曲线图的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-04-04
python3序列化与反序列化用法实例
这篇文章主要介绍了python3序列化与反序列化用法,实例分析了Python3使用pickle模块针对字符串进行序列化操作的相关技巧,需要的朋友可以参考下
2015-05-05