Protobuf在Cmake中的正确使用方法详解

更新时间：2021年03月15日 10:13:59 作者：老潘博客

这篇文章主要介绍了Protobuf在Cmake中的正确使用方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

Protobuf是google开发的一个序列化和反序列化的协议库，我们可以自己设计传递数据的格式，通过.proto文件定义我们的要传递的数据格式。例如，在深度学习中常用的ONNX交换模型就是使用.proto编写的。我们可以通过多种前端(MNN、NCNN、TVM的前端)去读取这个.onnx这个模型，但是首先你要安装protobuf。

在之前的博文中已经简单介绍了onnx，其中onnx.proto就代表了onnx模型的基本数据结构。一般来说，protobuf经常搭配Cmake使用，Cmake有官方的modules，可以通过简单的几个命令protobuf_generate_cpp来生成对应的.pb.cc和.pb.h。

简单的例子：

find_package(Protobuf REQUIRED)
include_directories(${Protobuf_INCLUDE_DIRS})
include_directories(${CMAKE_CURRENT_BINARY_DIR})
protobuf_generate_cpp(PROTO_SRCS PROTO_HDRS foo.proto)
protobuf_generate_cpp(PROTO_SRCS PROTO_HDRS EXPORT_MACRO DLL_EXPORT foo.proto)
protobuf_generate_python(PROTO_PY foo.proto)
add_executable(bar bar.cc ${PROTO_SRCS} ${PROTO_HDRS})
target_link_libraries(bar ${Protobuf_LIBRARIES})

但是这个例子太简单了，如果我们的.proto文件只有一个或者说都只在一个目录里，那用这个命令没什么毛病...

但如果是这种情况，我们的文件目录如下：

├── CMakeLists.txt
├── README.md
├── meta
│  └── proto
│    ├── CMakeLists.txt
│    └── common
│      ├── bar
│      │  ├── CMakeLists.txt
│      │  └── bar.proto
│      └── foo
│        ├── CMakeLists.txt
│        └── foo.proto
└── src
  ├── CMakeLists.txt
  ├── c_proto.cc
  └── c_proto.hh

其中foo.proto文件如下:

message foo_msg 
{
 optional string name = 1;
}

bar.proto的文件如下：

import "common/foo/foo.proto";
 
message bar_msg 
{
 optional foo_msg foo = 1;
 optional string name = 2;
}

如上，bar文件引用foo，而且这两个不在一个目录，如果直接使用protobuf_generate_cpp来生成，直接会报错。（这个例子取自Yu的一篇博文）

也想过把他俩放到同一个目录...然后bar.proto中import的代码就要修改，虽然这样可以，但显然是不适合大型的项目。

而这个大型项目显然就是mediapipe...折磨了我好久。

关于mediapipe的详细介绍在另一篇文章。mediapipe中使用了大量的ProtoBuf技术来表示图结构，而且mediapipe原生并不是采用cmake来构建项目，而是使用google自家研发的bazel，这个项目构建系统我就不评价了，而现在我需要使用Cmake来对其进行构建。

这也是噩梦的开始，mediapipe的.proto文件很多，核心的framework的目录下存在很多的.proto文件，根目录和子目录都有.proto文件：

而且每个proto文件之间存在引用的顺序，framework根目录下的calculator.proto文件:

// mediapipe/framework/calculator.proto
syntax = "proto3";

package mediapipe;

import public "mediapipe/framework/calculator_options.proto";

import "google/protobuf/any.proto";
import "mediapipe/framework/mediapipe_options.proto";
import "mediapipe/framework/packet_factory.proto";
import "mediapipe/framework/packet_generator.proto";
import "mediapipe/framework/status_handler.proto";
import "mediapipe/framework/stream_handler.proto";

每个.proto文件都import了其他目录下的文件，这里的import类似于C++中的include，但是这里的import又可以相互引用，例如上述的status_handler.proto也引用了mediapipe_options.proto。

如果直接对上述所有的.proto文件直接使用protobuf_generate_cpp命令，会直接报错，因为这些文件不在一个目录，而且import的相对目录也无法分析。另外，不同目录内的.cc文件会引用相应目录生成的.pb.h文件，我们需要生成的.pb.cc和.pb.h在原始的目录中，这样才可以正常引用，要不然需要修改其他源代码的include地址，比较麻烦。

CLion中Cmake来编译proto生成的.pb.cc和.pb.h不在原始目录，而是集中在cmake-build-debug(release)中，我们额外需要将其中生成的.pb.cc和.pb.h文件移动到原始地址(Clion的情况是这样)。

正确修改cmake

对于这种情况，比较合适的做法是直接使用命令进行生成。

首先找到所有需要编译的.proto文件：

file(GLOB protobuf_files
    mediapipe/framework/*.proto
    mediapipe/framework/tool/*.proto
    mediapipe/framework/deps/*.proto
    mediapipe/framework/testdata/*.proto
    mediapipe/framework/formats/*.proto
    mediapipe/framework/formats/annotation/*.proto
    mediapipe/framework/formats/motion/*.proto
    mediapipe/framework/formats/object_detection/*.proto
    mediapipe/framework/stream_handler/*.proto
    mediapipe/util/*.proto
    mediapipe/calculators/internal/*.proto
    )

接下来，定义相关的目录地址，PROTO_META_BASE_DIR为编译之后生成文件的目录。PROTO_FLAGS很重要，指定编译.proto文件时的总的寻找路径，.proto中的import命令根据根据这个地址去连接其他的.proto文件：

SET(PROTO_META_BASE_DIR ${CMAKE_CURRENT_BINARY_DIR})
LIST(APPEND PROTO_FLAGS -I${CMAKE_CURRENT_SOURCE_DIR})

设置好之后，通过FOREACH去循环之前的.proto文件，依次编译每个文件，然后将生成的.pb.cc和.pb.h移动回原始的目录，至此就可以正常工作了。

FOREACH(FIL ${protobuf_files})

  GET_FILENAME_COMPONENT(FIL_WE ${FIL} NAME_WE)

  string(REGEX REPLACE ".+/(.+)\\..*" "\\1" FILE_NAME ${FIL})
  string(REGEX REPLACE "(.+)\\${FILE_NAME}.*" "\\1" FILE_PATH ${FIL})

  string(REGEX MATCH "(/mediapipe/framework.*|/mediapipe/util.*|/mediapipe/calculators/internal/)" OUT_PATH ${FILE_PATH})

  set(PROTO_SRCS "${CMAKE_CURRENT_BINARY_DIR}${OUT_PATH}${FIL_WE}.pb.cc")
  set(PROTO_HDRS "${CMAKE_CURRENT_BINARY_DIR}${OUT_PATH}${FIL_WE}.pb.h")

  EXECUTE_PROCESS(
      COMMAND ${PROTOBUF_PROTOC_EXECUTABLE} ${PROTO_FLAGS} --cpp_out=${PROTO_META_BASE_DIR} ${FIL}
  )
  message("Copying " ${PROTO_SRCS} " to " ${FILE_PATH})

  file(COPY ${PROTO_SRCS} DESTINATION ${FILE_PATH})
  file(COPY ${PROTO_HDRS} DESTINATION ${FILE_PATH})

ENDFOREACH()

参考链接

http://blog.argcv.com/articles/3884.c
https://www.v2ex.com/t/602363
https://stackoverflow.com/questions/29720410/no-member-found-when-use-cmake-construct-proto/29817843

到此这篇关于Protobuf在Cmake中的正确使用方法的文章就介绍到这了,更多相关Protobuf使用Cmake内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Elasticsearch聚合查询及排序操作示例
这篇文章主要为大家介绍了Elasticsearch聚合查询及排序操作示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-04-04
vscode使用nuget包管理工具
这篇文章介绍了vscode使用nuget包管理工具的方法，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-06-06
网页报错"Form elements must have labels"的处理方法
这篇文章主要给大家介绍了关于网页报错"Form elements must have labels"的处理方法,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2023-06-06
HTTP缓存之ETag使用经验及效果
服务器首先产生ETag，服务器可在稍后使用它来判断页面是否已经被修改。本质上，客户端通过将该记号传回服务器要求服务器验证其（客户端）缓存。这种机制允许缓存更有效并节省带宽，因为如果内容没有更改，Web 服务器不再需要发送完整的响应。
2023-05-05
Ubuntu中安装vscode与官方插件
这篇文章介绍了Ubuntu中安装vscode与官方插件的方法，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-06-06
微信小程序应用号开发教程详解
这篇文章主要介绍了微信小程序应用号开发教程详解的相关资料,需要的朋友可以参考下
2016-09-09
MobaXterm使用指南(常用功能)
MobaXterm就是一款SSH客户端，它帮助我们在Windows操作系统下去连接并操作Linux服务器,这篇文章主要介绍了MobaXterm使用指南,需要的朋友可以参考下
2023-05-05
基于chatgpt的微信自动回复功能实现
这篇文章主要介绍了基于chatgpt的微信自动回复功能实现,微信自动回复基于聊天api的实现代码，本文通过实例代码给大家介绍的非常详细，需要的朋友可以参考下
2023-02-02
Android 微信文件传输助手文件夹
本文主要介绍查找Android 微信文件传输助手文件夹，文件传输助手是电脑微信和手机微信传输文件的好工具，这里找到文件夹，更加便于同学们的使用
2016-09-09
Kettle下载安装pdi-ce-7.1.0.0-12教程
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制，今天通过本文给大家分享Kettle下载安装pdi-ce-7.1.0.0-12的过程，感兴趣的朋友一起看看吧
2022-11-11

Protobuf在Cmake中的正确使用方法详解

正确修改cmake

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具