avatar
文章
434
标签
338
分类
29
主页
归档
标签
分类
关于
J. Xu
搜索
主页
归档
标签
分类
关于

使用 tensorrt 加速 pytorch 模型推理

发表于2024-07-09|更新于2024-10-09|researchdeep learning
|字数总计:8|阅读时长:1分钟|阅读量:
文章作者: Jinzhong Xu
文章链接: https://xujinzh.github.io/2024/07/09/ai-pytorch-model-infer-acc-onnx-tensorrt/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 J. Xu！
pythonlinuxtensorrtpytorchonnxtorch-tensorrt
cover of previous post
上一篇
使用 trickle 限制 linux 上应用程序的下载和上传速度
cover of next post
下一篇
Ubuntu 上安装 vlc 并使用 root 用户播放
相关推荐
cover
2021-11-29
服务器关机自动发送通知邮件
cover
2021-11-06
服务器开机或IP改变自动发送通知邮件
cover
2022-10-29
Ubuntu 上编译安装官网 Python
cover
2021-08-02
CNN 模型计算力 FLOPs
cover
2023-02-24
MMClassification 图像分类使用
cover
2023-02-26
MMDetection 目标检测使用
评论
avatar
Jinzhong Xu
众妙之门
文章
434
标签
338
分类
29
Follow Me
公告
日本核污染水强排入海！
目录
  1. 1. TensorRT 简介
  2. 2. 环境配置
  3. 3. pytorch 原生推理
  4. 4. torch_tensorrt 推理
    1. 4.1. torch_tensorrt compile 时推理
    2. 4.2. torch_tensorrt export 后推理
      1. 4.2.1. 单精度推理
      2. 4.2.2. 半精度推理
  5. 5. onnxruntime 推理
    1. 5.1. 简单的 onnx 导出和 onnxruntime 推理
    2. 5.2. 动态多输入输出导出 onnx
  6. 6. tensorrt 推理
    1. 6.1. 简单的 onnx 转 trt 并推理
    2. 6.2. 动态多输入输出的 onnx 转 trt 并推理
      1. 6.2.1. 从 onnx 导出动态、多输入输出 engine
      2. 6.2.2. 动态、多输入输出推理（numpy）
    3. 6.3. 动态、多输入输出推理（torch.tensor gpu）
  7. 7. 结论
  8. 8. 可能遇到的问题
  9. 9. 参考文献
最新文章
全栈开发必备：主流编程语言（Go、C/C++、Java、Python）静态代码检查终极指南
全栈开发必备：主流编程语言（Go、C/C++、Java、Python）静态代码检查终极指南2026-09-21
从指针到所有权：一文看懂 C、C++、Java、Python、Go、Rust 的演进史
从指针到所有权：一文看懂 C、C++、Java、Python、Go、Rust 的演进史2026-09-14
从零构建：Ubuntu 22.04 远程 Java 17 + Maven 开发环境及 VS Code 高效配置指南
从零构建：Ubuntu 22.04 远程 Java 17 + Maven 开发环境及 VS Code 高效配置指南2026-09-14
如何高效统计项目代码行与注释量？
如何高效统计项目代码行与注释量？2026-09-14
Go 语言微版本平滑升级指南：从 go1.26.5 到 go1.26.7
Go 语言微版本平滑升级指南：从 go1.26.5 到 go1.26.72026-09-03
©2019 - 2026 By Jinzhong Xu
框架 Hexo|主题 Butterfly
搜索
数据库加载中