TensorRT

制造发动机

遵循TensorRT LLM官方文档 制造发动机.

• 对于MIUI-7B，您可以使用 LLaMA示例
• 对于Mixtral-8X7B，官方文件即将发布。。。

部署引擎

一旦构建了引擎，就可以使用Triton推理服务器及其TensorRTLLM后端进行部署。

跟随