本文介绍: 运行上述命令后，会在当前目录新建workspace文件夹，里面存放着转化后的权重文件。以开始以为运行命令参数是 l。
基础作业——使用LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署InternLM-Chat-7B模型，生成300字的小故事
环境准备
除了安装所需依赖之后，重要的是进行模型转化（转换成TurboMind格式），这里需要注意转化命令的具体用法：
# lmdeploy convert 模型类型/模型名 模型权重文件地址
lmdeploy convert internlm-chat-7b /path/to/internlm-chat-7b 运行上述命令后，会在当前目录新建workspace文件夹，里面存放着转化后的权重文件。以开始以为运行命令参数是 lmdelpoy convert 大模型原始路径 转化后的模型路径（实际不是）。
TurboMind推理 + 命令行本地对话
运行命令：
# Turbomind + Bash Local Chat
lmdeploy chat turbomind ./workspace
TurboMind推理 + API服务
运行命令：
# ApiServer+Turbomind api_server => AsyncEngine => TurboMind
lmdeploy serve api_server ./workspace
--server_name 0.0.0.0
--server_port 23333
--instance_num 64
--tp 1
# 新开一个终端
lmdeploy serve api_client http://localhost:23333注意：需要做一下ssh转发。另外直接点击终端中出现的网址没法访问，最后我是在浏览器栏中输入的http://localhost:23333
TurboMind 推理 + 网页Demo演示
注意： 同样需要做ssh转发，另外输入localhost:6060打开网址，不然会出现页面显示不合理的问题。
原文地址:https://blog.csdn.net/wudongliang971012/article/details/135612490
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_58618.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
