【免费下载链接】InternVL2_5-8B-AWQ项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-8B-AWQ点击查看免费下载想本地部署一个多模态大模型InternVL2_5-8B-AWQ 是上海人工智能实验室开源的 InternVL 2.5 系列 8B 模型的 AWQ 4-bit 量化版本视觉部分为 InternViT语言部分为 InternLM 2.5-7B支持图片描述、多图问答、多轮对话等任务。借助 LMDeploy 推理框架无需复杂环境配置只需三步就能把它跑成一个兼容 OpenAI 接口的多模态推理服务。本教程面向新手全程不涉及模型改造跟着做即可。一、先认识一下 InternVL2_5-8B-AWQInternVL 2.5 系列采用经典的「ViT-MLP-LLM」架构视觉编码器提取图像特征经过 MLP 投影层对齐后送入语言模型生成回答。8B 版本的核心配置可以在仓库根目录的 config.json 中直接看到项目说明视觉塔InternViT-300M输入尺寸 448×448语言模型InternLM2.5-7B-chat32 层hidden size 4096量化方式AWQ4-bitgroup size 128动态分辨率开启图片按 448×448 分块最多 12 块max_dynamic_patch: 12模板internvl2_5支持多轮对话AWQ 量化把权重压到 4-bit 后8B 模型的显存占用大幅下降普通消费级显卡即可运行这是它相比 FP16 原始版本最大的实用价值。模型的对话模板由 conversation.py 提供多模态主模型实现见 modeling_internvl_chat.py视觉编码器实现在 modeling_intern_vit.py。 多张图片输入会成倍增加视觉 token 数量上下文窗口建议适当调大详见第五节常见问题。二、第一步安装 LMDeployLMDeploy 是 OpenMMLab 推出的 LLM/VLM 压缩、部署与推理服务工具包它把多模态模型的复杂推理流程抽象成和纯文本大模型一样简单的 pipeline一行命令即可把模型打包成服务。安装只需一条命令pip install lmdeploy0.6.4如果后续出现ImportError按终端提示安装缺少的依赖包即可LMDeploy 对 CUDA 版本有最低要求建议 NVIDIA 显卡 CUDA 11.8 及以上环境。如果希望把模型下载到本地再部署可先克隆模型仓库git clone https://gitcode.com/OpenGVLab/InternVL2_5-8B-AWQ三、第二步Hello World 快速推理保存下面这段脚本为hello.py运行后打印对图片的描述就说明多模态推理链路已经跑通from lmdeploy import pipeline from lmdeploy.vl import load_image model OpenGVLab/InternVL2_5-8B-AWQ image load_image(tiger.jpeg) # 换成你本地的任意图片路径 pipe pipeline(model) response pipe((describe this image, image)) print(response.text)三个要点pipeline(model)会自动下载或加载本地模型并初始化推理引擎首次运行会缓存权重输入是「文本提示 图片」的元组这是 VLM 推理的标准写法多图推理只需把多张图片放进一个列表并在提示词中用编号区分。除了单图LMDeploy 还支持批量提示词推理多个「问题图片」放进列表一次提交和多轮会话pipe.chat接口通过session参数传递上下文。例如先问「describe this image」再追问「What is the woman doing?」模型能结合上一轮的视觉信息作答适合做交互式图像问答。四、第三步一条命令启动多模态推理服务个人调用验证没问题后就可以把模型变成服务了。LMDeploy 的api_server支持一条命令打包服务提供的 RESTful API完全兼容 OpenAI 接口lmdeploy serve api_server OpenGVLab/InternVL2_5-8B-AWQ --server-port 23333启动后任意 OpenAI SDK 客户端把base_url指向http://0.0.0.0:23333/v1就能调用。先安装 SDKpip install openai调用示例图片以 URL 传入from openai import OpenAI client OpenAI(api_keyYOUR_API_KEY, base_urlhttp://0.0.0.0:23333/v1) model_name client.models.list().data[0].id response client.chat.completions.create( modelmodel_name, messages[{ role: user, content: [ {type: text, text: describe this image}, {type: image_url, image_url: {url: https://modelscope.oss-cn-beijing.aliyuncs.com/resource/tiger.jpeg}}, ], }], temperature0.8, top_p0.8) print(response)至此一个可对外提供 OpenAI 兼容接口的多模态推理服务就搭建完成了前端应用、RAG 系统或 Agent 框架都可以无缝接入。五、常见问题与实用参数速查1. 运行报ImportError按报错提示pip install缺失依赖即可通常是 CUDA 相关扩展未装好。2. 多图输入回答变差或截断多图会使输入 token 数成倍增长。InternVL 采用动态分辨率策略448×448 分块、pixel unshuffle 降采样块数上限由 config.json 中的max_dynamic_patch: 12控制。请确认服务的--max-context类参数足够大。3. 生成效果太发散或太保守推荐采样参数可参考官方示例top_k40、top_p0.8、temperature0.8对图文描述类任务效果稳定。4. 想本地修改部署路径pipeline()和lmdeploy serve api_server都接受本地目录参数把模型仓库路径如./InternVL2_5-8B-AWQ传给即可无需联网下载。5. 仓库里都是些什么文件文件作用config.json模型总配置架构、量化、动态分辨率参数modeling_internvl_chat.py多模态主模型含chat/batch_chat对话接口modeling_intern_vit.pyInternViT 视觉编码器modeling_internlm2.pyInternLM2 语言模型conversation.py对话模板注册与管理tokenizer.model / tokenizer_config.json分词器含img、IMG_CONTEXT等多模态特殊 tokenpreprocessor_config.json图像预处理配置448 裁剪、ImageNet 归一化pytorch_model-*.bin分片权重文件六、总结回顾一下本次 InternVL2_5-8B-AWQ 部署的三步流程装工具pip install lmdeploy0.6.4跑通推理pipeline(model) 一条「提示词图片」元组起服务lmdeploy serve api_server一条命令获得 OpenAI 兼容的多模态 API整个过程无需训练、无需改代码AWQ 4-bit 量化让小显存环境也能跑动 8B 级多模态模型。项目采用 MIT 许可可放心用于个人学习和生产环境。如果你需要更强的视觉理解能力同系列的 InternVL2_5-26B、38B、78B 也都可以用同样的 LMDeploy 流程部署只是对显存的要求会更高。赞分享【免费下载链接】InternVL2_5-8B-AWQ项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-8B-AWQ点击查看免费下载相关推荐Caffe Threshold Layer 详解基于自定义阈值的阶梯函数激活层Caffe Threshold Layer 详解基于自定义阈值的阶梯函数激活层 导读 Threshold阈值层是 Caffe 中一个极简的逐元素神经元层InternVL2_5-8B-AWQ多轮对话实战internvl2_5对话模板与system prompt调优技巧InternVL2_5 8B AWQ多轮对话实战internvl2_5对话模板与system prompt调优技巧 InternVL2_5 8B AWQ 是书InternLM/LMDeploy 快速入门指南大语言模型推理与服务部署InternLM/LMDeploy 快速入门指南大语言模型推理与服务部署 前言 LMDeploy 是一个高效的大语言模型 LLM 和视觉语言模型 VLM 推理人工智能大模型模型推理服务推理引擎本地部署模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考