【免费下载链接】InternVideo2-Stage1-1B-224p-K600项目地址https://ai.gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-K600点击查看免费下载InternVideo2-Stage1-1B-224p-K600 是 OpenGVLab上海人工智能实验室开源的10亿参数视频基础模型基于ViTVision Transformer视频编码器在约 60 万条视频-文本数据上完成第一阶段对比预训练是理解 InternVideo2 系列如何看懂视频的关键起点。下面带你完整拆解它的架构原理、命名含义和权重文件用法 。一、30秒认识这个项目它是什么这是一个视频理解模型的模型仓库Model Repository属于 InternVideo2 系列中的Stage1 检查点。InternVideo2 的完整训练分为 4 个阶段而本仓库提供的正是最基础的第一阶段权重——经过视频-文本对比学习预训练的编码器能够把一段视频和一段文字映射到同一个语义空间。仓库非常精简共 4 个文件文件说明1B_ft_k710_ft_k600_f16.pth1B 参数模型权重16帧视频输入版本1B_ft_k710_ft_k600_f8.pth同一模型8帧视频输入版本README.md模型卡片Model Card含来源与引用信息configuration.json平台元信息声明框架为PyTorchconfiguration.json内容只有一行{framework: pytorch, task: others, allow_remote: true}说明该权重基于 PyTorch 生态、可作为通用基础模型使用而非绑定某个具体下游任务。二、命名解码224p、K600、f8/f16 到底什么意思视频基础模型的命名信息量很大看懂名字就懂了模型的大半特性命名片段含义Stage1多阶段预训练路线的第一阶段视频-文本对比预训练1B模型规模约10 亿参数224p输入视频分辨率224×224K600在约 **60 万条600K**视频-文本对上预训练f8/f16从视频中均匀采样8 帧 / 16 帧作为输入两个权重文件的完整名称1B_ft_k710_ft_k600_f16.pth还可以读出更多训练轨迹1B规模模型 → 先在 71 万条k710数据上微调 → 再在 60 万条k600数据上继续微调 → 最终支持16 帧输入。 小提示帧数f8/f16不是越多的越好。帧数越多模型能捕捉的动态细节越丰富但计算量也随之增长。三、ViT视频编码器把视频切块成Token这是整个模型最核心的部分。ViTVision Transformer原本是为图像设计的InternVideo2 把它扩展到了视频流程如下抽帧从一段视频中均匀采样 8 或 16 帧每帧缩放为 224×224切 Patch每帧按 16×16 的窗口切成 14×14 196 个 patch每个 patch 就是视觉世界里最小的词元线性投影每个 patch 通过一个线性层映射为高维向量token 嵌入所有帧的所有 patch 拼接成一长串 token 序列加位置编码由于 Transformer 本身不分先后、不管位置模型通过空间 2D 正弦位置嵌入 时间维位置编码告诉模型——每个 token 来自哪一帧、画面中的哪个区域多层自注意力经过数十层 Transformer Block 的自注意力计算每个 token 都能看到其他帧、其他区域的内容从而捕捉跨帧的运动与依赖关系比如球从左往右飞这种时序信息输出视频表征最终汇总为整段视频的向量表示用于和文本比对或接入后续任务。一句话总结图像 ViT 把 2D 网格变成 token 序列视频 ViT 再把时间这个第三维也变成了 token 序列——这就是 InternVideo2 视频编码器的本质。四、Stage 1 核心原理视频-文本对比预训练Stage 1 只使用一个训练目标但极其高效视频侧ViT 编码器输出视频向量文本侧BERT 类文本编码器输出描述文本标题/描述向量两个向量经过投影头映射到共享嵌入空间做 L2 归一化并施加温度缩放训练目标是InfoNCE 对比损失在一个 batch 里让这段视频和它自己的文本靠近同时把和其他视频的文本推开。效果是什么训练完成后视频特征与文本特征可以直接用余弦相似度比较于是模型天然具备零样本的文字搜视频能力——这正是多模态检索任务的基础。对比 InternVideo 第一代以视频描述生成为主的预训练方式InternVideo2 把对比学习作为主力目标并用更大规模数据K600、K710 量级分阶段训练多模态对齐能力显著增强 。五、从 Stage 1 到 Stage 4完整训练路线图理解 Stage 1 之后再看整条路线就清晰了阶段训练方式作用Stage 1本仓库视频-文本对比预训练K600 语料打地基建立视频与文本的语义对齐Stage 2掩码视频建模、图像-文本对比、文本-视频匹配等判别式任务强化细粒度的视觉-语言理解Stage 3与大型语言模型LLM对齐学习视频-文本对齐与视频问答VQA让模型会说话支持视频问答Stage 4高分辨率数据指令微调面向下游视频理解任务做最终打磨可以看到本仓库的权重是整条路线的地基它不接 LLM、不做问答但输出的视频表征是后续所有阶段的输入。六、权重文件怎么用下载与加载步骤一键克隆仓库git clone https://gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-K600用 PyTorch 检查权重文件import torch state torch.load(1B_ft_k710_ft_k600_f8.pth, map_locationcpu) print(type(state)) # 通常为包含各层参数的 dictstate_dict for k in list(state.keys())[:5]: print(k, state[k].shape if hasattr(state[k], shape) else type(state[k]))⚠️ 注意.pth只是参数文件完整推理还需要 InternVideo2 官方代码库中的模型结构定义与预处理逻辑抽帧、patch 切分、位置编码等。建议将权重放入官方 InternVideo2 代码框架中加载使用。七、常见问题 FAQ ❓Q1f8 和 f16 两个权重文件应该选哪个f88帧计算开销更小适合高吞吐的视频检索、粗粒度理解场景f1616帧时序信息更充分适合需要捕捉动作细节的任务。显存有限时优先选 f8。Q2和第一代 InternVideo 有什么区别第一代 InternVideo 以生成式视频描述判别式混合预训练为主InternVideo2 以视频-文本对比学习为核心目标数据规模放大到 K600/K710 级别并采用 4 阶段渐进训练在视频理解与对齐任务上表现更强。Q3模型许可协议是什么README.md 中声明为Apache-2.0同时该模型为门控gated模型下载前需同意不将模型用于对人类受试者造成伤害的实验等负责任使用条款。Q4task: others是什么意思表示该模型是通用基础模型权重不预设单一任务可对接检索、匹配、问答等多种下游用途。八、小结3 句话记住 InternVideo2-Stage1-1B-224p-K600 它是ViT 视频编码器 BERT 文本编码器组成的 10 亿参数视频基础模型在 224p 分辨率、60 万视频-文本对上完成对比预训练 仓库提供f8 / f16 两档帧数的 PyTorch 权重命名直接对应参数规模、数据量与输入帧数 它是 InternVideo2 四阶段路线的第一阶段地基为后续的判别式学习、LLM 对齐与指令微调提供视频理解能力。掌握了视频 → token 序列 → Transformer → 与文本对齐这条主线你就理解了几乎所有基于 ViT 的视频基础模型的工作原理。赞分享【免费下载链接】InternVideo2-Stage1-1B-224p-K600项目地址https://ai.gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-K600点击查看免费下载相关推荐读懂模型命名InternVideo2-Stage1-1B-224p-K600 中 1B、224p、K600 到底是什么意思读懂模型命名InternVideo2 Stage1 1B 224p K600 中 1B、224p、K600 到底是什么意思 很多新手第一次见到 InternVInternVideo2-Stage1-1B-224p-K600 完全入门指南:如何快速认识这个10亿参数的视频基础模型InternVideo2 Stage1 1B 224p K600 完全入门指南:如何快速认识这个10亿参数的视频基础模型 InternVideo2 Stage1InternVideo2-Stage1-1B-224p-K700 完全入门一文看懂 1B 视频基础模型的多模态视频理解能力InternVideo2 Stage1 1B 224p K700 完全入门一文看懂 1B 视频基础模型的多模态视频理解能力 InternVideo2 Stag创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考