引言

OneLLM使用通用编码器和统一的投影模块与LLM对齐多模式输入，它还利用modality tokens 实现了在模态之间的切换。

上图展现了OneLLM的四个重要的组件：不同模态的tokenizer，通用编码器，统一的投影模块，大语言模型。

• 多模态token的tokenizer：将输入的各种模态的信号转换为token序列。

• 通用编码器：通用编码器是在LAION上训练的CLIP VIT Large。

• 统一的投影模块（UPM）：统一投影模块将各个模块投影到LLM的embedding向量空间中。UPM有K=3个投影专家，每个专家有8个transformers块和88M个参数。

• 大语言模型：OneLLM采用开源LLaMA2-7B。

OneLLM支持8种不同模态的数据的理解，包括：图像、音频、视频、点云、深度/法线图、IMU 和 fMRI 大脑活动。

OneLLM在视频-文本、音频-视频-文本、音频-文本等任务中优于现有方法，凸显了多模理解中的零样本能力。我们相信OneLLM会推动AI在语义理解上的进一步的发展。

模型使用和链接

OneLLM的模型权重已经开源到魔搭社区

论文链接：

https://arxiv.org/abs/2312.03700

模型权重链接：

https://modelscope.cn/models/csuhan/OneLLM-7B

模型下载代码：

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('csuhan/OneLLM-7B')

模型创空间：

https://modelscope.cn/studios/csuhan/OneLLM

image understanding:

video understanding:

audio understanding:

Github代码链接：https://github.com/csuhan/OneLLM

点击跳转Github链接~

csuhan/OneLLM: OneLLM: One Framework to Align All Modalities with Language (github.com)

TAG：