?? 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
? 微信公众号|搜一搜:蚝油菜花 ?
? 快速阅读
模型架构:结合Mamba和Transformer模块,提高处理大量图像数据的效率。
功能特点:在单个GPU上处理多达1000张图像,展示高效图像处理能力。
应用场景:适用于视频理解、高分辨率图像分析和多模态代理等任务。
正文(附运行示例)
LongLLaVA 是什么
LongLLaVA是由香港中文大学(深圳)的研究人员推出的多模态大型语言模型(MLLM)。该模型基于混合架构,结合了Mamba和Transformer模块,旨在提高处理大量图像数据的效率。LongLLaVA能够在单个A100 80GB GPU上处理多达1000张图像,同时保持高性能和低内存消耗。
通过2D池化技术,LongLLaVA压缩图像token,显著降低计算成本,同时保留关键的空间关系信息。这使得模型在视频理解、高分辨率图像分析和多模态代理等应用场景中展现出卓越的性能,特别是在检索、计数和排序任务中。
LongLLaVA 的主要功能
- 多模态长上下文理解:处理包含大量图像的长上下文信息,适用于视频理解、高分辨率图像分析等场景。
- 高效图像处理:在单个GPU上处理多达1000张图像,展示在处理大规模视觉数据时的高效能力。
- 混合架构优化:结合Mamba和Transformer架构,平衡模型的效率和效果。
- 数据构建与训练策略:基于特殊的数据构建方法和分阶段训练策略,增强模型对多图像场景的理解能力。
- 优异的基准测试表现:在多个基准测试中,展现卓越的性能,尤其在检索、计数和排序任务中。
LongLLaVA 的技术原理
- 混合架构:基于混合架构,整合Mamba和Transformer模块。Mamba模块提供线性时间复杂度的序列建模能力,Transformer模块处理需要上下文学习的复杂任务。
- 2D池化压缩:用2D池化方法压缩图像token,减少token的数量,同时保留图像间的空间关系。
- 数据构建:在数据构建时考虑图像之间的时间和空间依赖性,设计独特的数据格式,让模型更好地理解多图像场景。
- 渐进式训练策略:模型采用三阶段的训练方法,包括单图像对齐、单图像指令调优和多图像指令调优,逐步提升模型处理多模态长上下文的能力。
- 效率与性能平衡:在保持高性能的同时,基于架构和训练策略的优化,实现低内存消耗和高吞吐量,展现在资源管理上的优势。
- 多模态输入处理:能处理多种多模态输入,包括图像、视频和文本,有效地在内部混合架构中统一管理预处理输入。
如何运行 LongLLaVA
环境设置
pip install -r requirements.txt
数据下载与构建
数据下载与构建的详细步骤即将发布。
训练
下载语言模型
? <a href="https://huggingface.co/FreedomIntelligence/Jamba-9B-Instruct" target="_blank">Jamba-9B-Instruct</a>
阶段一:单图像对齐
bash Align.sh
阶段二:单图像指令调优
bash SingleImageSFT.sh
阶段三:多图像指令调优
bash MultiImageSFT.sh
评估
命令行接口
python cli.py --model_dir path-to-longllava
模型推理
query = 'What does the picture show?'
image_paths = ['image_path1'] # image or video path
from cli import Chatbot
bot = Chatbot(path-to-longllava)
output = bot.chat(query, image_paths)
print(output) # Prints the output of the model
基准测试
python Eval.sh
重现论文中的其他结果
FLOPs
python /utils/cal_flops.py
预填充时间、吞吐量和GPU内存使用
python ./benchmarks/Efficiency/evaluate.py
python ./benchmarks/Efficiency/evaluatevllm.py
DownCycling
将Jamba-MoE转换为Dense
python ./utils/dense_downcycling.py
资源
- 项目官网:https://mimictalk.github.io/
- GitHub 仓库:https://github.com/FreedomIntelligence/LongLLaVA
- arXiv 技术论文:https://arxiv.org/pdf/2409.02889
- Hugging Face 模型:https://huggingface.co/FreedomIntelligence/LongLLaVA-53B-A13B
- Hugging Face 模型:https://huggingface.co/FreedomIntelligence/LongLLaVA-9B
?? 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
? 微信公众号|搜一搜:蚝油菜花 ?