Heron

[日本語] | [English] | [中文]

Heron是一个可无缝集成多种图像/视频和语言模型的库. 此外, 它还提供在各种数据集上训练的预训练权重.

点击此处查看使用不同 LLM 制作的多模态演示页面.（均有日语版本）

• BLIP + Japanese StableLM Base Alpha

• GIT + ELYZA-japanese-Llama-2

Heron允许您结合各种模块配置自己的V&L模型. 可以在配置文件中配置视觉编码器, Adopter和LLM. 用于训练的分布式学习方法和数据集也可以轻松配置.

组织信息

Turing株式会社

许可

License 2.0.

Acknowledgements

• GenerativeImage2Text

• Llava

• GIT-LLM

Contents

• 如何安装
  • 1. 获取存储库
  • 2. 设置 Python 环境
• 学习方法
• 如何使用
• 数据集

Index

• 索引

• 模块索引

• 搜索页面