小妈妈2阿里小妈妈2国际发布最新开源多模态模型Ovis，多模态能力再升级_ZAKER新闻
阿里小妈妈2国际发布最新开源多模态模型Ovis，多模态能力再升级_ZAKER新闻
不过，这次访华，早已卸任美国国务卿的基辛格是以个人和民间的身份来到中国。在美国民间，中国的“老朋友”还有很多。
看一眼菜品图就知道怎么做、能给植物看病、能把手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级！今天，阿里国际 AI 团队发布了一款多模态大模型 Ovis，在图像理解任务上不断突破极限，多种具体的子类任务中均达到了 SOTA（最新技术）水平。多模态大模型能够处理和理解多种不同类型的数据输入，例如文本、图像。与大型语言模型（LLMs）相比，大语言模型在处理和生成文本数据方面有专长，而多模态大模型能够处理非文本数据，如图像等等。根据多模态权威综合评测平台 OpenCompass 的数据，Ovis1.6-Gemma2-9B 在 30B 参数以下的模型中取得了综合排名第一，赶超 MiniCPM-V-2.6 等行业优秀大模型。 图：Ovis 在 OpenCompass 上的测评数据情况 据介绍，Ovis 能够在数学推理问答、物体识别、文本提取和复杂任务决策等方面展现出色表现。例如，Ovis 可以准确回答数学问题，识别花的品种，支持多种语言的文本提取，甚至可以识别手写字体和复杂的数学公式。 案例 1:Ovis 对手写文案的识别及翻译能力 案例 2：Ovis 对复杂数学公式的处理能力 案例 3:Ovis 通过对图片的识别处理能够给出菜谱 具体来说，Ovis 模型有五大优点：1、创新架构设计：可学习的视觉嵌入词表：首次引入，将连续的视觉特征转换为概率化的视觉 token，再经由视觉嵌入词表加权生成结构化的视觉嵌入，克服了大部分 MLLM 中 MLP 连接器架构的局限性，大幅提升多模态任务表现。2、高分图像处理：动态子图方案：支持处理极端长宽比的图像，兼容高分辨率图像，展现出色的图像理解能力。3、全面数据优化：多方向数据集覆盖：全面覆盖 Caption、VQA、OCR、Table、Chart 等各个多模态数据方向，显著提升多模态问答、指令跟随等任务表现。4、卓越模型性能：Ovis 展现出了优异的榜单表现。在多模态权威综合评测 Opencompass 上，Ovis1.6-Gemma2-9B 在 30B 参数以下的模型中取得了综合排名第一，超过了 Qwen2-VL-7B、MiniCPM-V-2.6 等模型。尤其在数学问答等方向表现媲美 70B 参数模型；在幻觉等任务中，Ovis-1.6 的幻觉现象和错误率显著低于同级别的模型，展现了更高的生成文本质量和准确性。5、全部开源可商用：Ovis 系列模型 License 采用 Apache 2.0。Ovis 1.0、1.5 的数据、模型、训练和推理代码都已全部开源，可复现。Ovis1.6 系列中的 Ovis1.6-Gemma2-9B 也已开源权重。在 AI 领域，多模态大模型的应用场景非常广泛，包括但不限于自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。例如，在自动驾驶领域，多模态大模型可以整合来自摄像头、雷达和激光雷达的数据，以实现更精准的环境感知和决策。由于多模态大模型能够学习如何联合理解和生成跨多种模式的信息，也被视为朝向通用人工智能的下一个步骤。根据此前媒体报道，阿里国际在去年成立了一支 AI 团队，目前已经在 40 多个电商场景里测试了 AI 能力，覆盖跨境电商全链路，包括商品图文、营销、搜索、广告投放、SEO、客服、退款、店铺装修等，其中多个应用场景均基于 Ovis 模型进行开发，已帮助 50 万中小商家、对 1 亿款商品进行了信息优化。据介绍，商家的 AI 需求不断增长，近半年的数据显示，平均每两个月，商家对于 AI 的调用量就翻 1 倍。附相关链接：论文 arXiv: https://arxiv.org/abs/2405.20797Github: https://github.com/AIDC-AI/OvisHuggingface: https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9BDemo: https://huggingface.co/spaces/AIDC-AI/Ovis1.6-Gemma2-9B雷峰网koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:洪学智
TOP1热点：国色芳华开播
邱勇。
TOP2热点：国色芳华广告
毛宁：在执行安理会决议问题上，中方一贯认真履行承担的国际义务。
TOP3热点：恋与深空秦彻抽卡爆率低小妈妈2
詹德斌表示，尽管执政者可以根据民意调整政策和推进方式，但实际上，尹锡悦政府把率过低视作在野党煽动的结果，因此继续一意孤行的可能性比较大。
1，乌克兰军队遭遇了重大伤亡，卢卡申科报了一个数字，但普京说不对，其实更多。
TOP4热点：开年最细腻的电影为什么是它亚洲尺码和欧洲尺码对照工具箱
据央行网站介绍，出席第十二届中日韩央行行长会议的还有韩国银行行长李昌镛、日本银行行长植田和男。
TOP5热点：张若昀微博之夜官宣海报下面一直湿漉漉的是怎么回事
他们的受教育程度也不一样。
想要从她这里了解更多的信息，几乎不可能的，她的精神混乱了，需要让她平复一下心情。现在民警得知了老郭和阿珠并不是夫妻。
TOP6热点：雄狮少年导演称会坚守传统文化拔萝卜又叫黄9.1
想要从她这里了解更多的信息，几乎不可能的，她的精神混乱了，需要让她平复一下心情。现在民警得知了老郭和阿珠并不是夫妻。
于是他们赶紧按照网约车司机给出的位置，找到了杨姐抛尸的地点。
TOP7热点：2025LPL第一赛段定妆照粉嫩小缝口太窄了进不去
娄女士告诉红星新闻记者，警方曾告诉她扔砖头的是一名20多岁的江西男子，没有固定工作，在事发前十几天才到达的长春，在万达广场公寓租了日租房。娄女士称，警方告诉她，犯罪嫌疑人家属称嫌疑人有精神疾病，“现在他妈妈提出来做精神病鉴定，就等着做这个的结果。”
TOP8热点：时代少年团人脸识别VCR缅甸14MAY18
上述文章还提到：据了解，三门峡高新一中初中部由跨省交流班（以陕西籍学生为主）和河南班两种班型组成。跨省交流班的学生随父母的工作地点而选择在三门峡高新一中就读。由于陕西与河南的教材不太一样，中考模式也有所不同，为此，三门峡高新一中组织了专门的教学团队，为跨省交流班量身打造最适合的教学内容。同时，定期与陕西省的联盟校进行交流，参与共同备课等教学活动。九年级第二学期，针对陕西省的中考特点进行考题研究，所有模拟考试均与陕西省保持同步。
马凯硕：我是全球化和多边主义的坚定信徒。因为没有全球化，我在《亚洲的21世纪》一书中提出的“亚洲的回归”是不可能发生的。事实上，全球化是亚洲国家表现良好的一个重要原因。
TOP9热点：孙颖莎说这不会是她最后一届奥运四川少妇搡BBW操BBBB
因此，他们在一起两个月的时间里，曾多次开房。
毛宁：在执行安理会决议问题上，中方一贯认真履行承担的国际义务。
TOP10热点：西藏震区救援画面5060网
因此，他们在一起两个月的时间里，曾多次开房。