在床上拔萝卜视频高清免费看空间智能版ImageN在床上拔萝卜视频高清免费看et来了！李飞飞吴佳俊团队出品_ZAKER新闻
空间智能版ImageN在床上拔萝卜视频高清免费看et来了！李飞飞吴佳俊团队出品_ZAKER新闻
据介绍，西甲希望杯是西甲联盟成立以来持续举办的西甲青少年锦标赛，拥有近40年历史，超过万名青少年球员参与其中，全球关注人群已达亿人次，已经成为世界级最重要的U12-U16年龄段青少年足球锦标赛之一。2019年该项赛事首次走出西班牙登陆亚洲大陆，落户中国昆明。
空间智能版 ImageNet 来了，来自斯坦福李飞飞吴佳俊团队！HourVideo，一个用于评估多模态模型对长达一小时视频理解能力的基准数据集，包含多种任务。通过与现有模型对比，揭示当前模型在长视频理解上与人类水平的差距。2009 年，李飞飞团队在 CVPR 上首次对外展示了图像识别数据集ImageNet，它的出现极大推动计算机视觉算法的发展——懂 CV 的都是知道这里面的门道有多深。现在，随着多模态迅猛发展，团队认为 " 现有的视频基准测试，大多集中在特定领域或短视频上 "，并且 " 这些数据集的平均视频长度较短，限制了对长视频理解能力的全面评估 "。于是，空间智能版 ImageNet 应运而生。HourVideo 包含 500 个来自 Ego4D 数据集的第一人称视角视频，时长在 20 到 120 分钟之间，涉及 77 种日常活动。评测结果表示，人类专家水平显著优于目前长上下文多模态模型中最厉害的 Gemini Pro 1.5（85.0% 对 37.3%）。在多模态能力上，大模型们还任重而道远。HourVideo 如何炼成？之所以提出 HourVideo，是因为研究人员发现目前长视频理解越来越重要，而现有评估 benchmark 存在不足。多模态越来越卷，人们期待 AI 被赋予 autonomous agents 的类似能力；而从人类角度来看，由于人类具备处理长时间视觉处理的能力，因此能在现实视觉中感知、计划和行动。因此，长视频理解对实现这一目标至关重要。而当前的多模态评估 benchmark，主要还是集中在评测单张图像或短视频片段（几秒到三分钟），对长视频理解的探索还有待开发。不可否认的是，AI 评估长视频理解面临诸多挑战，譬如要设计任务、避免通过先验知识或简短片断回答等。因此，团队提出HourVideo。这是一个为长视频理解而设计的基准数据集。为了设计出需要长期理解的任务，团队首先提出了一个新的任务对应套件，包含总结、感知（回忆、跟踪）、视觉推理（空间、时间、预测、因果、反事实）和导航（房间到房间、对象检索）任务，共 18 个子任务。其中，总结任务要求模型对视频中的关键事件、主要交互等进行概括性描述，例如总结出脖子上挂了个相机的人在超市中有什么关键交互行为。感知任务由两部分构成，一个是回忆任务，包括事实回忆（比如脖子上挂了个相机的人，在超市拿起的乳制品）和序列回忆（比如那个人在超市称完西红柿过后做了什么），以及对时间距离的判断（比如吃了多久的披萨才扔掉盒子）。还有一个是跟踪任务，主要用来识别脖子上挂了个相机的人在特定场景（比如超市、药店）中互动的独特个体。接下来是视觉推理任务，分为空间推理和时间推理。空间推理负责判断物体之间的空间关系、空间接近度（如微波炉与冰箱或水槽相比是否更近）以及空间布局（如选择正确描绘脖子上挂相机的人的公寓的布局图）。时间推理则包括对活动持续时间的比较、事件发生频率的判断、活动的先决条件、预测（如洗完衣服后最可能做的活动）、因果关系（如第二次离开车库的原因）以及反事实推理（如用烤箱做土豆泥会怎样）。导航任务包含了房间到房间的导航、对象检索导航。以上每个任务有精心设计的问题原型，以确保正确回答问题需要对长视频中的多个时间片段进行信息识别和综合，从而有效测试模型的长期理解能力。与此同时，研究人员通过 pipeline 来生成了 HourVideo 数据集。第一步，视频筛选。团队从 Ego4D 数据集中手动审核 1470 个 20 到 120 分钟的视频，让 5 位人类专家选择了其中 500 个视频，至于为啥要从 Ego4D 中选呢，一来是其以自我为中心的视角与 autonomous agents 和助手的典型视觉输入非常一致；二来是它具有广泛的视觉叙述，有助于创建多样化的题；三来 Ego4D 的访问许可非常友好。第二步，候选 MCQ 生成。这需要在长视频中跨多个时间片段，进行信息分析和合成。具体来说，研究人员以 20 分钟为间隔分割了视频，提取信息转化为结构化格式供大模型处理。最终一共开发了 25 个特定任务的 prompts。第三步，LLM 优化与人工反馈。在这个阶段，团队实现了一个人工反馈系统，7 名经验丰富的人员人工评估每个问题的有效性、答案准确性、错误选项合理性。最终收集了 400 多个小时的人工反馈，然后设计 prompt，自动优化 MCQ ₂得到 MCQ ₃。第四步，盲选。这一阶段的目标是消除可以通过大模型先验知识的问题，或者消除那些可以在不用视频中任何信息就可以回答的问题。团队用两个独立的大模型—— GPT-4-turbo 和 GPT-4，对 MCQ ₃进行盲筛，确保剩余 MCQ ₄高质量且专门测试长视频语言理解。第五步也是最后一步，专家优化。这一步是用来提升 MCQ ₄质量，将宽泛问题精确化，经此阶段得到高质量 MCQ ₅。4 个专家干的事 be like，把 " 挂着相机的人把钥匙放在哪里了？" 精确成 " 挂着相机的人购物回家后，把自行车钥匙放在哪里了？"如上 pipeline 中，研究图纳队使用了 GPT-4 来遵循复杂的多步骤指令，同时还使用了 CoT 提示策略。此外，pipeline 中涉及大模型的所有阶段的问题被设为 0.1。据统计，HourVideo 涵盖 77 种日常生活场景，包含 500 个 Ego4D 视频，视频时长共 381 个小时、平均时长 45.7 分钟，其中 113 个视频时长超过 1 小时。每个视频有约 26 个高质量五选一题，共计 12976 个问题。除因果、反事实和导航任务外，问题在任务套件中均匀分布。最好表现仍远低于人类专家水平在实验评估方面，HourVideo 采用五选多任务问答（MCQ） 任务，以准确率作为评估指标，分别报告每个任务以及整个数据集的准确率。由于防止信息泄露是评估长视频中的 MCQ 时的一个重要挑战——理想情况下，每个 MCQ 应独立评估，但这种方法计算成本巨高，且十分耗时。因此，实际评估中按任务或子任务对问题进行分批评估，对于预测任务，提供精确的时间戳以便对视频进行有针对性的剪辑，从而平衡计算成本和评估准确性。研究团队比较了不同的多模态模型在零镜头设置下理解长视频的性能。主要评估了三类模型，所有这些模型都在一个通用函数下运行：盲 LLM：指是指在评估过程中，不考虑视频内容，仅依靠自身预先训练的知识来回答问题的大型语言模型。实验中以 GPT-4 为代表。它的存在可以揭示模型在多大程度上依赖于其预训练知识，而不是对视频中实际视觉信息的理解。苏格拉底模型：对于大多数当前的多模态模型，直接处理非常长的视频存在困难。因此，采用 Socratic 模型方法，将视频（总时长为 t 分钟）分割成 1 分钟的间隔，每个间隔独立加字幕，然后将这些字幕聚合形成一个全面的基于语言的视频表示，并与通用任务无关的提示一起作为输入进行长视频问答。实验中分别使用 GPT-4 和 LLaVA- NEXT-34-DPO 为视频字幕生成器，并最终使用 GPT-4 进行实际问题回答。原生多模态模型：像 Gemini 1.5 Pro 这样的原生多模态模型，在多模态数据（包括音频、视频、图像和文本）上联合训练，能够处理非常长的上下文长度 *（（2M +），适合直接对 HourVideo 进行端到端评估。为了与模型性能进行对比，实验人员从基准数据集中选取了 14 个视频，涵盖 >18 种场景，包括手工制作 / 绘画、烹饪、建筑 / 装修、园艺、清洁 / 洗衣和庭院工作等。然后邀请了3 位人类专家，对上述总时长 11.2 小时的视频内容进行进行评估，共涉及 213 个 MCQ。为确保评估的公正性，参与评估的人类专家未参与过这些视频的早期注释工作。最终，人类专家在评估中的准确率达到了 85.0% 。而盲 LLM 的准确率为 19.6%，Socratic 模型准确率略高，原生多模态模型准确率最高，达到了 37.3%，仍然远低于人类专家水平。此外，独立评估每个 MCQ 与按任务级别评估相比，性能下降 2.1%，但成本增加 3 倍以上，证明了任务级评估方法的效率和有效性。最后，团队表示未来计划扩展基准测试，包括更多样化的视频来源（如体育和 YouTube 视频），纳入音频模态支持，并探索其他感官模态。同时强调在开发模型时需考虑隐私、伦理等问题。团队成员HourVideo 项目来自斯坦福李飞飞和吴佳俊团队。论文共同一作是 Keshigeyan Chandrasegaran 和 Agrim Gupta。Keshigeyan Chandrasegaran是斯坦福大学计算机科学博士二年级学生，从事计算机视觉和机器学习研究，导师是李飞飞和斯坦福视觉与学习实验室（SVL）联合主任胡安 · 卡洛斯 · 尼贝莱斯。共同一作 Agrim Gupta是斯坦福大学计算机科学专业的博士生，2019 年秋季入学，同样是李飞飞的学生。此前，他曾在微软、DeepMind，有 Meta 的全职经历，也在 Google 做过兼职。2018 年时，他就跟随李飞飞一同在 CVPR 上发表了论文。目前，Agrim 的 Google Scholar 论文被引用量接近 6400 次。李飞飞是大家熟悉的 AI 教母，AI 领域内最具影响力的女性和华人之一。她 33 岁成为斯坦福计算机系终身教授，44 岁成为美国国家工程院院士，现任斯坦福以人为本人工智能研究院（HAI）院长。计算机视觉领域标杆成果 ImageNet 亦是由她一手推动。此前，李飞飞也曾短暂进入工业界，出任谷歌副总裁即谷歌云 AI 首席科学家。她一手推动了谷歌 AI 中国中心正式成立，这是 Google 在亚洲设立的第一个 AI 研究中心。并带领谷歌云推出了一系列有影响力的产品，包括 AutoML、Contact Center AI、Dialogflow Enterprise 等。今年，李飞飞宣布创办空间智能公司 World Labs，公司成立不到 4 个月时间，估值突破 10 亿美元。所谓空间智能，即 " 视觉化为洞察；看见成为理解；理解导致行动 "。吴佳俊，现任斯坦福大学助理教授，隶属于斯坦福视觉与学习实验室（SVL）和斯坦福人工智能实验室（SAIL）。他在麻省理工学院完成博士学位，本科毕业于清华大学姚班，曾被誉为 " 清华十大学神 " 之一。同时，他也是李飞飞创业公司 World Labs 的顾问。参考链接： [ 1 ] https://arxiv.org/abs/2411.04998v1 [ 2 ] https://www.worldlabs.ai/team [ 3 ] https://keshik6.github.io/koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:张志远
TOP1热点：【社论】回家路，中国年
据介绍，西甲希望杯是西甲联盟成立以来持续举办的西甲青少年锦标赛，拥有近40年历史，超过万名青少年球员参与其中，全球关注人群已达亿人次，已经成为世界级最重要的U12-U16年龄段青少年足球锦标赛之一。2019年该项赛事首次走出西班牙登陆亚洲大陆，落户中国昆明。。
（作者：刘晓，系浙江省职业教育发展研究院副院长，浙江工业大学教授）
TOP2热点：今晚看春晚｜河南卫视万巳大吉，山西卫视大河长歌
警方确认死者之一为布劳沃德县消防队中队长特里森・杰克逊，另一人为居民楼内的成年女性。伤者为直升机上另外两名消防员和两名居民，均被送医治疗。
北京时间8月27日晚，在西班牙瓦伦西亚进行的第四十届世界艺术体操锦标赛迎来最后一个比赛日的争夺。中国艺术体操队在5圈单项决赛中，以36.550分赢得金牌，为中国艺术体操队收获首个世界冠军。
TOP3热点：【社论】春节，何以世界？人与畜禽CORPORATION外网
“想保研，就要做好全方位的准备。优异的学习成绩、获得各类奖项等，仅仅能让学生获得‘推免资格’。之后，学生还要参加面试，这是院校对学生专业基础、科研潜力、综合素质的一次全面考察。”山东师范大学教育学部副教授朱忠琴表示：“这意味着，志在保研的学生不仅要关注学业成绩，更要努力提升综合素质与能力。希望学生在校期间，多在课堂内外与教师互动交流，多在课后参加活动、参与老师的科研项目，提升自我表达能力、交流能力、科研能力、组织能力等。”
TOP4热点：特朗普称泽连斯基不应与俄罗斯对抗：他实际上什么都没有CHINAGARY武警体育飞机
于是，区教委对全体教职工逐一访谈，查找原因。“少数教师‘躺平’已久，因晏廷荣大力推行教育教学管理改革产生了能力恐慌，抵触改革；还有少数人因改革触及个人利益而反对。”访谈后，区教委相关负责人有了结论。
TOP5热点：寻家多年春节前圆梦，被拐35年后男子与哥哥妹妹团聚相拥八重神子焯出白水怎么办
北京时间8月27日晚，在西班牙瓦伦西亚进行的第四十届世界艺术体操锦标赛迎来最后一个比赛日的争夺。中国艺术体操队在5圈单项决赛中，以36.550分赢得金牌，为中国艺术体操队收获首个世界冠军。
TOP6热点：准备就绪！中央广播电视总台《2025年春节联欢晚会》完成全部五次彩排两会 翻白眼
据悉，本次发行工作首次引入超额增发机制，更利于提升发行灵活度，兼顾投融双方需求。同时，发行定价遵循市场规律，与当日市场估值持平，票面利率与发行当日5年期国债收益率利差为85bp。市场反响热烈，全场认购倍数达2.2倍。投资者结构多元，银行占比42.33%、保险占比44.58%、基金、券商及其他投资者占比13.10%。
北京时间8月27日晚，在西班牙瓦伦西亚进行的第四十届世界艺术体操锦标赛迎来最后一个比赛日的争夺。中国艺术体操队在5圈单项决赛中，以36.550分赢得金牌，为中国艺术体操队收获首个世界冠军。
TOP7热点：铁路上海站春运单日客发量78.66万人次创新高TOBU16TOBU18
近年来，以现代剧场艺术阐释经典戏曲的昆剧《临川四梦》，采自民间传说又闪耀现代精神的滇剧《水莽草》，用古代题材表现现代伦理的闽剧《双蝶扇》，现代电影技术与戏曲程式美学相融合、实现破圈传播的粤剧电影《白蛇传·情》等，无不体现出传统戏曲与时俱进的创新姿态。新的时代条件和现实生活，新的价值观念和审美风尚，新的剧场环境和观演关系，正激发着创作者坚持创造性转化、创新性发展，不断开拓戏曲艺术新境界。
TOP8热点：“重创”美科技股后，DeepSeek除夕再发新模型，文生图测试优于OpenAI铿锵锵锵锵锵锵锵锵
“贯通培养在培养就业能力的同时，为学生提供了升学进阶的‘绿色通道’，满足了升学与就业的双重需要。”陈鹏分析，“贯通培养的中职学段可以享受国家中职免费政策带来的好处，比选择收费的普通高中节约了三年经济成本，这也是部分家庭经济困难学生选择的重要因素。”
综治中心通过协调相关单位了解到李志琳等非常住户不在第一批施工范围内，便积极协调相关施工方，最终确定今年5月中旬第二批施工过程中为他们安装取暖设备。
TOP9热点：安徽卫视春晚节目组回应“外卖小哥”身份争议：确认其从事外卖工作国精产品999国精产品官网
这样“新奇”的事情在杭州也出现了。今年，杭州市“中本一体化”人才培养招生录取的最高分为569分（满分600分），比杭州市中考第一批录取线高56分。
TOP10热点：图集｜凌晨的虹桥火车站：这一夜，家和远方已近在咫尺40岁阿姨荒野大镖客
下一步，水利部将会同有关部门及地方各级政府，采取有力措施加强东北黑土区侵蚀沟治理。以耕地上的中小发展型侵蚀沟为治理重点，加大中央和地方资金投入，对于长度大于100米的耕地发展型侵蚀沟依托专项工程实施治理；长度小于100米的耕地发展型侵蚀沟结合高标准农田建设和保土耕作开展治理，同时大力推广柔性治沟技术，遏制沟头前进和沟岸扩张，增强沟道保土能力。以完善沟道排水体系为核心，分类施策、系统治理，编制松辽流域水土保持规划，制定黑土区水土流失综合防治技术标准，进一步明确黑土区侵蚀沟治理思路、重点、目标任务与技术路线，针对侵蚀沟形成的动因和机理，构建科学的耕地排水体系，实施沟头沟坡沟底加固防护，科学配置工程、生物措施，防止侵蚀沟变宽变深变长。落实各方责任，形成侵蚀沟治理合力，依法落实地方各级政府保护黑土地的主体责任，构建中央地方紧密协同、上下联动的工作机制，建立用养结合、保护效果导向的激励政策，转变不合理开垦利用方式，调动农民专业合作社等新型农业经营主体参与治理的积极性。