日本畜禽CORPORATION_今日热议_视频生成无损提速:删除多余token日本畜禽CORPORATION,训练时间减少30%,帧率越高效果越好_ZAKER新闻

日本畜禽CORPORATION视频生成无损提速:删除多余token日本畜禽CORPORATION,训练时间减少30%,帧率越高效果越好_ZAKER新闻

日本畜禽CORPORATION视频生成无损提速:删除多余token日本畜禽CORPORATION,训练时间减少30%,帧率越高效果越好_ZAKER新闻

视频生成无损提速:删除多余token日本畜禽CORPORATION,训练时间减少30%,帧率越高效果越好_ZAKER新闻

根据各大机构的分析我们可以得出一个结论,化工板块大致可以分为传统化工和新材料领域,而其中又可以再细分出多个领域,并且每个细分领域之间的基本面差别都比较大,想要通过投资个股从而全面把握化工板块的复苏行情并不容易。

Don ’ t look twice!把连续相同的图像块合并成一个 token,就能让 Transformer 的视频生成速度大幅提升。卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization(RLT),被 NeurIPS 2024 选为 Spotlight 论文。在精度几乎没有损失的前提下,RLT 可以让模型训练和推理速度双双提升。一般情况下,利用 RLT,Transformer 视频模型的训练时间可缩短 30%,推理阶段提速率提升更是可达 67%。对于高帧率和长视频,RLT 的效果更加明显,30fps 视频的训练速度可提升 1 倍,长视频训练 token 减少 80%。相比于传统的剪枝方法,RLT 能用更小的精度损失实现更好的加速效果。有人想到了电视剧中的评论,认为这项研究找到了在压缩空间中进行搜索的方法。DeepMind 科学家 Sander Dieleman 则评价称,这项研究是一种 " 非主流 "(Off-the-grid)的创新方法,但比起其他复杂的非主流研究,又显得非常简洁。重复图像块合为一个 tokenRLT 的核心原理,是利用视频中存在大量时间上重复的图像块这一特点,将重复的图像块合并为一个 token 表示。这种情况下,还需要用一个位置编码来表示这个 token 的长度,但 RLT 总体上减少了输入的 token 数量。要想完成重复 token 的修剪,首先要对视频进行分块。具体来说,视频在空间和时间维度上会被划分成固定大小的图像块,每个图像块的大小为 C × D_x × D_y × D_t,每个图像块都对应一个空间 - 时间位置。(其中 C 是通道数,D_x 和 D_y 是空间维度大小,D_t 是时间维度大小。)划分完成之后,需要比较时间上相邻的图像块,判断它们是否相似,也就是是否需要合并。对于时间位置相差 1 的两个图像块 P_1 和 P_2,取 P_1 的第一帧和 P_2 的最后一帧,计算它们的 L1 距离。如果距离小于一个预设的阈值 τ,就认为 P_1 和 P_2 是静态重复的(阈值 τ 表示允许多大程度的相似性,设置与具体数据集无关)。完成判别之后,重复的图像块会被移除。对于一串连续的、两两之间都是静态重复的图像块,RLT 只保留第一个块对应的 token。这一步是在 patch embedding 之前完成的,因此移除 token 不需要改动模型结构。经过这一步,输入的 token 数量从 N_P 降低到了 N_P ’(N_P ’≤ N_P)。为了让合并后的 token 仍然能够反映完整的视频信息,接下来要给每个 token 加上长度编码。对于一个保留下来的 token,系统会计算它所代表的原始 token 的长度 l_i,也就是它到下一个没有被移除的 token 的距离。长度信息 l_i 与 token 的空间 - 时间位置 ( x,y,t ) 一起,用一个可学习的长度编码矩阵映射成一个 d 维的 embedding 向量,与 patch embedding 相加,作为输入 token 的最终表示。最后只需要将处理后的 token 序列输入到视频 Transformer 中,进行常规的训练或推理过程。不过需要注意的是,由于每个视频样本计算出的 token 数量 N_P ’不尽相同,样本之间可能有较大差异。然而标准的 Transformer 是按批次处理固定长度的序列的。为了能在一个批次中处理多个长度不一的视频,RLT 采用了一种称为 "example packing" 的方法,将这一批中所有视频样本的 token 序列首尾相连,拼成一个超长的序列,作为 Transformer 的输入。这样的话,Transformer 实际上是在处理一个批次大小为 1、长度为所有样本 token 数量之和的序列。通过以上步骤,RLT 能够去除视频中的许多冗余 token,在几乎不损失精度的情况下,大幅降低内存占用和计算量,加速视频 Transformer 的训练和推理。训练时长下降 30%在训练阶段,RLT 对 ViT-B 和 ViT-L 两种规模的模型都有很好的加速效果。在 Kinetics-400 上,ViT-BRLT 和 ViT-L 训练时间分别从 14.4 小时和 21.6 小时,降低到 10.2 小时和 15.4 小时,降幅均接近 30% 左右,精度损失不超过 0.1 个百分点;在 SSv2 上,两者的训练时间分别从 10.1 和 15.2 小时,降低到 7.2 和 10.8 小时,降幅也接近 30%,精度同样仅下降 0.1 个百分点。相比之下,传统的剪枝方法 Token Merging 在精度下降 0.1-0.5 个百分点的情况下,加速只有 10-20%。在推理阶段,也不需要额外的训练,就可以将 RLT 作为现成的 tokenizer,达到很好的加速效果。具体来说,RLT 能在几乎不牺牲精度的情况下(不超过 0.5 个百分点),将推理阶段的计算量和延迟降低 30-60%。同样在 Kinetics-400 和 SSv2 上,对于 ViT-B 和 ViT-L,RLT 都能带来 60% 以上的推理加速。对于更大的 ViT-H,在 Kinetics-400 上,RLT 也能实现 45% 的加速效果。特别地,作者还针对高帧率和长时长视频数据集进行了测试,发现 RLT 带来的 token 下降幅度比在普通数据集中更高。同时在高帧率数据集当中,RLT 能够在精度损失同样低的情况下,实现更好的加速效果。而且帧率越高效果也越明显,对于 30fps 的视频,加速可达 100%。论文地址:https://arxiv.org/abs/2411.05222代码:https://github.com/rccchoudhury/rlt

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:范长江

TOP1热点:大量货运网约司机被客户逃单

格隆汇7月26日丨合力科技(603917.SH)公布,公司于近日收到中国证券监督管理委员会出具的《关于同意宁波合力科技股份有限公司向特定对象发行股票注册的批复》(证监许可〔2023〕1595号)(以下简称“批复文件”),批复文件的主要内容如下:。

出品:新浪财经上市公司研究院

TOP2热点:大量货运网约司机被客户逃单

此外,终端消费对短期快速的涨价难以消化,价格上涨不利于产能过剩矛盾的解决。做空的策略同样面临问题,因为当前现货市场存在涨价基础,并且仍处于趋势性上行的过程中,逆势做空本身存在风险。此外,即使盘面达到了压力位置,在现货市场涨势中做空也难有大幅的获利幅度。

欧洲天然气价格上涨的同时,亚洲的天然气成本也在上升,因为这两个地区在争夺可用的液化天然气。几处设备停开将在未来几周抑制供应。在美国,哥伦比亚天然气输送管道的一部分在附近发生火灾后关闭,减少了对CovePoint液化天然气工厂的原料气供应。挪威计划在下个月对主要设施进行维护;而在俄罗斯,亚马尔液化天然气公司计划在8月份关闭一条生产线,为期三周。

TOP3热点:德国外长自曝曾多次遭性骚扰俄罗斯人又更又租

根据各大机构的分析我们可以得出一个结论,化工板块大致可以分为传统化工和新材料领域,而其中又可以再细分出多个领域,并且每个细分领域之间的基本面差别都比较大,想要通过投资个股从而全面把握化工板块的复苏行情并不容易。

所属行业:软件和信息技术服务业(证监会行业2012年版)

TOP4热点:黄子韬:婚后2个人的生活最舒服打开扇贝就可以吃火腿肠

此外,终端消费对短期快速的涨价难以消化,价格上涨不利于产能过剩矛盾的解决。做空的策略同样面临问题,因为当前现货市场存在涨价基础,并且仍处于趋势性上行的过程中,逆势做空本身存在风险。此外,即使盘面达到了压力位置,在现货市场涨势中做空也难有大幅的获利幅度。

现在所谓的独到发明,任何专利制度、信息保密制度、商业秘密制度加到一起,就是让你先走几步而已,追兵总会来,仿造总会来。

TOP5热点:白敬亭:《难哄》可能是最后一部校园剧铜铜铜铜铜铜铜好大好深色板

所属行业:软件和信息技术服务业(证监会行业2012年版)

格隆汇7月26日丨合力科技(603917.SH)公布,公司于近日收到中国证券监督管理委员会出具的《关于同意宁波合力科技股份有限公司向特定对象发行股票注册的批复》(证监许可〔2023〕1595号)(以下简称“批复文件”),批复文件的主要内容如下:

TOP6热点:外卖员连线律师问缴纳社保细节成品78w78隐藏通道1

下一轮成品油调价存上调概率。

如果从长期逻辑来看,张忆东认为也是分为两个层面:一是要认知到,现在是百年未有之大变局,外部环境比较复杂多变,很长一段时间可能会使得传统经济维持低位徘徊。所以不要把“中特估”当作阶段性炒作,它背后有着全球的逻辑。二是科技成长,未来人工智能对消费端、投资端的推动作用在未来5-8年很可能是朱格拉周期的开始。所以A股上半年两条主线,很可能是未来数年的两条主线。

TOP7热点:俞敏洪谈王兴兴:他是个天才美国

1、龙头白马:具备穿越周期的韧性。

格隆汇7月26日丨有投资者向万润科技(002654.SZ)提问:公司目前管理模式?

TOP8热点:德国外长自曝曾多次遭性骚扰填得很满是什么感觉

白金酒公司总顾问戴传典在会上表示,茅台集团深化改革,茅台保健与股份公司的产品构成了市场化互补,“茅台酱香,股份出品”“茅台家族,集团出品”,定位明确区分了二者主体的战略地位,其产品有共同的历史文化渊源、共同原料产地和大曲酱香型白酒的生产工艺,又有相区别的酒体风格、使命和责任。

今年以来,一些货币从美元下跌中获益,而还有一些货币仍在挣扎

TOP9热点:一派出所副所长被指卖淫案中徇私肉多到炸的古言

看企业首先看两点,一是产品,二是技术。活着的企业一定在生产产品,产品的背后总有技术。当你问这是什么技术?这个技术只有你有吗?这个技术哪来的?你会发现,我们一些比较有年代的企业最初大多都是引进的。

“目前,行业内不符合国六B的库存车基本已经清空。由于2023年的行业竞争剧烈变化,国六老款车型库存延期政策明朗,国六B不带RDE车型的消化并非要延期到7月后很长时间。因此国六实施政策落地后的消费者价格预期稳定了,需求相对平稳,行业库存压力大幅改善,实际的国六B不带RDE车型的消化反而在政策宽松后更快消化了,政策效果很好。”全国乘用车市场信息联席会秘书长崔东树告诉记者。

TOP10热点:父母车祸轻微伤 女子跪谢爱车护主真人高清实拍女处被破的视频

此外,终端消费对短期快速的涨价难以消化,价格上涨不利于产能过剩矛盾的解决。做空的策略同样面临问题,因为当前现货市场存在涨价基础,并且仍处于趋势性上行的过程中,逆势做空本身存在风险。此外,即使盘面达到了压力位置,在现货市场涨势中做空也难有大幅的获利幅度。

该奖项经国务院有关部门知识产权工作管理机构、地方知识产权局、有关全国性行业协会,以及中国科学院院士和中国工程院院士等推荐,中国专利奖评审委员会评审,是中国唯一的专门对授予专利权的发明创造给予奖励的政府部门奖,也是中国专利领域的最高荣誉。

发布于:博乐市