猪蜜蜜电视剧大全秘密的背后视频生成无损提速：删除多余token，训猪蜜蜜电视剧大全秘密的背后练时间减少30%，帧率越高效果越好_ZAKER新闻
视频生成无损提速：删除多余token，训猪蜜蜜电视剧大全秘密的背后练时间减少30%，帧率越高效果越好_ZAKER新闻
而位于合肥蜀山湖畔的“科学岛”——中国科学院合肥物质科学研究院的所在地，则更是我国多项世界顶尖高精尖科技项目聚集的“清幽之地”。这里成功研制出世界上最紧凑型超导回旋质子治疗系统，俗称“人造太阳”、温度高达一亿度的全超导托卡马克核聚变实验装置（EAST）……
Don ’ t look twice！把连续相同的图像块合并成一个 token，就能让 Transformer 的视频生成速度大幅提升。卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization（RLT），被 NeurIPS 2024 选为 Spotlight 论文。在精度几乎没有损失的前提下，RLT 可以让模型训练和推理速度双双提升。一般情况下，利用 RLT，Transformer 视频模型的训练时间可缩短 30%，推理阶段提速率提升更是可达 67%。对于高帧率和长视频，RLT 的效果更加明显，30fps 视频的训练速度可提升 1 倍，长视频训练 token 减少 80%。相比于传统的剪枝方法，RLT 能用更小的精度损失实现更好的加速效果。有人想到了电视剧中的评论，认为这项研究找到了在压缩空间中进行搜索的方法。DeepMind 科学家 Sander Dieleman 则评价称，这项研究是一种 " 非主流 "（Off-the-grid）的创新方法，但比起其他复杂的非主流研究，又显得非常简洁。重复图像块合为一个 tokenRLT 的核心原理，是利用视频中存在大量时间上重复的图像块这一特点，将重复的图像块合并为一个 token 表示。这种情况下，还需要用一个位置编码来表示这个 token 的长度，但 RLT 总体上减少了输入的 token 数量。要想完成重复 token 的修剪，首先要对视频进行分块。具体来说，视频在空间和时间维度上会被划分成固定大小的图像块，每个图像块的大小为 C × D_x × D_y × D_t，每个图像块都对应一个空间 - 时间位置。（其中 C 是通道数，D_x 和 D_y 是空间维度大小，D_t 是时间维度大小。）划分完成之后，需要比较时间上相邻的图像块，判断它们是否相似，也就是是否需要合并。对于时间位置相差 1 的两个图像块 P_1 和 P_2，取 P_1 的第一帧和 P_2 的最后一帧，计算它们的 L1 距离。如果距离小于一个预设的阈值 τ，就认为 P_1 和 P_2 是静态重复的（阈值 τ 表示允许多大程度的相似性，设置与具体数据集无关）。完成判别之后，重复的图像块会被移除。对于一串连续的、两两之间都是静态重复的图像块，RLT 只保留第一个块对应的 token。这一步是在 patch embedding 之前完成的，因此移除 token 不需要改动模型结构。经过这一步，输入的 token 数量从 N_P 降低到了 N_P ’（N_P ’≤ N_P）。为了让合并后的 token 仍然能够反映完整的视频信息，接下来要给每个 token 加上长度编码。对于一个保留下来的 token，系统会计算它所代表的原始 token 的长度 l_i，也就是它到下一个没有被移除的 token 的距离。长度信息 l_i 与 token 的空间 - 时间位置 ( x，y，t ) 一起，用一个可学习的长度编码矩阵映射成一个 d 维的 embedding 向量，与 patch embedding 相加，作为输入 token 的最终表示。最后只需要将处理后的 token 序列输入到视频 Transformer 中，进行常规的训练或推理过程。不过需要注意的是，由于每个视频样本计算出的 token 数量 N_P ’不尽相同，样本之间可能有较大差异。然而标准的 Transformer 是按批次处理固定长度的序列的。为了能在一个批次中处理多个长度不一的视频，RLT 采用了一种称为 "example packing" 的方法，将这一批中所有视频样本的 token 序列首尾相连，拼成一个超长的序列，作为 Transformer 的输入。这样的话，Transformer 实际上是在处理一个批次大小为 1、长度为所有样本 token 数量之和的序列。通过以上步骤，RLT 能够去除视频中的许多冗余 token，在几乎不损失精度的情况下，大幅降低内存占用和计算量，加速视频 Transformer 的训练和推理。训练时长下降 30%在训练阶段，RLT 对 ViT-B 和 ViT-L 两种规模的模型都有很好的加速效果。在 Kinetics-400 上，ViT-BRLT 和 ViT-L 训练时间分别从 14.4 小时和 21.6 小时，降低到 10.2 小时和 15.4 小时，降幅均接近 30% 左右，精度损失不超过 0.1 个百分点；在 SSv2 上，两者的训练时间分别从 10.1 和 15.2 小时，降低到 7.2 和 10.8 小时，降幅也接近 30%，精度同样仅下降 0.1 个百分点。相比之下，传统的剪枝方法 Token Merging 在精度下降 0.1-0.5 个百分点的情况下，加速只有 10-20%。在推理阶段，也不需要额外的训练，就可以将 RLT 作为现成的 tokenizer，达到很好的加速效果。具体来说，RLT 能在几乎不牺牲精度的情况下（不超过 0.5 个百分点），将推理阶段的计算量和延迟降低 30-60%。同样在 Kinetics-400 和 SSv2 上，对于 ViT-B 和 ViT-L，RLT 都能带来 60% 以上的推理加速。对于更大的 ViT-H，在 Kinetics-400 上，RLT 也能实现 45% 的加速效果。特别地，作者还针对高帧率和长时长视频数据集进行了测试，发现 RLT 带来的 token 下降幅度比在普通数据集中更高。同时在高帧率数据集当中，RLT 能够在精度损失同样低的情况下，实现更好的加速效果。而且帧率越高效果也越明显，对于 30fps 的视频，加速可达 100%。论文地址：https://arxiv.org/abs/2411.05222代码：https://github.com/rccchoudhury/rltkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:吴家栋
TOP1热点：数据中的年货滋味
《中国500最具价值品牌》至今已连续20年发布，成为中国品牌研究领域最具权威性、最具影响力的榜单之一，被誉为中国品牌的“奥斯卡奖”，见证了中国品牌发展的崛起与壮大。。
请各单位、企业及广大群众提高警惕，加强甄别。（来源：“国家图书馆”微信公众号）
TOP2热点：中马2024年双边贸易额创历史新高
进入新时代，我们党把政治建设作为根本性建设，严明政治纪律，强化政治监督，推动全党深刻领悟“两个确立”的决定性意义，增强“四个意识”，坚定“四个自信”，做到“两个维护”，把党的领导落实到统筹推进“五位一体”总体布局和协调推进“四个全面”战略布局之中。党的十九届四中全会系统总结我国国家制度和国家治理体系的发展成就，把坚持党的领导这一显著优势放在我国国家制度和国家治理体系13个方面显著优势的首位。习近平总书记在2020年12月到2021年1月间三次提到“政治三力”，要求全党不断提高政治判断力、政治领悟力、政治执行力。
早在20世纪80年代，经营木材生意起家的苏新添毅然返回美岭，把积攒下来的四五万元血汗钱拿出来，带领村民建电站、修公路、办工厂，走活了“要脱贫灯先明、要致富先修路、要发展办工厂”的三步棋。
TOP3热点：台湾5.1级地震 福建多地有震感铜铜铜铜铜铜好大好神
任贤良表示，世界互联网大会愿携手全球致力于互联网发展的朋友，以数字技术助力国际社会可持续发展，以文明对话构建互鉴包容的美好世界，以此为契机，共迎挑战、共同合作、共赢未来，推动携手构建网络空间命运共同体朝着人类命运共同体方向不断迈进。
TOP4热点：东航C919定期航线达10条铜铜铜铜铜铜好大好神
二是加工方法，这一点或许更重要。大多数茶都要经过杀青，杀青中有一步是用火烘烤。中医认为经过火炮制过的中药和生药，其寒热温凉之性常常不同。例如生甘草，性寒凉而清热解毒，经过火炙的炙甘草则健脾补气；生地黄性凉而凉血活血，而经过火蒸制的熟地黄则性微温而补肾等。大凡经过火制的药材，大多会带一些温性，当然还决定于火制的具体方法，甚至柴火和烤箱也不尽相同。
市售的冷面产品有很多，而随着消费升级和健康意识的提升，消费者对速食半成品的需求也从“便捷饱腹”升级到了“美味健康”。当营养、低脂成为购买的关键词，速食冷面又如何在众多“选手”中冲出重围，成为佼佼者呢？
TOP5热点：中企建设的喀麦隆恩恩公路竣工交付老BWBWBWBWBW对欢迎您
美国及日本并非“印度洋国家”而是“太平洋国家”，印度也不毗邻太平洋，除非将它们对能源进口海上通道的依赖计算在内，才是所谓“印太国家”。这样一来，许多域外国家都可以声称是“印太国家”。美国通过将该地区最边缘的国家拼凑在一起，创造模糊的“印太”概念，最关键是保护美方的安全利益和军事基地。
倾倒污水、捕鱼、乱停乱放……这些看似不文明的行为可能已经触犯法律法规，普法小讲堂开课啦，快来看看哪些行为不能做！
TOP6热点：宁德时代起诉美国储能企业淑荣说把船开到湖
在国家“双碳”战略指引下,绿色金融成为助力实现“碳减排”和“碳中和”目标的重要途径。2022年末至2023年初,环球医疗下属子公司环球租赁,分别与渣打银行、江苏银行合作的绿色贷款成功落地,4月首单ESG可持续发展挂钩银团贷款落地,为社会发展绿色转型、可持续发展提供资金支持,为构建生态文明、环境友好型社会贡献力量。
TOP7热点：女子表白丈夫：20年一句没凶过我淑荣说把船开到湖
工发组织工业发展官员法鲁赫·阿利姆贾诺夫在论坛上说，全球工业和制造业人工智能联盟将致力于让更多人看到人工智能技术对提高工业和经济活动的竞争力、效率和包容性所起的作用，华为公司为建立该联盟提供了大力支持。
“千万工程”一路走来，浙江村居面貌发生了质变，村民习惯发生了巨变，经济发展模式也发生了转变，“美丽转身”的故事俯拾皆是：
TOP8热点：东航C919定期航线达10条天美影视传媒广告制作流程
2017年4月7日，美军发射59枚"战斧"式巡航导弹打击叙利亚沙伊拉特空军基地。
TOP9热点：罕见！火焰山迎来降雪圣华女学院公认高等第四集雷火剑
截至目前，艾满欣®已在包括中国在内的近100个国家及地区获批，全球范围内已有超过10000名SMA患者接受了利司扑兰的治疗。
TOP10热点：老员工收了1000元春节红包遭辞退4147大但艺术
中华优秀传统文化与中国式现代化在发展过程中相互融合，表明我们党对中国道路、理论、制度的认识达到了新高度。在中华优秀传统文化和中国式现代化道路这一对关系中，这种融合表现为中国式现代化道路对中华优秀传统文化的继承和发展，以及中华优秀传统文化在中国式现代化道路的进程中逐渐向现代化转变。中华优秀传统文化作为中华民族精神内涵的集中概括，包括灿烂的物质文化、鲜明的制度文化、博大的精神文化等丰富内容，并与中国式现代化发展历程相互融合，为实现中华民族伟大复兴提供强大的精神力量，推动全面建设社会主义现代化事业不断向前迈进。因此，在新的历史起点上继续推动文化繁荣、建设文化强国、建设中华民族现代文明，必须用中国道理总结好中国经验，把中国经验提升为中国理论，实现精神上的独立自主。
习近平总书记深刻指出，我们走的中国特色社会主义道路，它内在的基因密码就在中华优秀传统文化里。“只有植根本国、本民族历史文化沃土，马克思主义真理之树才能根深叶茂。”