坐公交车上被䅤的最深的一天AI一键生成“类黑神话”!腾讯推出游戏视频模型GameGen-O,业内坐公交车上被䅤的最深的一天人士:游戏工作室的ChatGPT时刻_ZAKER新闻
AI一键生成“类黑神话”!腾讯推出游戏视频模型GameGen-O,业内坐公交车上被䅤的最深的一天人士:游戏工作室的ChatGPT时刻_ZAKER新闻
无不让毛伊岛民众愤怒心寒
什么?大模型也许很快就能生成《黑神话 · 悟空》这种 3A 大作了?!直接看一则 demo,《西游记》这就上桌:搭配 BGM,是不是有内味儿了(doge)。这就是腾讯近日推出的GameGen-O,一个专门生成开放世界视频游戏的 Transformer 模型。简单说,这个模型能够模拟各种游戏引擎功能,生成游戏角色、动态环境、复杂动作等等。当然也支持交互控制,用户可以通过文本、操作信号和视频提示来控制游戏内容。消息一公布就在(前推特)开启了刷屏模式,网友们开始列队尖叫:游戏工作室 Azra Games 的联创兼 CTO 更是直言:GameGen-O 将成为游戏工作室的 ChatGPT 时刻。" 游戏工作室迎来 ChatGPT 时刻 "具体来说,这个项目由腾讯光子工作室(曾打造出和平精英)联合港科大、中国科大推出。推测想要做的事儿,是用 AI 模型替代一些游戏开发环节。比如目前公布的游戏角色创建、游戏环境生成、动作生成、事件生成以及各种交互控制。下面我们挨个预览一波 ~现在,用 GameGen-O 就能直接生成各种角色了,西部牛仔、太空人、魔法师、警卫……一键生成。经费不足造成真实取景困难,也有 plan B 了!给队友展示骚操作,各种人称视角的动作生成也能轻松拿捏。游戏必备环节——给玩家偶尔上亿点难度,海啸、龙卷风、火灾事件这就安排(doge)。与此同时,GameGen-O 也支持开放域生成,即不限风格、环境、场景那种。最后,用文本、操作信号和视频提示就能实现交互,向左、向右、走向黎明……好家伙,谁都知道游戏开发有多烧钱,这下,普通玩家也能用 GameGen-O 制作游戏了。一位 AI 架构师网友更是断言:用 GPT-4o 标注数据为了开发这个模型,团队自述主要进行了两项工作:构建专有数据集 OGameData,采用 GPT-4o 标注数据经历两个阶段的训练过程具体来说,团队首先提出了一个数据集构建管道。团队从互联网上收集了32,000 个原始视频,这些视频来自数百款开放世界游戏,时长从几分钟到几小时不等,类型包括角色扮演、第一人称射击、赛车、动作益智游戏等。然后由人类专家对这些视频进行识别和筛选,最终得到大约15,000 个可用视频。下一步,将筛选后的视频通过场景检测技术切割成片段,并对这些视频片段进行基于美学、光流和语义内容的严格排序和过滤。接下来使用GPT-4o对超过 4,000 小时的高质量视频片段进行细致的注释,这些片段的分辨率从 720p 到 4k 不等。为了实现交互控制性,团队从注释后的数据集中选择最高质量的片段,并进行解耦标签(decoupled labeling)。这种标签设计用于描述片段内容状态的变化,确保训练模型的数据集更加精细和互动。对于这种人类专家和 GPT-4o 一起工作的形式,有网友认为:这是递归自我改进(recursive self-improvement)的一种形式。(人类专家确保了注释的准确性,并通过反馈机制帮助 GPT-4o 进行自我改进)完成数据准备工作后,团队经过基础预训练 + 指令调整两个过程来训练 GameGen-O。在基础训练阶段,GameGen-O 模型使用了一个2+1D VAE(变分自编码器,如 Magvit-v2)来压缩视频片段。为了使 VAE 适应游戏领域,团队对 VAE 解码器进行了特定领域的调整。团队采用了不同帧速率和分辨率的混合训练策略,以增强跨帧率和跨分辨率的泛化能力。另外,模型的整体架构遵循了 Latte 和 OpenSora V1.2 框架的原则。通过使用掩码注意力机制,让 GameGen-O具备了文本到视频生成和视频续集的双重能力。团队介绍称:这种训练方法,结合 OGameData 数据集,使得模型能够稳定且高质量地生成开放领域的视频游戏内容,并为后续的交互控制能力奠定了基础。在这之后,预训练的模型被固定,然后使用可训练的InstructNet进行微调,这使得模型能够根据多模态结构指令生成后续帧。InstructNet 主要用于接受各种多模态输入,包括结构化文本、操作信号和视频提示。在 InstructNet 分支的调整过程中,当前内容被用作条件,从而在当前片段内容和未来片段内容之间建立了映射关系,这在多模态控制信号下进行。造成的结果是,在推理时,GameGen-O 允许用户基于当前片段不断生成和控制下一个生成的片段。目前,GameGen-O 已创建GitHub 官方仓库,只不过还没来得及上传代码。感兴趣的童鞋可以先收藏一波了 ~项目主页:https://gamegen-o.github.io/GitHub 官方仓库:https://github.com/GameGen-O/GameGen-O/参考链接: [ 1 ] https://x.com/_akhaliq/status/1834590455226339492 [ 2 ] https://x.com/8teapi/status/1834615421728948581?s=46koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:李开富
TOP1热点:韩国游客扎堆上海对当地经济有何影响
“坚定支持对方自主选择发展道路,继续在涉及彼此核心利益和重大关切问题上相互理解和支持。”2018年7月,习近平主席以中国国家主席身份第四次踏上非洲大陆,访问塞内加尔、卢旺达、南非和毛里求斯四国。访问期间,习近平主席在多个场合阐明这一立场。。
TOP2热点:为什么光没有在空气中摩擦生热后燃烧
今年暑期,全国旅游市场复苏势头强劲,旅游人次和收入节节攀升。连日来,全国各地一些热门景区,总是能见到一群群着装整齐、肩背小书包的中小学生,在带队老师的组织下,满怀期待与兴奋踏上研学之旅。
TOP3热点:如何看待全国各地古镇相似度高达 99%7x7x7x7任意噪108
策划:倪四义应强李忠发徐壮志
中汽中心中国汽车战略与政策研究中心产业政策研究部部长朱一方表示,近年来,政策为产业发展按下“加速键”,中国新能源汽车产业规模、品质优势逐步显现。
TOP4热点:过一个被「花花世界」包围的年铜铜铜铜铜铜铜水好多免费
村镇“开荒”开启家园重建
TOP5热点:过年用全能笔记本来犒劳自己动漫美女被❌到爽🔞流斗罗大陆
继续干在实处、走在前列、勇立潮头,努力成为新时代全面展示中国特色社会主义制度优越性的重要窗口,这是习近平总书记对浙江继续当好排头兵的期待和重托,也是新时代浙江的使命与担当!
TOP6热点:今日进入三九天少妇BBWBBwBBwBBEF
不妨一起走进神秘湘西
到德夯,你会经过一座湘西新地标——屹立在两座山峰之巅的矮寨大桥。驾车行驶其中,像是穿梭在云端。
TOP7热点:大量进口原研药退出中国市场把英语课代表按到桌子上抄
张掖市生态环境局临泽分局局长张建科说,临泽县通过实施农村水系综合整治项目,依托上游修建的鹦鸽嘴水库和红山湾水库实行联合调度,梨园河东河及全域水系实现了不断流,打通了全县水系“主动脉”和曹家湖生态及周边湿地补水通道,南北部4个镇水域实现贯通,建成河湖相连、水质优良的水系连通系统,改善了人居环境,为乡村振兴注入源头活水,“城水相依、人水亲和”的生态县特色进一步凸显。通过实施河湖水系连通、河道疏浚等工程,解决了中部地区近10万亩土地盐碱化问题,河湖渠库连通效应也初步显现。
TOP8热点:抖音如何快速起号海盗2斯塔涅复仇2成⼈
2003年10月,住房和城乡建设部会同国家文物局公布了第一批22个中国历史文化名镇名村(10个镇、12个村),至今累计公布了七批共计799个中国历史文化名镇名村,其中,中国历史文化名镇312个,中国历史文化名村487个。一大批古镇、古村落被纳入保护名录,得到真实、完整的保护,为全面系统地保护好各类历史文化资源、讲好中国故事、传承好中华文明奠定了重要基础。
TOP9热点:曝微软计划裁员696969c大但人文艺术作品
航天科技集团五院卫星应用技术人员闫春杰:“目前,空间用的比如太阳能电池依赖于太阳能,在将来深空探测,比如探测木星、火星,太阳能就远远不及了,斯特林热电转换是一种效率非常高的把热源转换成电能的转换方式,这个实验成功以后,就可以用斯特林热能转换成电能,进行空间的能源应用。”
TOP10热点:女子收男友100万分手被判不用还数学课代表穿着蕾丝吊带背心
“黄继光!”“到!到!到!”几十年来,在晚点名时,连队总是第一个呼点“黄继光”的名字;在“黄继光班”,一直保留着黄继光的床位……“通过贴近实际的工作,让英雄精神代代相传。”“模范空降兵连”所在营政治教导员余海龙向记者介绍。2014年古田全军政治工作会议期间,时任“模范空降兵连”第37任政治指导员的余海龙当面聆听了习主席“要带头学传统、爱传统、讲传统,带动部队官兵传承好红色基因、保持老红军本色”的嘱托。