27报动态图解图结构27报动态图解转文本序列，大模型直接读懂！图推理性能大涨_ZAKER新闻
图结构27报动态图解转文本序列，大模型直接读懂！图推理性能大涨_ZAKER新闻
玛丽安娜·科波：我非常高兴能找到那张旧画，当我绘制那个场景时，我根本不记得之前曾经画过同样的画面。多么令人怀念啊！我想大部分我小时候的画都埋藏在我父母房子的地下室里，而在我家就只有一个文件夹那么多——不得不说，这些画相当单调。它们一定是同一年里画的，那一年我沉迷于复活节兔子，所以它们主要是关于兔子的。我还在里面对兔子写道（用歪歪扭扭的字母，以及一些语法错误）：我非常希望能见到他，并为他献上许多的吻！
大语言模型直接理解复杂图结构的新方法来了：将图（Graph）转换为适合 Transformer 架构的线性 token 序列。belike：这种最新图线性化方法，反映了自然语言中局部依赖性和全局对齐性两个关键属性，即：不仅需要保留基于前文上下文预测下一个 token 的能力（局部依赖性），而且不同图的 token 序列应该从具有相似特征的 token 开始或结束（全局对齐性），就像自然语言文本经常以特定词语开头或结尾。如此一来，在海量文本数据上训练的 LLM 也能更好地理解图结构中的关系和属性，如节点计数、最大度数计算和图式形状分类等图推理任务都能完成。具体如何实现？机器学习工程师 Rohan Paul 发帖推荐论文并做了个总结。用多种技术开发了图线性化方法：图中心性（PageRank 和度）、图退化（k-core 分解）、节点重标记方案基于节点重要性创建了边排序策略应用节点重标记以保持全局对齐作者使用 GraphWave 合成数据集进行评估，结果表明他们提出的线性化方法相比基线方法取得了更好的性能，特别是基于度中心性和 PageRank 的方法在多个任务中表现突出。有网友已经迫不及待集成到 RAG 中了：我一直在寻找这方面的论文。多种基于图论的线性化方法在具体方法上，图线性化涉及将图的节点和边转换为线性 token 序列。研究团队提出了几种基于图论的图线性化方法。一种是根据图中心性（Graph centrality）对节点进行排序。这里的中心性可以是节点的度（Degree centrality），即与节点直接相连的边的数量；也可以是更为复杂的 PageRank 值，它不仅考虑节点的连接数，还考虑连接到它的节点的重要性。研究人员根据排序结果选择与重要性最高的节点相连的边，并随机排列这些边，然后对下一个重要性节点重复此过程。如果多个节点具有相同的中心性值，则随机选择它们的顺序。另一种是基于图退化性（Graph degeneracy）的方法，即通过图的核编号（Core Number）来排序节点。利用 k-core 分解 , 将图分解为一系列嵌套的子图。核编号是指节点在图中最高核的编号。通过这种方式，能够捕捉到图中最核心的部分，并将这些信息线性化。除了基于节点属性的排序，作者们还考虑了直接对边进行排序的方法。他们将每个图转换为其对应的线图（Linegraph），将原图的每条边转换为线图中的节点，如果原图中两条边相邻，则在线图中对应节点相连。然后，应用与核编号相同的过程来对 Linegraph 中的节点进行排序。为了实现全局对齐性，作者还提出了节点重命名策略。在这个策略中，不同图中具有最高核编号的节点被重新标记为索引 0，以此类推。这样做的目的是让 LLM 能够将节点索引与其重要性属性之间建立一致的联系。中心性方法总体优于退化性方法为了测试上述方法的有效性，作者使用 GraphWave 生成器构建了合成数据集。首先构造基础图（循环或链式结构），然后附加预定义形状的图案（motifs）。研究人员选择了五种基本形状（团、星形、扇形、菱形和树），并包含了这些形状的组合，总共生成了 3000 个图，平均每个图包含 32.33 个节点和 43.72 条边。实验中设计了三个评估任务：节点计数：要求模型从边列表推断节点数量最大度计算：确定图中最大节点度数图案形状分类：给定详细的图案定义，识别图中存在的图案实验采用了 Llama 3 Instruct 8B 模型，使用 4bit 量化版本。为确保输出的确定性和一致性，temperature 参数设为 1e-3，sampling 参数设为 1e-1。包括 zero-shot 和 one-shot 两种设置，并与两个基线方法比较：MotifAware 基线，保持图生成过程中的默认边序；Random 基线，完全随机的边列表排序和节点标签。结果显示了以下几个重要发现。首先，在节点计数任务中，所有方法都显示较低的平均误差，但准确率表现各异。基于度中心性和 PageRank 的方法表现最好，超过了基线方法。在最大度计算任务中，由于需要更复杂的计算过程，整体性能低于节点计数任务。使用默认节点标签时，度中心性和 PageRank 方法在 one-shot 设置下取得最佳效果。节点重标记策略的效果因任务而异，在节点计数中，除了 zero-shot 的度中心性方法外，大多导致准确率下降，但在平均误差上通常有改善。one-shot 设置的性能普遍低于 zero-shot，这表明示例可能并不总是有助于提高性能。基于中心性的方法（度中心性和 PageRank）总体上优于基于退化性的方法。参考链接：https://x.com/rohanpaul_ai/status/1863014451827655118论文链接：https://arxiv.org/pdf/2410.19494koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:冯兴国
TOP1热点：微软推出广告测试版 Office，你能接受办公软件有弹窗广告吗？
网上投资者：投资者持有10,000元以上（含10,000元）深交所非限售A股股份和非限售存托凭证市值的，可在2023年8月15日（T日）参与本次发行的网上申购。其中自然人需根据《深圳证券交易所创业板投资者适当性管理实施办法（2020年修订）》等规定已开通创业板市场交易权限（国家法律、法规禁止者除外）。每5,000元市值可申购500股，不足5,000元的部分不计入申购额度。每一个申购单位为500股，申购数量应当为500股或其整数倍，但申购上限不得超过本次网上初始发行股数的千分之一，具体网上发行数量将在《发行公告》中披露。投资者持有的市值按其2023年8月11日（T-2日）前20个交易日（含T-2日）的日均持有市值计算，可同时用于2023年8月15日（T日）申购多只新股。投资者相关证券账户开户时间不足20个交易日的，按20个交易日计算日均持有市值。投资者持有的市值应符合《网上发行实施细则》的相关规定。。
TOP2热点：为什么中国没有出现百年家族企业？而欧美家族企业很常见？
记者了解到，连通雁翅镇、斋堂镇、清水镇的109国道，8月2日已打通至雁翅镇，但通向各个村庄的道路仍多有中断。8月3日，门头沟区首次向王平镇、大台街道、雁翅镇等地派出医疗救援、物资运送等队伍。
(b)受让方签署和递交本协议以及受让标的股权已经获得了其内部决策机构的批准；
TOP3热点：网红顾茜茜全网作品被下架，此前她因违反相关法律和政策，已被禁言，这对相关行业起到哪些警示作用？美女露100/身体部位网站
（1）于2023年8月16日下午收市时在中国结算深圳分公司登记在册的公司全体股东均有权出席股东大会，并可以以书面形式委托代理人出席会议和参加表决，该股东代理人不必是本公司股东。
TOP4热点：方大同去世之后你有什么感受？hayamanta
●香港起步本次司法冻结后，累计被司法冻结48,888,245股，占其持有公司股份数量的100%。
TOP5热点：网红顾茜茜全网作品被下架，此前她因违反相关法律和政策，已被禁言，这对相关行业起到哪些警示作用？喵星闻
公司于2023年4月24日召开第二届董事会第十三次会议、第二届监事会第十二次会议，于2023年5月25日召开2022年年度股东大会，分别审议通过了《关于2022年度利润分配及资本公积转增股本预案的议案》。公司总股本42,800,000股,以此计算合计拟转增17,120,000股，转增后公司的总股本增加至59,920,000股。
2、有效期分别为：12个月、24个月（第二类限制性股票预留授予之日至每期归属日的期限）；
TOP6热点：传奇投资者格兰瑟姆警告，美股即将崩盘，AI 泡沫终将破裂，美股当前 AI 泡沫有多大？小舞3D同人资源漫画22P
十、中止发行情况
TOP7热点：《哪吒 2》超越《蜘蛛侠：英雄无归》进入全球票房榜前 7 名，《哪吒 2》票房还能冲多高？亚洲无圣光
具体内容详见同日披露于上海证券交易所网站（www.sse.com.cn）的《关于调整2022年限制性股票激励计划授予价格的公告》。
TOP8热点：《怪物猎人》里面的怪物到底做错了什么，就是因为不合人类的口味就要被赶尽杀绝吗？亚洲无圣光
网上投资者：投资者持有10,000元以上（含10,000元）深交所非限售A股股份和非限售存托凭证市值的，可在2023年8月15日（T日）参与本次发行的网上申购。其中自然人需根据《深圳证券交易所创业板投资者适当性管理实施办法（2020年修订）》等规定已开通创业板市场交易权限（国家法律、法规禁止者除外）。每5,000元市值可申购500股，不足5,000元的部分不计入申购额度。每一个申购单位为500股，申购数量应当为500股或其整数倍，但申购上限不得超过本次网上初始发行股数的千分之一，具体网上发行数量将在《发行公告》中披露。投资者持有的市值按其2023年8月11日（T-2日）前20个交易日（含T-2日）的日均持有市值计算，可同时用于2023年8月15日（T日）申购多只新股。投资者相关证券账户开户时间不足20个交易日的，按20个交易日计算日均持有市值。投资者持有的市值应符合《网上发行实施细则》的相关规定。
目前职业和职务：新特化工董事、誉翔贸易董事、江苏泰际材料科技有限公司物流负责人
TOP9热点：两名溶洞潜水科考人员被困， 69 小时后营救后奇迹生还，这么危险的潜水科研值得么？吃瓜网黑料曝光网
因此，在2023年上半年期间，祥源茶业净利润规模较小，随着下半年经营旺季的到来，营业收入的增长将显著提高净利润水平。预计2023年下半年市场释放季节性需求后，祥源茶业的净利润水平将随着营业收入规模水平的提升而有效提高。
TOP10热点：巨兽「犴达罕」现身内蒙古，才知道中国还有本土驼鹿，北美的公路杀手为啥会成为中国的一级保护动物？色涩搜狐
4、联系电话：0754-88118888-2116，传真：0754-88116816。