如色放别再被 DeepSeek R1 本地如色放部署割韭菜,我帮你把坑都踩遍了_ZAKER新闻
别再被 DeepSeek R1 本地如色放部署割韭菜,我帮你把坑都踩遍了_ZAKER新闻
“这些电影在一定程度成了观众们独一无二的‘嘴替’和表达。”王征说,在他眼中,它们极易令观众产生代入感,“会去联想我曾经在某个时刻是不是也遭遇了这样的经历?也许当时不清楚,但是现在通过电影知道了,就会产生一种‘幸好’的共情感,而这种共情感在一定程度上,有利于观众去当自来水,进行更多层面的传播。”这些源自现实世界的人物和情节,也更容易化为观众“集体记忆”的一部分,进而引发共鸣。
买它!趁着过年有空学起来。这个春节,DeepSeek 像一条鲶鱼搅动了海内外无数人的心弦。当硅谷还沉浸 DeepSeek 带来的震撼时,一场声势浩大的 AI「淘金热」也在逐渐渗透国内主流电商平台。号称内置 DeepSeek 的智能键盘日销近百万,博主兜售的课程轻松日入五万,就连仿冒网站也如雨后春笋般冒出了 2650 个,惹得 DeepSeek 官方突发紧急声明。人群中有焦虑者、有淘金者,还有更多怀揣期待的观望者,当打工人节后终于有时间静下心来体验这个 AI 神器时,得到的却是 DeepSeek R1 冰冷的回应:服务器繁忙,请稍后再试。得益于 DeepSeek 的开源策略,在焦躁的等待中,本地部署 DeepSeek R1 的教程也迅速在全网刷屏,甚至成为新一轮收割韭菜的 AI 秘籍。今天,不用 998 ,也不用 98 ,我们给家人们送上一份本地部署 DeepSeek R1 的教程。DeepSeek's AI Model Just Upended the White-Hot US Power Market - Bloomberg不过,部署了,但没完全部署。尽管许多卖课博主声称能轻松运行满血版 DeepSeek R1,但满血版 R1 模型参数高达 671B,仅模型文件就需要 404GB 存储空间,运行时更需要约 1300GB 显存。对于没有卡的普通玩家来说,运行的条件苛刻,且门槛极高。基于此,我们不妨将目光转向 DeepSeek R1 四款分别对应 Qwen 和 Llama 的蒸馏小模型:DeepSeek-R1-Distill-Llama-8BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Llama-70B海外博主已经整理出相关配置供大家参考,注意,只要 GPU 等于或超过 VRAM 要求,模型仍然可以在规格较低的 GPU 上运行。但是设置不是最佳的,并且可能需要进行一些调整。 https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48 本地部署 R1 小模型,两种方法,一学就会我们这次手上体验的设备正是 M1 Ultra 128GB 内存的 Mac Studio。关于主流本地部署 DeepSeek 的教程,两种方法,一学就会。LM Studio首先登场的是小白极简版本,在官网 ( lmstudio.ai ) 根据个人电脑型号下载 LM Studio,接着为了方便使用,建议点击右下角修改语言为简体中文。然后搜索 deepseek-r1 选择合适的版本下载,作为示例,我选择使用阿里 Qwen 模型为基座蒸馏出来的 7B 小模型。配置完成后,即可一键启动。使用 LM Studio 的好处就是不用代码、界面友好,但跑大型模型的时候对性能要求高,因此更适合新手入门使用基础功能。Ollama当然,对于追求更深层次体验的用户,我们也准备了进阶方案。首先从官网 ( ollama.com ) 获取并安装 Ollama。启动后打开命令行工具。Mac 用户键盘 Command+ 空格 打开「终端」工具,Windows 用户键盘运行 Win+R ,输入 cmd 打开「命令提示符」工具。在窗口中输入代码指令(ollama run deepseek-r1:7b)即可开始下载。请注意英文状态输入,检查空格和横杠,冒号后输入所需要的版本名称。配置完成后就能在命令行窗口开始对话。这个方法对性能要求很低,但需要熟悉命令行操作,模型的兼容性也有限,更适合进阶开发者实现高级操作。如果你想要比较好看的交互界面,不妨在 Chrome 浏览器安装插件,搜索安装 PageAssist。选择本地已安装的模型,开始使用。右上角设置里修改好语言,主页选择模型就可以开始对话,而且支持基础的联网搜索,玩法也更多样。 能跑是能跑,但 ...我们这次体验则用到了 LM Studio。凭借其出色的优化能力,LM Studio 使得模型能够在消费级硬件上高效运行。比如 LM Studio 支持 GPU 卸载技术,可以将模型分块加载到 GPU 中,从而在显存有限的情况下实现加速。如同调教赛车,每个参数都会影响最终的表现,在体验之前,建议在 LM Studio 的设置中,根据需求调整推理参数的能力,以优化模型的生成质量和计算资源分配。温度 ( Temperature ) :控制生成文本的随机性。上下文溢出处理 ( Context Overflow Handling ) :决定如何处理超长输入。CPU 线程:影响生成速度和资源占用。采样策略:通过多种采样方法和惩罚机制,确保生成文本的合理性和多样性。DeepSeek 研究员 Daya Guo 在 X 平台分享了他们内部的调教指南,最大生成长度锁定在 32768 个 token,温度值维持在 0.6,top-p 值定格在 0.95。每个测试都生成 64 个响应样本。详细的配置建议如下:1. 将温度设置在 0.5-0.7 之间(建议设置为 0.6),以防止模型输出无尽的重复或不连贯的内容。2. 避免添加 system prompt,所有指令应包含在用户提示中。3. 对于数学问题,建议在提示中包含指令,例如:「请逐步推理,并将最终答案放在 boxed{} 中。」4. 在评估模型性能时,建议进行多次测试,并取结果的平均值。5. 此外,我们注意到 DeepSeek-R1 系列模型在响应某些查询时,可能会绕过思维模式(即输出 「nn」),这可能会影响模型的性能。为了确保模型进行充分的推理,我们建议在每次输出的开始,强制模型以 「n」 开始其响应。▲ DeepSeek 官方给出的蒸馏版模型的评测对比更大的参数量并不一定能带来更好的效果,在我们体验的这几款小模型中,相临参数量模型的实力差距整体倒也没有那么等级森严。我们也做了一些简单的测试。「deekseeeek 里有多少个 e?」8B 模型的响应速度很快,基本能跑到 60 token/s,但答得快不意味着答得对,差之毫厘,谬以千里。思考过程显示,模型更像是基于知识库里的「DeepSeek」单词作出回答。14B 模型也没答对。直到 32B 模型的出场,才终于看到了靠谱的答案。70B 模型展示出更缜密的推理过程,但同样回答错误。「请帮我写一版京剧的《哈利波特与魔法石》」就该问题的回答质量来说,32B 和 70B 各有千秋,32B 在剧本场景的细节把控更完美,而 70B 则交出了一份角色饱满、剧情完整的答卷。「在一天的 24 小时之中,时钟的时针、分针和秒针完全重合在一起的时候有几次?都分别是什么时间?你怎样算出来的?」「某人在北半球某地乘飞机依次向正东、正北、正西、正南各飞行 2000 千米。最后,他能回到原地吗?」▲ DeepSeek-R1-Distill-Qwen-32B▲ DeepSeek-R1-Distill-Llama-70B当然,这几款模型中,参数越小的模型的回答准确率往往越低,即便思考过程摸着门道了,但后续也因不坚定而出错,遇上数学计算领域,不同量级模型的实力差距则会比较明显。本地部署有三大优势,敏感数据无需上传云端;断网也能流畅使用;以及免除 API 调用费用,长文本任务更省钱,尤其适合企业、开发者及对隐私敏感的用户。但不支持联网也有其弊端,如果你不喂给它「资料」,不及时更新知识库,那它的信息认知水平也会停滞不前。比方说知识库截止到 2024 年,那它就没法回答你最新的 AI 新闻。本地部署最常用的功能当属打造自己的知识库,方法则是在安装 LM Studio 之后,增加与 Anything LLM 联动的部署步骤。考虑到效果和适用性,我们使用了 32B 模型作为联动模型,结果显示效果也很一般,其中最大的挑战来自上下文窗口的限制。依次输入只有 4000 字的文章和 1000 字左右的文章,前者回答依旧很迷糊,后者则能胜任,但处理 1000 字左右的文章稍显鸡肋,所以当个玩具还行,生产力还差点意思。另外需要特别强调的是,一方面,撬开这四款模型的嘴难度极高,另一方面,我们也不建议大家去尝试「越狱」。网上虽然流传着许多所谓容易「越狱」的新版本模型,但出于安全和伦理考虑,我们并不建议随意部署。不过,既然到这一步了,不妨再本着一窍通百窍通的原则,尝试下载和部署一些经过正规渠道发布的小模型。那除了本地部署 R1 蒸馏小模型,满血版 R1 有没有穷鬼套餐呢?Hugging Face 的工程师马修 · 卡里根前不久在 X 平台展示了运行完整 DeepSeek-R1 模型,Q8 量化,无蒸馏的硬件 + 软件设置,成本大约为 6000 美元。附上完整配置链接:https://x.com/carrigmat/status/1884244369907278106言归正传,所以我们真的需要本地部署一个蒸馏版的 DeepSeek R1 吗?我的建议是不要将这几款 R1 蒸馏小模型想象成特斯拉,它充其量更像是五菱宏光,能跑是能跑,但要么性能表现相去甚远,要么缺胳膊少腿。在本地部署最常用的自定义知识库能力的体验中,效果就不尽如人意。面对具体问题时,它无法准确「按图索骥」,或者干脆胡编乱造,准确率堪忧。对绝大多数用户来说,老老实实用官方版或者使用第三方平台才是目前最优解,它不需要投入昂贵的硬件成本,也不用担心性能受限。甚至折腾了半天,你会发现与其投入大量时间、精力和金钱去折腾本地部署这些小模型,不如下班后吃顿好的。而对于企业用户、开发者或对数据隐私有特殊需求的用户,本地部署依然是一个值得考虑的选择,但前提是你清楚自己为什么需要它,以及它存在的各种局限性。 附上小白 QA 问答:问 : 我能在普通的电脑上部署 DeepSeek 吗?答 : DeepSeek 的完整版对电脑要求较高,但是,如果你只是想用它进行简单的操作,可以选择一些蒸馏小模型,不过仍需量力而行。问:什么是 DeepSeek R1 的蒸馏版模型?答 : 蒸馏版模型是「简化」版本,硬件要求更低,运行起来速度也更快。问 : 我能在没有网络的情况下使用 DeepSeek 吗?答 : 如果你选择本地部署 DeepSeek,那么在没有互联网的情况下也能使用它。如果你通过云端或第三方平台使用,就需要网络连接才能访问。问 : 使用 DeepSeek 时,我的个人数据是否安全?答 : 如果你选择本地部署 DeepSeek,那么你的数据不会上传到云端,更加安全。如果使用在线版本,确保选择可信的服务平台,保护个人隐私。作者:莫崇宇、Linkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:李开富
TOP1热点:《惊 喜》:游戏科学蛇年贺岁小短片
其实很好理解。美国在调整对华关系,希望能够在遏制中国,特别是在军事、高科技等等领域遏制中国的同时,继续与中国做生意。比如雷蒙多就说,希望美国企业在华加大投资。当然,这些投资的美企该是什么领域的,拜登又在白宫给 “规定”了一番。比如文化交流、吃吃喝喝的企业若来华赚钱,拜登当局似乎会大开绿灯。。
目前,太行置业旗下的公园上城二期、公园里爱巢、水杉爱巢等多个项目,处于严重延期交房或停工状态。同样,晋城当地地产商山西汇邦房地产开发有限公司的部分项目,也处于延期交房或停工状态。
TOP2热点:谭乔:《谭谈交通》二十年,节目里的普通人治好了我的抑郁症 |【热点面孔】
路透社1日称,总部位于美国的行业技术公司分析师丹·哈奇森表示,这款手机配备了华为海思芯片部门的新型麒麟9000S处理器,似乎使用了中芯国际的先进技术。
TOP3热点:谭乔:《谭谈交通》二十年,节目里的普通人治好了我的抑郁症 |【热点面孔】葫芦里不买药千万有没有你需要
住建部原部长陈政高曾公开表示,棚改货币化安置,第一,提高了效率。老百姓从棚户区搬出以后,就可以住进楼房,而建设房子至少要三年甚至四年时间;第二,可以自由选择,包括地段、楼层选择,新房、旧房选择,物业选择等。
TOP4热点:《 蒙 娜 立 杀 》51吃瓜网朝阳群众cgfun
明悦(五年级小学生的妈妈):这两天心情可以说是喜忧参半。既想早点回学校和小伙伴玩,又怕老师抽查到大片空白的暑假作业,只要不提到暑假作业,孩子就很自信,但我们家长一想到就剩下一天了,作业也是补不完了,干脆让孩子玩玩。但她又坚决反对,表示至少要把语文作业补完。暑假两个多月,早知如此,何必当初。
TOP5热点:你成为了你小时候想成为的人吗看黄软件免费
国家发展改革委副秘书长兼人事司司长张世昕9月4日在国新办新闻发布会上介绍,民营经济发展局的主要职责是:跟踪了解和分析研判民营经济发展状况,统筹协调、组织拟订促进民营经济发展的政策措施,拟订促进民间投资发展政策。建立与民营企业的常态化沟通交流机制,协调解决民营经济发展重大问题,协调支持民营经济提升国际竞争力。
TOP6热点:逆水寒破解版在外网热议,国服玩家太惨被老外同情1819岁macbookpro
<span>吴谦强调,沟通不能没有原则,对话不能没有底线。美方指望一边损害中国的国家利益,一边与中国军队若无其事地开展交流,这完全是痴心妄想。中国有句古话:解铃还须系铃人。我们要求美方切切实实拿出诚意、采取具体行动,与中方相向而行,为两军关系重回正轨创造条件。</span>
新疆和平解放后,甘祖昌在一次外出检查工作时,因为敌特分子截断了木桥,他乘坐的吉普车从桥上栽下,导致头部重伤,落下病根。同时,他还患有严重的肺气肿和气管炎。
TOP7热点:一分彩票官方app
天山第一小学课程教学部主任庄佳叶:小学暑假作业类型是非常多样的,除了常规的书面形式外,还有许多体验实践类作业。少量的书面作业,若没有完成,老师不会批评或处罚,而是主动关心,加强家校沟通,若孩子存在困难会及时进行个别化的指导。
7月14日,王毅在雅加达应约同克莱弗利简短交谈。在这次交谈中,克莱弗利表示期待同中方保持高层交往和战略沟通,为双边关系增添积极因素。
TOP8热点:cgg吃瓜黑料
外界期待新一轮房票的发放在当下可以起到类似的效果。日前,在网络上流传的《广州市城中村改造房票安置实施办法(建议稿)》(下称“建议稿”)中已经具体描述了“房票安置”的细节,这份建议稿随后也被证实。
8月28日,弥勒市发布2023年城市建成区病媒生物消杀通告。通告中称,8月29日至9月15日,在全市建成区30.7平方公里范围内,组织开展“病媒生物”消杀工作。
TOP9热点:怎么把眼睛画高级国产麻豆
目前,多位专家认为房地产政策底已经形成。严跃进提出,从广州、深圳的政策来看并没有进行市区、郊区等差异化的分类,其政策表述与住建部原文一致,“这表明实际上认房不认贷政策在执行中具有非常清晰的导向,即无论是市中心还是郊区都适用,这将影响整个城市的房地产市场。”
1—7月份,房地产开发企业房屋施工面积799682万平方米,同比下降6.8%。房屋新开工面积56969万平方米,下降24.5%。其中,住宅新开工面积41546万平方米,下降25%。
TOP10热点:如何证明你的超能力11gogo全球高清
中国天气网气象分析师张娟表示,从目前的卫星云图上看,“海葵”中心区域已有所松散,但整体螺旋云系结构还是比较完整,将持续影响福建、广东一带。