Horizon · 2026-08-24
每日速递
每日速递 - 2026-08-24
从 41 条内容中筛选出 14 条重要资讯。
- 黑客逆向工程固件以掌控所有设备 ⭐️ 8.0/10
- 低延迟 AI 伴侣与开发者共玩《天际》 ⭐️ 8.0/10
- PrimeAgentOrchestrator:为个人 AI 基础设施提供记忆预载的智能体生成系统 ⭐️ 8.0/10
- 新基准显示:治疗机器人无法理解阿尔法世代的语言 ⭐️ 8.0/10
- RISE:面向世界动作模型的自适应想象框架 ⭐️ 8.0/10
- 用于评估大语言模型策略深度的层级 k 可区分博弈 ⭐️ 8.0/10
- FDA 批准首个基于 p-tau217 的阿尔茨海默病血液检测 ⭐️ 7.0/10
- Anthropic 顶级 AI 模型遇冷,廉价竞品抢占市场 ⭐️ 7.0/10
- 高级工程师分享寻找有影响力问题的方法 ⭐️ 7.0/10
- a16z 的 AI 投资被批评为黯淡的未来 ⭐️ 7.0/10
- 将可执行文件作为 SQLite 数据库:一种新颖的打包思路 ⭐️ 7.0/10
- 欧盟维修新规生效,引发软件与经济可行性讨论 ⭐️ 7.0/10
- Fable 的高成本终结了 AI 编程的免费午餐 ⭐️ 7.0/10
- 保罗·格雷厄姆建议 17 岁年轻人从头构建 LLM ⭐️ 6.0/10
黑客逆向工程固件以掌控所有设备 ⭐️ 8.0/10
一名黑客详细介绍了他们对所有设备进行逆向工程和修补固件的历程,从华硕 ROG Swift PG42UQ 显示器开始,以移除烦人的像素清洁弹窗。该项目旨在完全掌控其拥有的每一台设备。 这凸显了用户追求完全拥有其硬件、挑战制造商限制的日益增长的趋势。它强调了在物联网时代固件透明度和用户权利的重要性。 作者逆向工程了显示器的固件以修补掉弹窗,并计划将类似技术应用于其他设备。文章包含固件提取和修补的技术细节,并提到欧洲 RED 指令要求联网设备进行安全升级。
hackernews · schlarpc · 8月23日 22:41 · 社区讨论
背景: 固件逆向工程涉及获取设备固件的副本,分析其结构和逻辑,并修改以改变其行为。此过程常用于安全研究、定制或绕过限制。欧洲 RED 指令(EN 18031-1)现在要求联网设备进行安全固件更新,这可能会阻碍此类黑客行为。
参考链接:
- Firmware reverse engineering: A step-by-step guide | Infosec
- Workshop: Firmware Reverse Engineering - GitHub
- Reverse Engineering IoT Firmware: Where to Start - Apriorit
社区讨论: 评论者分享了他们自己的逆向工程项目,如修补 Silicon Motion GPU 驱动程序和复活翻盖点阵面板。一些人指出了欧洲 RED 指令带来的法律和技术挑战,而另一些人则对 DIY 拥有精神表示热情。
标签: #firmware, #reverse-engineering, #hardware-hacking, #DIY, #ownership
低延迟 AI 伴侣与开发者共玩《天际》 ⭐️ 8.0/10
一位开发者构建了 Varkos,一个低延迟 AI 伴侣,能与他一起玩《天际》,利用嵌入和结构化分解来理解自然语言指令。该系统在 Windows 上运行游戏,而 AI 大脑则在 M4 MacBook 上运行,实现了令人印象深刻的响应速度。 该项目展示了 AI 与游戏的新颖整合,证明了低延迟架构如何实现实时互动伴侣。它可能激发未来的游戏设计,使 AI 伴侣成为核心功能,并可能扩展到配备专用 AI 硬件的游戏机。 该 AI 利用全文和提取结构的嵌入来实现对措辞的不变性,并将复杂命令分解为更简单的步骤。开发者指出,该系统可以在配备约 12GB GPU 内存的 Windows 上完全运行,但 ALE 模型并未开源。
hackernews · pantelisk · 8月23日 23:18 · 社区讨论
背景: 游戏中的 AI 伴侣通常依赖脚本化响应或基于云的 LLM,这会引入延迟。该项目使用本地嵌入和结构化分解来降低延迟,实现实时交互。该方法借鉴了自然语言分解和基于嵌入的理解研究,使其能够在消费级硬件上运行。
参考链接:
- I Built an AI Companion That Actually Plays With You
- [2305.08677] Natural Language Decomposition and … - arXiv.org Natural Language Decomposition and Interpretation of Complex … Natural Language Decomposition and Interpretation of Complex … [2305.08677] Natural Language Decomposition and … Natural Language Decomposition and Interpretation of Complex … GitHub - albsadowski/structured-decomposition
- Natural Language Decomposition and Interpretation of Complex …
社区讨论: 评论者称赞该项目的完善度和低延迟,有人指出通过 AI 中心化硬件在主机游戏上的潜力。另一些人则对工程表示赞赏,但遗憾未开源。还有人推测,像 GPT-Live 这样的新模型可能会完全消除对 ALE 模型的需求。
标签: #AI, #gaming, #low-latency, #embeddings, #natural language processing
PrimeAgentOrchestrator:为个人 AI 基础设施提供记忆预载的智能体生成系统 ⭐️ 8.0/10
PrimeAgentOrchestrator(PAO)是一个新系统,它生成预载了个人数据库中相关记忆的 Claude Code 实例,解决了 LLM 编码智能体的空上下文窗口问题。它并行查询两个记忆后端,并通过文件系统注入编译好的简报,并提供了 2025 年 12 月至 2026 年 3 月的四个月部署经验报告。 这解决了 LLM 编码智能体的一个重大限制——会话之间累积知识的丢失——这可以提高开发者的连续性和效率。该系统的实际部署和详细的工程权衡为在 AI 辅助软件工程中构建持久记忆基础设施提供了宝贵的见解。 PAO 并行查询 PostgreSQL 实体-观察数据库和 Cloudflare Worker 语义搜索索引,并使用后端特定的检索策略融合结果。它管理完整的智能体生命周期,包括信任预置、带错误检测的就绪轮询和自适应终端文本注入,并记录了三种上下文传递机制及其失败模式。
rss · arXiv cs.MA · 8月24日 04:00
背景: 像 Claude Code 这样的 LLM 编码智能体在每次会话开始时都有一个空的上下文窗口,丢弃了先前的知识。PAO 利用宿主智能体的配置自动读取行为,通过文件系统注入简报,并使用异构记忆系统而非统一系统,突出了桥接它们的权衡。
参考链接:
- Claude Code by Anthropic | AI Coding Agent , Terminal , IDE
- Claude Code Tutorial: Setup and Refactoring in Practice | DataCamp
- Workers binding · Cloudflare AI Search docs
标签: #LLM agents, #memory systems, #AI infrastructure, #Claude Code, #retrieval
新基准显示:治疗机器人无法理解阿尔法世代的语言 ⭐️ 8.0/10
本文提出了两个基准来评估治疗聊天机器人在阿尔法世代中的安全性,揭示了 Claude、GPT-4o 和 Llama-3.1 等 LLM 在词汇理解和临床风险校准之间存在 10-14 个百分点的差距。 鉴于 13.1%的美国青少年使用生成式 AI 获取心理健康建议,且多起死亡事件与聊天机器人互动相关,这项研究凸显了一个可能导致危机被忽视的关键安全漏洞。它强调了针对面向青少年的心理健康 AI,必须实施人工监督和监管框架。 基准包括 64 条由母语者(ICC=0.72)和临床医生(kappa=0.78)验证的阿尔法世代心理健康表达,以及 75 个多轮对话(780 轮),配有标准/阿尔法世代配对版本。差距随模糊性增加而扩大(从 7 个百分点到 18 个百分点),并识别出六种失败模式,包括讽刺掩盖(29 个百分点)和最小化接受(43 个百分点)。
rss · arXiv cs.CL · 8月24日 04:00
背景: 阿尔法世代(2010-2024 年出生)使用的语言具有夸张表达、讽刺性积极、快速语义漂移和上下文多义性等特点。基于 LLM 的聊天机器人虽然接受了心理学文献的训练,但可能无法正确解读这些模式,导致临床风险校准错误。本文针对这一人群提出了专门的安全基准需求。
参考链接:
- Opinion | Teens Are Using Chatbots as Therapists . That’s Alarming.
- Understanding Generation Alpha - McCrindle
- A scoping review on the mental health harms of LLM - based chatbots…
标签: #AI safety, #mental health, #chatbots, #LLM evaluation, #Generation Alpha
RISE:面向世界动作模型的自适应想象框架 ⭐️ 8.0/10
该论文提出了 RISE(通过选择性展开来优化想象),这是一个面向世界动作模型(WAMs)的系统级自适应想象框架,根据预期的规划收益做出顺序的展开/停止决策。它还构建了 CounterDrive,一个包含多样结果和风险水平的反事实数据集,以丰富未来动态并提供局部风险监督。 这项工作解决了 WAMs 中固定计算预算的关键限制,可能提高自动驾驶中的规划性能和效率。反事实数据集和选择性展开机制可能影响未来世界建模和自适应计算的研究。 RISE 使用潜在评估器来估计风险和潜在的规划改进,并使用展开门控来权衡预期收益与计算成本。在 NAVSIM 和 nuScenes 上的实验表明,RISE 在减少不必要展开的同时实现了最佳的整体规划性能,迁移结果支持其在 WAM 架构上的即插即用通用性。
rss · arXiv cs.CV · 8月24日 04:00
背景: 世界动作模型(WAMs)通过将未来世界演化纳入动作生成来改进规划,但现有方法对每个场景分配固定的想象预算。反事实推理和自适应计算是自动驾驶和神经网络领域的新兴趋势,旨在通过根据输入复杂性调整计算来使模型更高效、更类人。
参考链接:
- Metis: A Generalizable and Efficient World-Action Model for …
- A Survey of World Models for Autonomous Driving - arXiv.org
- [2405.01533] OmniDrive: A Holistic Vision-Language Dataset … OmniDrive: A Holistic Vision-Language Dataset for Autonomous … OmniDrive: A Holistic Vision-Language Dataset for Autonomous … OmniDrive: A Holistic Vision-Language Dataset for Autonomous … CF-VLA: Counterfactual VLA nuReasoning
标签: #World Action Models, #Autonomous Driving, #Adaptive Computation, #Counterfactual Reasoning, #Planning
用于评估大语言模型策略深度的层级 k 可区分博弈 ⭐️ 8.0/10
本文提出了一个正式的层级 k 可区分条件,并构建了一系列新颖的博弈结构,用于评估大语言模型(LLM)的有限理性与策略深度。在四个 LLM、四种博弈结构和十个迭代推理层级的实验中,模型在递归推理下保持准确的策略深度,并展现出推理与行动之间的强内部一致性。 这项工作通过区分真正的策略推理与对经典博弈的记忆,填补了 LLM 评估中的一个关键空白。它为评估策略深度提供了更可靠的方法,这对于在交互和竞争环境中部署 LLM 至关重要。 研究发现,LLM 策略推理中的错误源于使用了错误的迭代推理步数,而非最佳响应的计算错误。从对手对局数据进行归纳推理会显著且不均衡地降低准确性,而在思维链中显式进行策略心智化则大幅提升性能。
rss · arXiv cs.MA · 8月24日 04:00
背景: 层级 k 推理是一种博弈论框架,其中玩家根据他们认为对手使用的推理步数来选择策略;0 级玩家随机行动,更高级别则对低级别做出最佳响应。有限理性修正了完全理性,以考虑计算限制和认知偏差。现有的 LLM 评估通常依赖预训练数据中的经典博弈,难以区分记忆与真正的策略推理。
参考链接:
- Cognitive hierarchy theory - Wikipedia
- Bounded rationality - Wikipedia
- LLM as a Mastermind: A Survey of Strategic Reasoning with …
标签: #LLM, #strategic reasoning, #bounded rationality, #evaluation, #game theory
FDA 批准首个基于 p-tau217 的阿尔茨海默病血液检测 ⭐️ 7.0/10
美国 FDA 已批准 PrecivityAD2,这是首个基于 p-tau217 生物标志物的阿尔茨海默病血液检测,适用于 40 岁及以上有认知症状的成年人。该检测预计将于今年晚些时候上市。 此次批准标志着阿尔茨海默病诊断领域的重大进步,与传统方法(如 PET 扫描或腰椎穿刺)相比,可能实现更早期、创伤更小的检测。这可能改善临床实践并加速研究,但其高昂的成本可能限制广泛筛查。 PrecivityAD2 的定价约为 1400-1500 美元,远高于其他 p-tau217 检测(约 200-300 美元)。该检测被批准用于辅助评估,而非独立诊断,其效用可能更适合已确诊疾病的患者,而非一般筛查。
hackernews · dabinat · 8月24日 06:30 · 社区讨论
背景: 阿尔茨海默病以大脑中淀粉样斑块和 tau 蛋白缠结的积累为特征。P-tau217 是一种磷酸化 tau 蛋白片段,出现在血液中,是阿尔茨海默病病理的有前景的生物标志物。传统诊断依赖于认知测试、PET 成像或脑脊液分析,这些方法成本高或有创。基于血液的生物标志物提供了一种创伤更小、更易获得的替代方案,FDA 对 PrecivityAD2 的批准是向更广泛临床应用迈出的一步。
参考链接:
- FDA clears blood test to aid evaluation for Alzheimer ’ s disease …
- FDA Clears First-of-Its-Kind Alzheimer Blood Test for Adults With…
- P - tau 217 as a Reliable Blood-Based Marker of Alzheimer ’ s Disease …
社区讨论: 社区评论既看到了希望,也提出了担忧。一位用户指出,虽然 p-tau217 检测通常价格合理,但 PrecivityAD2 的高昂价格可能限制其用于已确诊疾病。另一位用户质疑,对于检测呈阳性的人,是否存在有效的预防或缓解策略,强调需要科学证实的干预措施,而非推测性的方案。
标签: #Alzheimer's, #biomarker, #FDA, #medical technology, #blood test
Anthropic 顶级 AI 模型遇冷,廉价竞品抢占市场 ⭐️ 7.0/10
尽管技术实力强大,Anthropic 最先进的 AI 模型却面临用户采用率低的问题,因为消费者和企业越来越倾向于选择更便宜的替代品。该公司的定价策略,包括高成本套餐和基于 token 的计费方式,被批评为令人困惑且令人反感。 这一趋势凸显了市场的关键转变,即可负担性和易用性正变得与模型原始能力同等重要。如果 Anthropic 不能调整其变现策略,它可能会面临市场份额被 OpenAI 等提供更亲民定价的竞争对手夺走的风险,从而影响其长期收入和 AI 行业影响力。 社区评论揭示了具体的不满:用户提到令人困惑的套餐变更(例如’Fable’在不同套餐间的可用性变化)、高昂的 token 成本以及限制性的使用上限(例如低于 50%的使用限制)。一些用户还对数据隐私表示不信任,引用了 Anthropic 激进的数据收集行为。此外,有猜测认为新模型如’Opus 5’可能被故意削弱,以推动用户升级到更高档次的套餐。
hackernews · naves · 8月23日 18:16 · 社区讨论
背景: Anthropic 是一家领先的人工智能公司,以其 Claude 模型系列而闻名,与 OpenAI 的 GPT 系列竞争。该公司专注于安全性和先进能力,但其定价模式已演变为包含分层套餐和基于 token 的计费,这对消费者来说可能较为复杂。AI 市场竞争激烈,许多参与者提供免费或低成本替代品,使得定价成为关键差异化因素。
社区讨论: 社区讨论对 Anthropic 的策略大多持批评态度。用户 a1371 认为 Anthropic 的变现方式过于实验性且令人困惑,疏远了消费者。bentt 表示 Anthropic 以过低价格提供了其最佳模型,现在正试图通过可能削弱新模型来收回收入。matheusmoreira 抱怨使用限制严格和安全锁定问题,而 foxylad 则对与 AI 公司共享敏感数据提出隐私担忧。总体而言,情绪负面,许多用户更倾向于 OpenAI 更直接的定价和使用政策。
标签: #AI, #Anthropic, #pricing, #market trends, #LLM
高级工程师分享寻找有影响力问题的方法 ⭐️ 7.0/10
一位高级工程师发表了一篇博客文章,详细介绍了识别有影响力问题的实用策略,强调上下文和自下而上自主权的重要性。文章还指出,在自上而下的组织环境中,这些方法可能不适用。 这篇文章解决了高级工程师面临的一个常见挑战:如何选择要解决的问题。它引发了关于科技公司中自主权与自上而下控制之间平衡的讨论,这对职业发展和工程文化具有重要意义。 作者指出,他们的经验主要来自大型公司的基础设施和开发者工具领域,这些环境具有较高的自下而上自主权。文章建议,在更自上而下的环境中,应用这些策略的空间可能较小。
hackernews · vanpra · 8月23日 19:23 · 社区讨论
背景: 高级工程师是资深个人贡献者,他们被期望在直接团队之外产生广泛影响。问题发现是他们的关键技能,因为他们通常需要识别与公司目标一致的高杠杆问题。文章为此提供了一个框架,但承认组织环境起着重要作用。
社区讨论: 评论者表达了不同的观点:一些人质疑工程师现在是否拥有较少的自下而上自主权,而来自初创公司的其他人则表示他们面临大量问题,专注于优先级排序。一位评论者警告说,如果你需要问如何找到问题,你可能还没有准备好担任高级工程师角色。
标签: #career, #engineering-management, #problem-solving, #staff-engineer
a16z 的 AI 投资被批评为黯淡的未来 ⭐️ 7.0/10
Model Republic 上的一篇文章批评了 Andreessen Horowitz 的投资策略,认为其投资组合推动了一个黯淡的、由 AI 驱动的未来。这篇文章在 Hacker News 上引发了讨论,获得了 131 个积分和 27 条评论。 这一批评凸显了人们对主要风险投资公司资助的 AI 初创企业的伦理和社会影响的日益担忧。它可能影响公众对 AI 投资的看法和监管审查。 文章特别提到了一个“Doublespeed 电话农场”,在发送的 130 条私信中,有 15 条带来了转化,一位评论者认为这目光短浅。评论者还指出 a16z 对 NFT 和加密货币的推广,并质疑其投资组合中缺少 Flock,他们认为这家公司令人不安。
hackernews · reasonableklout · 8月24日 06:57 · 社区讨论
背景: Andreessen Horowitz(a16z)是一家知名的风险投资公司,以投资科技初创企业(包括 AI)而闻名。文章批评了该公司对 AI 驱动业务的关注,认为这可能导致负面结果。讨论反映了关于风险投资在塑造技术未来方面作用的更广泛辩论。
社区讨论: 评论者对 AI 驱动策略的有效性表示怀疑,其中一位指出这种新颖性可能会消退。其他人批评 a16z 更广泛的投资选择,包括 NFT 和加密货币,并质疑文章遗漏了 Flock。
标签: #venture capital, #AI, #ethics, #tech criticism, #startups
将可执行文件作为 SQLite 数据库:一种新颖的打包思路 ⭐️ 7.0/10
Farid Zakaria 的博客文章提出将可执行文件本身视为 SQLite 数据库,使文件既可运行又可查询。该概念还扩展到将程序及其传递依赖打包到单个 SQLite 文件中,形成一个闭包。 这一想法可能通过将代码和数据合并到一个可移植文件中,简化软件分发和数据管理。它为传统可执行格式提供了一种创造性替代方案,可能使需要自包含、可内省应用程序的开发者受益。 文章特别质疑 SQLite 能否取代 ELF 作为可执行格式,强调该文件不仅是描述可执行文件的数据库,而是实际可运行的文件。它还讨论了通过将动态库闭包到单个数据库文件中来处理它们。
hackernews · setheron · 8月24日 04:48 · 社区讨论
背景: SQLite 是一种广泛使用的嵌入式数据库引擎,将数据存储在单个跨平台文件中。传统的可执行格式如 ELF 包含机器代码和元数据,但不易查询。该提议利用 SQLite 存储任意数据并附带自定义模式的能力,可能以操作系统仍能运行的方式嵌入可执行代码。
参考链接:
- Your executable is a SQLite database | Farid Zakaria’s Blog
- SQLite As An Application File Format - SQLite … - TypeError
- Learn about SQLITE file format and APIs that can create and open…
社区讨论: 评论者认为这个想法富有创意且有趣,有人指出作者最近产出颇丰。还有人赞赏对动态库的处理,另有人指出标题略有改动。总体情绪积极,但并非强烈追捧。
标签: #SQLite, #executables, #innovation, #software engineering, #packaging
欧盟维修新规生效,引发软件与经济可行性讨论 ⭐️ 7.0/10
欧盟范围内的产品维修新规已生效,要求制造商维修某些产品,旨在促进增长和投资。这些规则属于指令(EU) 2024/1799 的一部分,于 2024 年 6 月通过,成员国须从 2026 年 7 月 31 日起实施。 该法规是维修权运动的重要一步,影响欧盟各地的消费者、制造商和科技行业。它可能减少电子垃圾并促进可持续性,但其经济可行性以及缺乏软件维修要求引发争议。 欧盟委员会估计,这些规则将在 15 年内带来 48 亿欧元的增长和投资,并额外节省 156 亿欧元的生产成本。然而,该指令并未强制要求软件更新或对旧设备的支持,在解决计划性淘汰方面存在空白。
hackernews · austinallegro · 8月24日 05:47 · 社区讨论
背景: 欧盟维修权指令(2024/1799)制定了共同规则,以促进破损或有缺陷商品的维修,惠及消费者和环境。它要求制造商维修某些产品,并赋予消费者要求维修的权利,但并未涵盖软件寿命问题,而随着设备因软件过时而变得过时,这一问题日益受到关注。
参考链接:
- Directive - EU - 2024/1799 - EN - EUR-Lex
- Directive on repair of goods - European Commission
- A fake Right to Repair - new EU smartphone rules set to overlook…
社区讨论: 评论对经济可行性表示怀疑,一位用户指出,在富裕的欧洲国家,熟练维修劳动力成本使维修不经济。另一位指出法规往往不够深入,举例一台 10 年前的 iPad Pro 因 Safari 过时而无法上网,并呼吁软件维修要求。总体情绪复杂,支持意图但批评其空白。
标签: #EU regulation, #right to repair, #consumer electronics, #sustainability, #software longevity
Fable 的高成本终结了 AI 编程的免费午餐 ⭐️ 7.0/10
Drew Breunig 认为,Anthropic 高成本的 Fable 模型的到来,标志着依赖快速模型改进来掩盖编码工作流低效的时代已经结束。开发者现在被迫慎重决定哪些任务值得使用昂贵的模型,而哪些可以使用 Opus 等更便宜的替代品。 这一转变标志着 AI 编程市场走向成熟,成本与性能的权衡成为核心,促使开发者优化其工具链和上下文策略。这可能导致更高效的工作流程,以及更可持续的 AI 辅助开发方式。 Fable 5 的定价为每百万输入 token 10 美元,每百万输出 token 50 美元,提示缓存可享受 90%的输入 token 折扣。Breunig 指出,尽管 Fable“令人难以置信”,但 Opus、5.6、K3 和 GLM 等模型对于大多数编码任务已经“足够好”,这促使人们更审慎地分配工作。
rss · Simon Willison · 8月23日 19:55
背景: 在 AI 辅助编程中,“编码工具链”指的是围绕模型的基础设施——上下文管理、工具集成和执行循环——以增强模型的效果。历史上,开发者可以依赖每一代新模型以相同或更低的价格提升性能,从而掩盖工具链的低效。Fable 的高价打破了这一模式,迫使开发者投资优化工作流程,而不是等待下一个模型来解决他们的问题。
参考链接:
- Claude Fable \ Anthropic
- Lessons from 40+ Coding Agent Harnesses : Context Is the Entire…
- What Is an AI Coding Harness and Why Are Developers… | BSWEN
标签: #AI, #LLM, #Anthropic, #Claude, #software engineering
保罗·格雷厄姆建议 17 岁年轻人从头构建 LLM ⭐️ 6.0/10
保罗·格雷厄姆在推特上表示,如果他 17 岁,他会学习从头构建 LLM,这引发了关于该建议对青少年实用性的讨论。 这一建议凸显了在基础层面理解 LLM 技术日益增长的重要性,可能影响年轻人对待 AI 教育和职业路径的方式。它也强调了理论知识与实际行业需求之间的差距。 这条推文简短且缺乏具体细节,但它与 Sebastian Raschka 的著作《从头构建大语言模型》以及 Andrej Karpathy 的教程等资源相符,这些资源为学习提供了可行的途径。然而,从头构建 LLM 通常需要大量的计算资源,这使得对大多数人来说不切实际。
hackernews · bilsbie · 8月23日 20:38 · 社区讨论
背景: 大型语言模型(LLM)是在大量文本数据上训练的机器学习模型,用于生成和理解类似人类的语言。从头构建一个 LLM 需要理解 Transformer 架构、分词、预训练和微调,这是一个复杂的过程,通常只有拥有大量资源的组织才能进行。Raschka 的书籍和 Karpathy 的视频等教育资源旨在使这些知识更容易获取。
参考链接:
- GitHub - rasbt/LLMs-from-scratch: Implement a ChatGPT-like … Building and Running LLMs Locally from Scratch – Complete … How to Build an LLM from Scratch with PyTorch: A TinyGPT Tutorial Build a (Tiny) LLM from Scratch - algo.monster Large Language Model (LLM) Tutorial - GeeksforGeeks
- A Guide to Building an LLM from Scratch - Symbl.ai
社区讨论: 评论褒贬不一:有人认为真正的 LLM 训练岗位稀缺,且该建议存在幸存者偏差;另一些人则捍卫出于求知欲的学习,并指出通过教程构建小型模型是可行的。少数人指出,学习新技术一直是科技界的传统,质疑这种负面态度。
标签: #LLM, #education, #machine learning, #advice