How I use LLMs | Andrej Karpathy's Practical Guide to Models, Tools, and Multimodality

核心要点： Karpathy 不把 ChatGPT 描述为数据库或搜索引擎，而把它看成一个经过两阶段训练的概率生成器；这一心智模型是后续所有工具选择的起点。

• 预训练是有损压缩。 互联网文本被切成 token，模型通过预测下一个 token 学到世界知识；大约 1 万亿参数可以类比为一个约 1TB 的压缩包，但它不可能逐字保存互联网，只保留“整体形态和感觉”。
• 成本决定知识截止。 他以当时的 GPT-4o 为例，指出一次预训练可能持续约 3 个月、花费数千万美元，因此不可能持续刷新；知识截止日期不是一个产品瑕疵，而是训练经济性的结果。
• 后训练给压缩包“贴上笑脸”。 模型在预训练阶段学会生成互联网文本，随后通过人类构造的对话数据学习助手人格、回答方式与风格。知识主要来自预训练，助手行为主要来自后训练。
• 默认模型没有外部工具。 单独的模型参数里没有浏览器、计算器、Python 或实时数据库；它只接收 token，再预测 token。界面中出现的搜索、代码执行和文件读取，都是应用层额外接入的能力。
• 常见、稳定、低风险知识更适合直接问。 他用“1 shot Americano 大约含多少咖啡因”举例：这类信息长期稳定、网上出现频繁，模型更可能记得；但仍建议回到原始来源核实。
• 药物例子强调风险分层。 他问 DayQuil / NyQuil 是否有助于缓解流鼻涕，又亲自检查包装成分。模型可以帮助理解常见信息，但药物成分仍需对照实物，且不能把一次答对等同于可靠医疗判断。

“You're talking to a zip file.”（你是在和一个压缩包对话。）——Andrej Karpathy

核心要点： 对话中用户、模型和工具共同写入一条 token 序列；模型能直接访问的只是这条序列，因此上下文管理本质上是注意力与计算预算管理。

• 点击 New Chat 会清空工作记忆。 每一次用户输入、模型回答和工具结果都被追加到同一个一维 token 流；开启新对话则把这条流重置。
• 无关历史会造成注意力污染。 当对话已经混入大量旧话题，模型需要在更长序列中判断哪些信息重要，可能被早期内容干扰，准确率反而下降。
• 长上下文也有计算代价。 上下文越长，生成下一个 token 所需计算越多，响应会略慢、成本会略高；因此“把所有东西都留在一个对话里”不是免费保险。
• 切换主题时应开启新对话。 如果旧 token 对新任务没有帮助，应主动清理；如果任务确实依赖前文，则保留与当前判断直接相关的材料。
• 文件上传是有目的地扩充上下文。 搜索结果、PDF、书籍章节和业务数据不是“让模型学会”新知识，而是把具体材料临时放入工作记忆，供本次回答引用。
• 上下文质量高于上下文长度。 真正需要优化的不是“塞更多”，而是让与任务有关的证据进入、让无关历史退出。

“Think of the tokens in the context window as a precious resource.”（把上下文窗口中的 token 当作宝贵资源。）——Andrej Karpathy

核心要点： Karpathy 把模型选择视为使用者的基本责任：免费档可能路由到小模型，同一厂商也同时提供普通模型与推理模型；不确认实际调用对象，就无法判断答案上限。

• 小模型的代价通常是知识量、创造力和稳定性。 他以当时 ChatGPT 免费、Plus、Pro 三档为例说明：界面看似相同，背后的参数规模和限额可能不同；免费用户甚至未必清楚系统实际分配了哪个模型。
• 2025 年演示价格只是历史快照。 当时 Plus 约 20 美元/月、GPT-4o 限额为每 3 小时 80 条；Pro 约 200 美元/月并提供更强推理能力。Karpathy 明确提醒各家套餐频繁变化，不能把演示数字当成长期配置。
• 他同时订阅多家服务，形成“LLM Council”。 旅行目的地等开放问题会同时询问 ChatGPT、Claude、Gemini 和 Grok，再比较不同模型的建议；这是一种交叉参照，不是投票决定事实。
• 推理模型通过强化学习学会试探、回溯和检查假设。 这类模型生成更多内部推理 token，通常更慢，但在数学、代码和逻辑问题上可能提高准确率。
• 梯度检查案例展示了推理的边际价值。 GPT-4o 普通模式只给出泛化调试建议；OpenAI o1 Pro 思考约 1 分钟后发现参数打包与解包顺序不一致。Claude 3.5 Sonnet、Gemini、Grok 3 和 DeepSeek R1 在他的测试中也能找到问题，说明“是否推理模型”不是唯一决定因素。
• 默认策略是先快后慢。 旅行建议或简单写作无需等待数分钟；先用普通模型，若答案不够好、任务又确实需要多步推理，再切换思考模式。

“I usually try out the non-thinking models because their responses are really fast.”（我通常先试非推理模型，因为响应很快。）——Andrej Karpathy

核心要点： 搜索和深度研究不是同一种能力：前者把若干网页带回上下文并回答明确问题；后者把多轮检索、阅读和推理串起来，形成带引用的长报告。

• 实时信息必须从参数外获取。 《白莲花度假村》第三季下一集何时上线，属于训练后才出现的信息；模型若不搜索，几乎没有可靠依据。
• 搜索工具的机制是“暂停生成—执行查询—写回上下文—继续回答”。 应用识别模型发出的工具调用，抓取网页文本并加入 token 流，随后模型依据新材料生成答案。
• 不同产品、甚至同一产品的不同模型，工具接入并不一致。 录制时 ChatGPT 和 Perplexity 能搜索，Claude 没有实时搜索；Gemini 2.0 Flash 有来源链接，而 Gemini 2.0 Pro Experimental 当时缺少实时信息。这些均是 2025 年状态。
• Karpathy 的检索触发条件有两类：新近或冷门。 市场今天是否开盘、Apple 明日发布会传闻、Palantir 股价为何上涨、某剧拍摄地、Vercel 是否提供 PostgreSQL，都属于不应只靠参数记忆的问题。
• 深度研究把搜索与长时间推理结合。 他让 ChatGPT 调研 Brian Johnson 长寿配方中的 Ca-AKG，包括人体/动物证据、作用机制和毒性；系统运行约 5 分钟、查看 27 个来源并形成报告。
• 同题比较中，他当时更偏好 ChatGPT 的完整度。 Perplexity 和 Grok 也有 Deep Research / Deep Search，但在这次体验中报告更短、细节更少；这是个人样本，不是稳定基准。
• 研究结果仍可能误读、遗漏和编造。 他要求列出美国主要 LLM 实验室时，结果漏掉 xAI，却纳入 Hugging Face 和 EleutherAI；因此应把报告当“来源导航 + 第一稿”，不是最终事实库。

“Treat this as your first draft. Treat this as papers to look at.”（把它当作第一稿，把它当作下一步要看的论文清单。）——Andrej Karpathy

核心要点： 文件上传把“模型大概知道某主题”升级为“模型能够引用眼前这份材料”；Karpathy 最看重的不是一键摘要，而是边读边问、降低跨领域阅读门槛。

• Evo 2 论文案例说明文件不等于完整多模态理解。 他上传约 30MB 的 PDF，让 Claude / ChatGPT 总结基因组基础模型；同时提醒应用可能主要抽取文字，图表与版式未必被同等理解。
• 好的起点是先要一份结构摘要。 摘要帮助建立章节地图，之后再围绕具体段落追问，而不是用摘要替代阅读。
• 他很少再“独自读书”。 阅读 Adam Smith 1776 年《国富论》时，先从 Project Gutenberg 复制当前章节，再让 Claude 总结并解释语言、论证和历史背景。
• LLM 对陌生领域和古典文本的帮助更明显。 生物学论文、莎士比亚或 18 世纪英文容易让非专业读者在入口处受阻；随读随问能提高理解、记忆和继续阅读的勇气。
• 现有工作流仍然笨拙。 他需要在网页、书籍与聊天应用之间复制粘贴；理想产品应允许读者直接高亮段落并提问，而不是反复搬运内容。
• 资料必须进入当前上下文。 模型可能“知道《国富论》”，但不会精确记住正在阅读的章节；把原文贴入对话，才能让回答锚定具体段落。

“Don't read books alone.”（不要再独自读书。）——Andrej Karpathy

核心要点： 精确计算、绘图和数据分析不应依赖语言模型在参数中“心算”；工具调用能显著提高可靠性，但模型生成的程序也会夹带假设、变量错误和解释幻觉。

• 简单乘法可由模型直接生成答案，复杂乘法应交给解释器。 ChatGPT 会识别超出心算能力的问题，生成 Python 代码、等待执行结果，再把结果转成自然语言。
• 没有解释器时，模型可能给出“非常接近但错误”的数字。 Karpathy 展示 Grok 3 和 Gemini 在大整数乘法上直接作答，结果看似可信却不正确；Claude 当时改用 JavaScript 得到正确结果。
• Advanced Data Analysis 可以像初级数据分析师一样工作。 他让 ChatGPT 搜索 OpenAI 历年估值、生成表格、用对数轴绘图、拟合趋势并外推到 2030 年。
• 第一个隐患是静默补值。 2015 年估值原本未知，模型却在代码中擅自填入 0.1（十亿美元），等于假设 1 亿美元，且没有先征求用户同意。
• 第二个隐患是解释与变量不一致。 图表中的趋势意味着 2030 年约 20 万亿美元，模型却在文字中报告 1.7 万亿美元；Karpathy 要求直接打印变量后才暴露错误。
• 使用门槛不是会不会点按钮，而是能否审查过程。 如果用户无法阅读代码、检查单位和理解拟合假设，就很难发现这些“看起来专业”的错误。
• 最佳定位是能力很强但会走神的初级分析师。 可以快速产出图表和原型，但需要负责人检查数据、缺失值、公式、单位、结果解释和可重复性。

“A lot of promise, but be careful.”（很有潜力，但要小心。）——Andrej Karpathy

核心要点： Artifacts 面向浏览器内的轻量应用和图表，Cursor 面向真实代码库；共同变化是自然语言开始直接驱动可执行软件，而不只是生成代码片段。

• Artifacts 案例从 20 张 Adam Smith 闪卡开始。 Claude 先从文本生成问答，再写 React 应用，让用户翻卡、标记对错、重置和随机排序；这是为一次具体需求即时生成的本地应用。
• 这类应用不等同于完整互联网产品。 它通常没有数据库、账户和复杂后端，更适合计时器、小游戏、可视化和一次性工具。
• Karpathy 最常用 Artifacts 生成概念图。 让 Claude 读取《国富论》章节并输出 Mermaid，把“市场范围—劳动分工—专业化—水路运输—早期文明”组织成空间结构，辅助理解与记忆。
• 专业编程需要代码库级上下文。 直接在网页聊天框复制粘贴片段太慢；Cursor 能看到本地文件、跨文件修改、运行命令，并通过 Anthropic API 调用 Claude。
• 井字棋现场展示了 agent 化编辑。 他只写几句话就创建 React 项目，随后要求胜利时出现彩纸；Composer 安装 react-confetti、改 TypeScript 与 CSS，又尝试下载胜利音效。
• 现场也暴露了代理的边界。 Karpathy 不知道音频 URL 从哪里来，需要在执行命令前显式确认；即使最终效果成功，也不等于依赖来源和代码质量自动合格。
• “Vibe coding”在这里指把低层实现交给 Composer。 用户描述目标并观察结果，必要时仍可回退到传统编程、检查文件和手工调试；它是新的控制方式，不是取消工程责任。

“Worst comes to worst, you can always fall back to the good old programming.”（最坏情况下，仍然可以回到传统编程。）——Andrej Karpathy

核心要点： Karpathy 把语音分成“伪语音”和“真语音”：前者只是输入端语音转文字、输出端文字转语音；后者让模型直接理解和生成音频，因此能处理语速、语气和声音风格。

• 语音输入显著降低交互摩擦。 他估计自己约 50% 的桌面查询使用语音，在手机上约 80%；桌面通过 SuperWhisper 的 F5 快捷键把口述转成文本。
• 产品名和库名仍适合手打。 专有名词容易转录错误，因此他会根据内容在口述与键盘之间切换，而不是把语音当作绝对替代。
• 传统“读给我听”不代表模型听见了声音。 Speech-to-Text 和 Text-to-Speech 只是前后处理，中间的语言模型仍只接触文字 token。
• Advanced Voice 属于原生音频。 声音被编码为音频 token，模型直接预测音频 token；这使其能够模仿 Yoda、海盗式语气，改变语速并进行更自然的打断式对话。
• 现场演示同时暴露安全策略的不一致。 模型能发出牛叫，却拒绝模仿狐狸声音；Karpathy 认为当时 ChatGPT Advanced Voice 过度谨慎、经常拒绝。
• Grok 的多种语音模式更偏娱乐。 他演示 Romantic、Unhinged、Conspiracy 和 Sexy 等模式，说明不同产品在风格与安全边界上差异很大；这不是能力高低的单一排序。
• 所有套餐描述都高度时效。 他录制时刚看到 Advanced Voice 向免费用户开放的消息，自己也立即承认原先关于付费层级的说法可能已经过时。

“Don't type stuff out. Use voice.”（别把所有内容都打出来，用语音。）——Andrej Karpathy

核心要点： 多模态的共同机制是把不同媒介编码成 token；对用户而言，关键不是底层表示，而是先确认模型看见了什么，再基于确认后的内容提问。

• NotebookLM 能把任意资料生成约 30 分钟播客。 他上传 Evo 2 论文，生成双主持人式 Deep Dive；适合散步或开车时了解没有真人播客覆盖的冷门主题。
• 他还把若干兴趣主题生成《Histories of Mysteries》并上传 Spotify。 这说明生成式播客的价值在“按需覆盖长尾”，而不只是模仿现有节目。
• 图像输入的第一步应是 OCR 与确认。 看营养标签时，他先让 ChatGPT 转录成表格，确认数值无误后，再要求按用途和安全性分组；这能把“看错字”与“解释错”分开。
• 体检报告适合辅助理解，不适合替代医生。 他分批上传约 20 页血液检查截图，核对转录后让模型解释指标，并把结果作为与医生沟通的准备材料。
• 配料表案例展示了反向拆解。 对 Colgate 牙膏，他让模型区分核心功能成分与颜色、口感等非必要成分；这类分析仍需验证毒理和监管语境，不能仅凭模型排序下结论。
• 视觉理解也可用于低风险场景。 模型能解释“多只乌鸦叫 murder，一只靠近另一只叫 attempted murder”的双关梗，说明 OCR、常识与语言解释可以组合。
• 移动端视频功能让用户边拍边问。 他让模型识别《成吉思汗与现代世界的形成》《别闹了，费曼先生》、Aranet4 二氧化碳监测仪和中土世界地图；当时底层可能仍是每秒抽取图像，而非完整连续视频理解。
• 图像和视频生成已成为独立工具生态。 DALL-E 3、Ideogram、Veo 2 等各有风格；Karpathy 自己主要用来制作 YouTube 缩略图和图标，并没有把生成视频作为核心工作流。

核心要点： 这些功能解决的不是“模型更聪明”，而是减少重复说明：Memory 保存关于用户的短文本，Custom Instructions 设置全局交流方式，Custom GPTs 固化可复用任务模板。

• Memory 是独立于单次对话的用户数据库。 Karpathy 让 ChatGPT 记住自己认为 1990 年代末至 2000 年代初是好莱坞高峰；这条摘要会被追加到未来对话，改善电影推荐的个性化。
• 记忆可能自动触发，也可以显式要求。 用户可查看、编辑和删除记忆；他拒绝在视频中展示完整记忆，因为内容已经“有点太私人”，这也提醒用户定期审查持久信息。
• Custom Instructions 适合稳定沟通偏好。 他要求 ChatGPT 不要像“HR business partner”一样说话，要自然、解释充分、尽量有教育性；学习韩语时还指定默认敬语层级。
• Custom GPT 的核心仍是提示词复用。 它不是重新训练模型，而是保存一段长期指令，让每次变化的只是输入内容。
• 韩语词汇提取器使用 few-shot prompting。 输入一句韩语，输出“韩语词条；英文释义”，便于导入 Anki；他不仅描述规则，还给出四个具体例子以提高稳定性。
• 详细翻译器比普通机器翻译多一层结构解释。 先翻整句，再拆词、助词和语气；用户可针对任意部分追问，适合学习者理解句子如何组成，而不只是获得一个目标句。
• 截图翻译器把 OCR、翻译和拆解串成固定流程。 看《单身即地狱》时，截取烧在画面里的韩语字幕，Custom GPT 先识别文字，再翻译和讲解；这是多模态与工作流模板的结合。
• 少样本示例优于只写抽象规则。 Karpathy 用 XML 风格标签标记输入与期望输出，强调人教人也常靠示范；稳定任务应把高质量示例放进配置，而不是每次重新解释。

“If there is a certain prompt that you keep reusing, ... create a custom GPT.”（如果某个提示词不断重复使用，就把它做成 Custom GPT。）——Andrej Karpathy

核心要点： LLM 应用生态像一个快速变化的“动物园”；最可靠的策略是知道每个应用当前擅长什么、缺少什么，并持续做小规模验证。

• ChatGPT 是当时功能最全的默认入口。 它覆盖搜索、Python、数据分析、语音、图像、Memory 和 Custom GPTs，但并非每项都最强。
• Perplexity 仍是他的搜索习惯入口。 即使 ChatGPT 已加入搜索，他仍偏好长期专注搜索体验的 Perplexity。
• Claude Artifacts 适合浏览器内原型和图表。 编程专业工作则转向能读取本地代码库的 Cursor / Composer。
• Advanced Voice 适合自然对话，Grok 适合更少审查的娱乐体验。 产品差异包含交互风格和安全边界，不能只用单一 benchmark 解释。
• 选择模型时要同时看参数能力、推理模式、工具接入和终端形态。 某项功能可能只在网页、手机或特定套餐出现；同一家产品的不同模型也可能接入不同工具。
• “先试、再升级、再核验”是低成本默认流程。 先用普通模型；不够时切推理；新信息接搜索；复杂资料上深度研究；计算交给代码；最终回看来源与中间过程。
• 讲座真正传达的是实践地图，而非静态排行榜。 具体型号和价格很快过时，但“参数记忆—上下文—工具—多模态—持久配置”这套分层仍能帮助用户理解任何新产品。

## 来源说明

• 用户提交视频：https://www.youtube.com/watch?v=7YEHs2SMaVQ
• Andrej Karpathy 官方原视频：https://www.youtube.com/watch?v=EWvNQjAaOHw
• 官方原视频公开全文转录：https://www.youtubetranscript.dev/charts/every-andrej-karpathy-video/EWvNQjAaOHw/how-i-use-llms

本纪要按转载视频实际覆盖范围整理。产品功能、型号、价格和配额均以原视频 2025 年 2 月录制时为准；对转载标题和简介的来源校正不等于对讲者观点的改写。