LLM 学习笔记——扩散模型学习 TODO
目前的深度学习笔记只覆盖了 RNN、LSTM 这种循环神经网络和 Transformer 模型， 还可以加上扩散模型部分，毕竟 Transformer 和扩散模型算是大模型领域最著名的两个基石了，前者是主流大语言模型的基础，后者则是主流图片和视频生成模型的基础。
刷了一些短课程，但是目前没空整理笔记，有时间再说。
参考资料：
All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2025-08-20
LLM 学习笔记——Transformer 架构解读
Some content in this article was created with AI assistance. Please verify as needed.这份笔记关注大语言模型中的 Transformer 架构的解读和理解。 对于我来说，这份笔记写得太晚了，而且很多内容都是过时的，还是在理解最初的那几篇工作中的内容，但是理解 Transformer 本身是一个在 LLM 时代必学必会的内容，因此还是需要整理一下。 LLM 已经飞速发展近十年了，最初只是相关专业的研究人员在鼓捣，但是现在已经彻底普及并且在改变所有行业了。按照目前的趋势，每一个本科生都应该要掌握大语言模型 Transformer 架构的基础知识，这些知识未来甚至会下沉到高中课程中。毫不客气地说，不理解 LLM，不理解 Transformer，就是 AI 时代的文盲。 准备Transformer 最初用于序列到序列任务，后来逐渐发展出 Encoder-only、Encoder–Decoder 和 Decoder-only 三条路线。 上图整理了 2018—2023 年间代表性模型的架构路线，其中...
2026-02-01
LLM 学习笔记——理论基础
Some content in this article was created with AI assistance. Please verify as needed.这份笔记关注大模型的理论基础。 毫无疑问的是，在大模型领域，实践是远远走在理论前面的，但是基础理论的缺乏并不是致命的阻碍。一个历史上的例子是：“在蒸汽机已经大规模应用的年代，热力学的重要定理一条都还没搞出来，工程师完全凭借的是经验或错误的热质说。等到这些热力学定理终于写出来时，蒸汽机已经跑了几十年甚至上百年。” 为什么大语言模型能够成功近年来，大语言模型（Large Language Models, LLM）在自然语言处理领域取得了显著进展。相比早期的机器学习方法，大语言模型能够在统一模型框架下完成多种语言任务，并在多个基准测试中取得较好的性能。 这种成功通常被认为是多个因素共同作用的结果，包括： Transformer 架构提供了可扩展的序列建模方式。 预训练语言模型范式让模型可以先学通用能力，再适配具体任务。 海量文本和代码数据提供了足够丰富的训练数据。 自监督学习让数据规模可以大到互联网级别。 ...
2025-12-17
LLM 代码练习——在 shell 中询问大模型
一个简单的代码练习，解决编程实践中的痛点问题：直接在 shell 中询问大模型具体的 shell 命令。 类似的项目： https://github.com/TheR1D/shell_gpt https://github.com/ChenZiHong-Gavin/easy-shell 完整源码（无任何非标准库的依赖） 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714...
2026-03-01
纯 Python 实现深度学习代码
microgpt.py 是 Andrej Karpathy 写的一个教学项目，几百行纯 Python 实现完整的 GPT 训练和推理流程，不依赖 PyTorch，甚至不依赖 Numpy！ 受到这个项目的启发，我们在原有代码的基础上进一步扩展，从标量自动求导框架开始，依次实现 MLP、RNN、LSTM 和 Transformer 模型，仍然保持纯 Python 的风格，当然代价就是比基于 PyTorch 等的实现慢很多。由于这里只是作为演示项目，训练得到的模型看起来还是在胡言乱语。 自动求导由于不依赖 PyTorch 和 Numpy，首先需要一个 Value 类来实现自动求导，为后续的训练和推理提供基础。 训练神经网络的核心是知道损失函数 $L$ 对每个参数 $\theta$ 的梯度 $\partial L/\partial\theta$，再沿梯度反方向更新参数。手工推导每一层的梯度既繁琐又容易出错，自动求导则把前向计算记录成一张计算图，然后从损失节点开始反向应用链式法则。 例如 $y=f(g(x))$，链式法则为 $$ \frac{\partial y}{\p...
2026-02-17
LLM 代码练习——使用大模型绘图
从 K-Dense-AI/scientific-agent-skills 的科技论文绘图 skill 中抄来的绘图提示词。 调用源码 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717...
2026-02-03
LLM 学习笔记——大模型的训练流程
Some content in this article was created with AI assistance. Please verify as needed.这份笔记关注大模型是怎样训练和部署出来的。 这里我们以 decoder-only 自回归语言模型 为主，也就是 GPT、LLaMA、Qwen 这一类的主流路线，描述一个典型现代大语言模型的训练周期。从随机初始化权重开始，到最终变成可聊天、可编程、可工具调用的模型。 训练过程大致分成两段： 预训练：让模型形成能力上限。 后训练与部署：让模型更像一个可用产品。 一个更详细的流程如下： flowchart TD; A[随机初始化] B[分词器] C[预训练（得到 Base Model）] D[监督微调（SFT）] E[偏好学习] F[安全对齐] G[专项能力训练] H[评测 / 蒸馏 / 压缩 / 量化] I[部署] A --> B --> C --> D --> E --> F --> G --&...