LLM 学习笔记——AI agent 工具调研
Some content in this article was created with AI assistance. Please verify as needed.这份笔记偏向 AI 工具、Agent、项目约束与实际使用问题，尽量把“工具怎么用”单独整理出来，不和模型价格、套餐、网站信息混在一起，主要回答几个问题：“有哪些 AI 工具、Agent 是怎么工作的、项目里如何给 agent 加约束和扩展”。 这篇笔记的内容具有明显的时效性，当前原始信息时间是 2026 年 3 月，我并没有精力去持续更新。 一、AI 工具的主要类型目前常见的大模型工具大致包括： Web 对话（Web Chat） IDE 插件（Plugin-Based） AI 原生 IDE CLI 桌面版应用 典型代表包括： Web：ChatGPT、Google Gemini IDE 插件：GitHub Copilot、Cline、通义灵码 Lingma AI 原生 IDE：Cursor、Windsurf、Google Antigravity、Trae / Trae CN、AWS Kiro，通...
LLM 学习笔记——大模型调研
Some content in this article was created with AI assistance. Please verify as needed.这份笔记偏向大模型本身的分类、选型、价格与常用信息来源，尽量把“模型怎么选、钱怎么算、去哪里查”单独整理出来，主要回答几个问题：“该选什么模型、成本大概怎样、去哪里查资料”。 这篇笔记的内容具有明显的时效性，当前原始信息时间是 2026 年 3 月，我并没有精力去持续更新。 主要基于 OpenRouter 排行榜，表中的数据只是作为大致参考，不保证准确性，同一个表格中的顺序也没有意义，个人觉得差不多都属于同一梯队或者同一类型。 一、大模型的基本分类大模型可以按照是否开源进行分类： 第一类，闭源模型，只能通过自家提供的产品或 API 访问。 第二类，开放权重模型（open-weights model），公开模型权重以及主要架构信息，但训练过程和训练源码并没有公开。 第三类，完全开源模型，其他用户可以尝试复现。 目前能力最强的大模型大多属于闭源模型，其完整架构和训练细节通常不会公开。市场上较为主流的开源模...
microgpt.py 源码学习
microgpt.py 是 Andrej Karpathy (@karpathy) 写的一个教学项目，几百行纯 Python（不依赖 PyTorch，甚至不依赖 numpy！）实现完整的 GPT 训练和推理。 我对原始代码进行了一些微调——封装了 AdamOptimizer、补了类型标注、给 Value 加了 _op 字段和 print_value_tree() 方便观察计算图。 下面是学习整理的源码级逐段拆解。 准备：自动求导实现由于不依赖 PyTorch 和 Numpy，首先需要一个 Value 类来实现自动求导，为后续的训练和推理提供基础。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263import mathclass Value: __slots__ = ("data", "grad", "_children", &q...
LLM 代码练习——使用大模型绘图
从 K-Dense-AI/scientific-agent-skills 的科技论文绘图 skill 中抄来的绘图提示词。 调用源码 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717...
矩阵链乘法问题
问题描述在科学计算中，我们经常需要计算多个矩阵的乘积。由于矩阵乘法满足结合律，而各个矩阵的规模可能差异很大，通过改变乘法的计算顺序（即添加括号），对实际的计算量会有显著的影响。 对于矩阵 $A \in \mathbb{R}^{r \times s}, B \in \mathbb{R}^{s \times t}$，计算乘积 $A B \in \mathbb{R}^{r \times t}$ 的每一项都需要 $s$ 次乘法，因此乘法计算量为 $r s t$。 例如计算 $A B C$，A 的尺寸为 500×2，B 的尺寸为 2×500，C 的尺寸为 500×2，下面两种运算顺序的乘法运算量有巨大差异： $(A B) C$ 的运算量为 $O(500\times 2 \times 500) + O(500 \times 500 \times 2)$； $A (B C)$ 的运算量为 $O(2\times 500 \times 2) + O(500 \times 2 \times 2)$。 我们希望使用最优的一种做法来加速计算，这就是矩阵链乘法（Matrix-chain multipl...
LLM 学习笔记——理论基础
Some content in this article was created with AI assistance. Please verify as needed.这份笔记按“大模型理论学习”的场景整理，重点覆盖基础原理、关键论文、训练流程，以及训练/推理系统与硬件资源，主要回答一个问题：“LLM 为什么能工作、是怎样训练和部署出来的”。 作者并不是大模型相关专业，这里的学习笔记仍然是非常浅显的，只是希望了解一些基本概念。 毫无疑问的是，在大模型领域，实践是远远走在理论前面的，但是基础理论的缺乏并不是致命的阻碍。一个历史上的例子是：“在蒸汽机已经大规模应用的年代，热力学的重要定理一条都还没搞出来，工程师完全凭借的是经验或错误的热质说。等到这些热力学定理终于写出来时，蒸汽机已经跑了几十年甚至上百年。” 原来是 LLM 生成文本啊，不知道的还以为是把输入剁成一堆拿大量文本统计出的最常见字符串组合的词元，高频组合各占一个词元而生僻词拆成更小的子词元，查询一张几万行的大对照表把每个词元换成几千维的数字串每一层除以各元素的均方根，下面把每串数字各与三个不同的矩阵相乘...
Vibe coding 实现简单网页和游戏
记录一下通过 Vibe coding 实现的简单网页和游戏。 贪吃蛇👉 snake.html 扫雷👉 minesweeper.html 日历👉 calendar.html 课程表👉 schedule.html 时钟👉 clock.html
LLM 代码练习——MCP demo
两个文件，对应一个 MCP server 和一个调用者（需要第三方依赖 httpx），用于展示 MCP 的基本原理。 mcp-server.py123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126import sysimport jsonimport subprocess# --- 安全白名单配置 ---# 仅允许执行以下键对应的命令SAFE_WHITELIST = {"list_files": "dir", "who_am_i":...
LLM 代码练习——API 代理
一个单文件的 OpenAI 兼容 API 代理脚本，用来转发请求到上游服务，并记录请求与响应日志，可以用来测试大模型服务。 flowchart LR; A[OpenAI 兼容客户端] -->|HTTP 请求| B[llm-proxy] B -->|转发请求| C[上游大模型服务] C -->|返回响应| B B -->|返回响应| A B -.->|记录请求与响应| D[日志文件] 用法直接运行： 1uv run llm-proxy.py --upstream-base-url https://your-upstream.example.com/v1 常用参数： --upstream-base-url：上游服务地址 --host：监听地址，默认 127.0.0.1 --port：监听端口，默认 8000 --log-dir：日志目录，默认 ./logs --upstream-timeout：上游请求超时，默认 300 llm_proxy.py 头部已内联声明依赖，uv run 会自动处理单脚本的依赖：提...
Python 运行时、环境和虚拟环境
Python 运行时Python 运行时指的是 使 Python 程序能够执行的一组核心文件。从结构上看，主要包含三部分： 解释器（interpreter） Python 标准库（standard library） 内建模块（built-in modules） 扩展模块（extension modules） 第三方库（如 numpy、requests）通常安装在 site-packages 中，不属于 Python 自带运行时，但在执行视角下可以视为运行时的一部分。 抽象结构： 123456Python Runtime│├─ interpreter├─ standard library├─ built-in modules└─ extension modules Python 运行时的目录结构在 Linux / macOS 的典型结构如下： 1234567891011121314151617181920python-3.12/├── bin/│ └── python3.12│├── lib/│ └── python3.12/│ ├── os.p...