矩阵链乘法问题
问题描述在科学计算中，我们经常需要计算多个矩阵的乘积。由于矩阵乘法满足结合律，而各个矩阵的规模可能差异很大，通过改变乘法的计算顺序（即添加括号），对实际的计算量会有显著的影响。 对于矩阵 $A \in \mathbb{R}^{r \times s}, B \in \mathbb{R}^{s \times t}$，计算乘积 $A B \in \mathbb{R}^{r \times t}$ 的每一项都需要 $s$ 次乘法，因此乘法计算量为 $r s t$。 例如计算 $A B C$，A 的尺寸为 500×2，B 的尺寸为 2×500，C 的尺寸为 500×2，下面两种运算顺序的乘法运算量有巨大差异： $(A B) C$ 的运算量为 $O(500\times 2 \times 500) + O(500 \times 500 \times 2)$； $A (B C)$ 的运算量为 $O(2\times 500 \times 2) + O(500 \times 2 \times 2)$。 我们希望使用最优的一种做法来加速计算，这就是矩阵链乘法（Matrix-chain multipl...
LLM 学习笔记——理论基础
这份笔记按“大模型理论学习”的场景整理，重点覆盖基础原理、关键论文、训练流程，以及训练/推理系统与硬件资源，主要回答一个问题：“LLM 为什么能工作、是怎样训练和部署出来的”。 作者并不是大模型相关专业，这里的学习笔记仍然是非常浅显的，只是希望了解一些基本概念。 毫无疑问的是，在大模型领域，实践是远远走在理论前面的，但是基础理论的缺乏并不是致命的阻碍。一个历史上的例子是：“在蒸汽机已经大规模应用的年代，热力学的重要定理一条都还没搞出来，工程师完全凭借的是经验或错误的热质说。等到这些热力学定理终于写出来时，蒸汽机已经跑了几十年甚至上百年。” 一、先建立整体框架可以先把现代大语言模型理解成一条主线： 12345Transformer 架构→ 大规模预训练→ Scaling Laws→ 指令微调与对齐→ 部署与推理优化 如果只看最核心的几件事，大语言模型之所以成功，主要是以下因素叠加： Transformer 提供了可扩展的序列建模方式。 预训练语言模型范式让模型可以先学通用能力，再适配具体任务。 海量文本和代码数据提供了足够丰富的训练信号。 自监督学习让数据规模...
Vibe coding 实现简单网页游戏
记录一下通过 Vibe coding 实现的简单网页游戏。 贪吃蛇👉 snake.html 扫雷👉 minesweeper.html
LLM 代码练习——MCP demo
两个文件，对应一个 MCP server 和一个调用者（需要第三方依赖 httpx），用于展示 MCP 的基本原理。 mcp-server.py123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126import sysimport jsonimport subprocess# --- 安全白名单配置 ---# 仅允许执行以下键对应的命令SAFE_WHITELIST = {"list_files": "dir", "who_am_i":...
LLM 代码练习——API 代理
一个单文件的 OpenAI 兼容 API 代理脚本，用来转发请求到上游服务，并记录请求与响应日志，可以用来测试大模型服务。 flowchart LR; A[OpenAI 兼容客户端] -->|HTTP 请求| B[llm-proxy] B -->|转发请求| C[上游大模型服务] C -->|返回响应| B B -->|返回响应| A B -.->|记录请求与响应| D[日志文件] 用法直接运行： 1uv run llm-proxy.py --upstream-base-url https://your-upstream.example.com/v1 常用参数： --upstream-base-url：上游服务地址 --host：监听地址，默认 127.0.0.1 --port：监听端口，默认 8000 --log-dir：日志目录，默认 ./logs --upstream-timeout：上游请求超时，默认 300 llm_proxy.py 头部已内联声明依赖，uv run 会自动处理单脚本的依赖：提...
Python 运行时、环境和虚拟环境
Python 运行时Python 运行时指的是 使 Python 程序能够执行的一组核心文件。从结构上看，主要包含三部分： 解释器（interpreter） Python 标准库（standard library） 内建模块（built-in modules） 扩展模块（extension modules） 第三方库（如 numpy、requests）通常安装在 site-packages 中，不属于 Python 自带运行时，但在执行视角下可以视为运行时的一部分。 抽象结构： 123456Python Runtime│├─ interpreter├─ standard library├─ built-in modules└─ extension modules Python 运行时的目录结构在 Linux / macOS 的典型结构如下： 1234567891011121314151617181920python-3.12/├── bin/│ └── python3.12│├── lib/│ └── python3.12/│ ├── os.p...
实用 Shell 工具
整理一些优化 shell 使用体验的小工具。 starshipGithub: starship starship 是跨平台支持不同 shell 的命令行主题配置工具。 安装配置： 在 Windows 可以使用 winget 安装 1winget install --id Starship.Starship 在 Linux 可以使用下面的命令进行全局安装 1curl -sS https://starship.rs/install.sh | sh 也可以直接在 Github Release 手动下载预编译版本（使用 rust 编写，解压出来就是单文件），存放在 ~/.local/bin 即可。 需要在每一个 shell 的启动配置文件中都加入对应的配置 ~/.bashrc1eval "$(starship init bash)" ~/.config/fish/config.fish1starship init fish | source $profile1Invoke-Expression (&starship init powershell) ...
Python uv 使用笔记
uv 是一个用 Rust 编写的极速 Python 包安装器和解析器，由 Astral 团队开发（也是 Ruff 的作者）。它旨在替代传统的 pip + venv + pip-tools 组合，同时提供类似 pipx 的全局工具管理功能。 uv 提供与 pip 高度兼容的接口，但不是 pip 的等价实现，通过底层优化实现了数倍到数十倍的速度提升。 uv = Python 版本管理 + 虚拟环境管理 + 包管理 + 项目依赖管理 + 工具安装 安装 uv使用下面的命令可以安装 uv 12345# Linux/MacOScurl -LsSf https://astral.sh/uv/install.sh | sh# Windowsirm https://astral.sh/uv/install.ps1 | iex 安装后，uv 的可执行文件（uv,uvx）会被存放到 ~/.local/bin/uv，可以在任何目录下直接使用。 基本使用uv 提供了与 pip 几乎完全相同的子命令，只需将 pip 替换为 uv pip 即可： 12345uv pip install re...
C/C++ 创建 PPM 图像/视频
Portable Pixmap Format（PPM）格式是非常简单的图片/视频格式，它结构非常简单，不含任何压缩和优化处理，图片就是直接存储所有像素（P3：ASCII格式，P6：二进制格式），视频则是通过一组 PPM 图像创建。因此可以用 C/C++ 直接写入，无需专门的图形处理库。但是 PPM 格式的图像查看有点麻烦，可以使用 ffmpeg 转换为 png 格式，生成视频的过程也需要依赖 ffmpeg。 例如 P3 格式的 PPM 文件是完全使用 ASCII 格式明文存储的，格式规定如下： 第一行是魔数 P3 第二行说明图像的宽度和高度 第三行说明像素值的最大值（通常是255） 第四行开始是 RGB 像素数据矩阵 示例文件如下 12345P34 2255255 0 0 0 255 0 0 0 255 255 255 0255 255 255 0 0 0 128 128 128 255 0 255 P6 格式则是把数据存储从 ASCII 格式改成了二进制格式，除此之外和 P3 格式一样。 参考资料： https://x.com/ts...
采样定理的演示实验
采样定理在实际测量中，很多信号本来是连续变化的，例如声音、机械振动、电压、电流等。但计算机只能记录离散数据，所以我们需要每隔一小段时间测一次。 采样定理回答的问题是： 采样频率要多高，才能从离散数据中正确看出原信号的频率信息？ 如果信号中最高的有效频率是 $f_{\max}$，那么采样频率 $f_s$ 应该满足 $f_s / 2 > f_{\max}$，其中 $f_s / 2$ 叫做 Nyquist 频率，表示在当前采样频率下能可靠分辨的最高频率。 采样频率为什么有下限？如果采样频率太低，高频信号不会简单地消失，而是会“折叠”成低频信号，这叫混叠。 例如真实信号里有一个 $70\ \mathrm{Hz}$ 的频率成分。如果采样频率是 $100\ \mathrm{Hz}$，那么 Nyquist 频率是 $50\ \mathrm{Hz}$。由于 $70$ Hz 超过了 $50$ Hz，它会在采样后表现成 $100-70=30\ \mathrm{Hz}$，也就是说：$70\ \mathrm{Hz} \to 30\ \mathrm{Hz}$。这时我...