📒 学习笔记
MiniMind — 学习进度总结
📋 MiniMind 学习进度总结 学习者背景 Apple M5 MacBook Pro（32GB），无 NVIDIA GPU，使用 PyTorch MPS …
MiniMind — 阶段 2.5：Attention、Causal Mask
两个回答都非常好！👏 精准度超出零基础水平。让我补充完善一下。 FFN FFN vs Attention 分别做了什么 | | 你的回答 | 更精确的说法 |…
MiniMind — 阶段 2.4：SwiGLU 激活函数
RoPE 外积 torch.outer 的规则 回答：是 [[0,1,2],[0,0.1,0.2]]？ 接近了！但行列搞反了 😊 ` outer(a, b) …
MiniMind — 阶段 2.3：RoPE
mean(x) 和 std(x) 是什么？ ① mean(x)：均值（Mean） 就是求平均： ` x = [150.0, 200.0, 180.0] mean…
MiniMind — 阶段 2.2：RMSNorm
Weight Tying 到底怎么共享的？ -- 第一步：理解两个层各自长什么样 两个层的本质都是一个矩阵（一张表格）： ` Embedding 矩阵：形状 […
MiniMind — 阶段 2.1：Transformer 整体架构
Transformer 整体结构 知识点 1：什么是 Transformer？ 在 2017 年之前，AI 处理文字主要靠 RNN（循环神经网络），它的学习方式…
MiniMind — 阶段 1：环境搭建与快速体验
MiniMind 学习笔记 — 阶段 1：环境搭建与快速体验 项目地址：https://github.com/jingyaogong/minimind 设备环境…