湾儿子狐狸

用Numpy实现批量梯度下降(BGD)

Sun, 28 Dec 2025 16:19:44 +0800

0x01 前言

本文中你将看到: 辱骂老登, 逆天实验, 从零手搓,

0x02 什么叫作这是你们的Python实验?

一日主播正在摸鱼，突然收到朋友发来的一份Python实验报告的拍屏，遂点开阅读。
读完之后主播受到大量惊吓，为分享与为辱骂对方教师提供证据，特此节选一段:

实验名称：机器学习中线性回归的Python实现
…
线性回归表达式: \(Y = \theta_1X_1 + \theta_2X_2 + ... + \theta_nX_n + \theta_0\)
训练模型求解线性回归系数 \(\theta_1, \theta_2, \theta_3\).

似乎很简单，对吧?

但是据朋友表示，除了线性代数之外，没有任何有关内容的学习与铺垫，包括但不限于:

机器学习
概率论与数理统计
torch, numpy等一系列常用包的使用

等等.jpg

究竟是哪门子**老师会去给学生布置这种邪门实验啊？？
这还是Python课吗.jpg

0x03 来都来了

拆解BGD

毕竟实验报告上给出来的就只有BGD本体，那自然而然就得先理解一下这是个啥鬼东西了。
BGD的武魂真身：

\[ \theta_j := \theta_j - \alpha \frac{1}{m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)}) x_j^{(i)} \]

那么这些鬼东西都是些啥:

\(\theta_j\): 参数，在这里就是线性回归的三个回归参数（aka 权重)
\(\alpha\): 学习率
\(m\): 样本数量
\(h_\theta(x^{(i)})\): 预测值
\(y^{(i)}\): 真实值
\(x_j^{(i)}\): 第i个样本的第j个特征

那它是怎么实现拟合的呢?

本质上它的目的就是为了让预测结果和真实结果接近，也就是最小化预测结果与真实结果的差值，进而逼近原始的回归参数。
既然要最小化预测结果与真实结果的差值，那从直觉上就知道我们要最小化 \(\theta x^ - y\) 了，更准确来说，其实是距离最近。所以其实应该是平方，对于题目给出的三变量而言，自然就是 \((\theta_1x_1 + \theta_2x_2 + \theta_3x_3 - y)^2\)。
可我们要动的是\(\theta\)，X和y都是固定的，那咋办呢？

代价函数 Cost Function

那我们可不可以给\(\theta\)来打个分呢？自然是可以的！

不妨定义一个代价函数\(J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})^2\)，其中 \(h_\theta(x^{(i)})\)为预测值，\(y^{(i)}\)为真实值，\(m\)为样本数量。（如果有人看出来了，是的，这就是MSE在整个batch上的表示）

为什么要除m呢？因为我们求的是在每一个样本上\(\theta\)的代价。
为什么要再乘\(\frac{1}{2}\)呢？因为之后求导很方便（x. (平方会刚好被消去，导完之后方便不少)

梯度与偏导

虽然我们知道了什么是代价函数，换句话来说，知道了我们预测的好坏，可我们还是不知道怎么更新呀！
还记得高中的好朋友导数吗？它有个大哥叫作偏导.jpg
既然我们的目的是最小化\(J(\theta)\)，那干嘛不直接给它求个导（因为是多元函数，在这里是偏导）呢？

我们都知道，当一个函数的导数为0，就代表它达到了极值点，而对于这种函数来说(二次函数，开口向上)，我们可以放心的知道，当梯度为0的时候，我们到达的一定是极小值点（实际上也是最小值点）。而直接解\(\frac{\partial J(\theta)}{\partial \theta} = 0\)是无法得到\(\theta\)的，况且解它难度也不小。
而我们已经知道它的导数了，那我们不如直接减去它，如果导数是正的，在图上减去它就代表向左走；而如果导数是负的，减去它就代表向右走，反方向走，自然就能到达极值点。

一次下降多少?

既然我们已经知道要怎么走了，那走多少呢？这时候就有了学习率\(\alpha\)。
它来决定一步走多远，如果\(\alpha\)越大，走的就越远，反之亦然。自然，如果\(\alpha\)过小，走的就太慢，太阳下山了，你还在半山腰；
如果\(\alpha\)过大，走的就太快，容易扯着蛋，跑到另一头去，搞不好下一脚可能又走回来，甚至跑得更远。这就变成了在山谷两边反复横跳，永远也落不到底。

回到BGD

让我们对代价函数\(J(\theta)\)，对每个\(\theta_j\)求偏导：

\[ \frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)}) x_j^{(i)} \]

挺熟悉的？你再看看BGD呢.jpg
实际上它就是BGD的梯度部分，也就是 Batch Gradient Descent 的 Gradient。而前面的求和和除以m，就是BGD的Batch了。
那 Descent 呢？自然就是\(\theta_j := \theta_j - \alpha \)的部分了。

0x04 那怎么写呢?

在计算机的世界里，我们一直都在跟向量和矩阵打交道，而手写for循环拆解自然慢的发指。不过我们还有numpy!
我们大可以一条条处理再汇总，但是为什么不写成矩阵呢？
于是乎对于我们提到的预测值，输入自然可以变成一个\(m \times 3 \)的矩阵，输出自然就是一个\(m \times 1 \)的矩阵，而真实值就会是一个\(m \times 1 \)的矩阵，\(\theta\)则是一个\(3 \times 1 \)的矩阵。

在 Python 里，nupy.dot() 或者 @ 都可以帮我们实现矩阵乘法，因此我们有:

def predict(X, theta):
 return np.dot(X, theta)

误差则直接可以通过error = predict(X, theta) - y来计算，梯度就会变成gradients = X.T @ error / m。
为什么是X.T? 线性代数告诉我们，一个\(m \times 3\)的矩阵是没法和\(m \times 1\)的矩阵相乘的，自然就需要进行转置，因此是X.T。 更新权重就很简单了，theta = theta - alpha * gradients。

剩下的内容就很简单了，写一个循环把它们包起来就好，毕竟只优化一次也没什么用。

def bgd(X, y, theta, alpha, num_iters):
 for i in range(num_iters):
 error = predict(X, theta) - y
 gradients = X.T @ error / m
 theta = theta - alpha * gradients
 return theta

0x05 一些善后工作

回到实验报告，老登很贴心的不提供数据集，于是乎只好自己动手丰衣足食，来生成一组，顺便把\(\theta\)和学习率与迭代步数也初始化一下:

import numpy as np
import matplotlib.pyplot as plt

true_theta = np.random.randn(3, 1)
X = np.random.randn(100, 3)
y = X @ true_theta

theta = np.zeros((3, 1))
alpha = 1e-2
num_iters = 800

组合起来，就变成了

true_theta = np.random.randn(3, 1)
X = np.random.randn(100, 3)
y = X @ true_theta

theta = np.zeros((3, 1))
alpha = 1e-2
num_iters = 100

cost = []

for i in range(num_iters):
 error = predict(X, theta) - y
 gradients = X.T @ error / m
 theta = theta - alpha * gradients
 cost.append(np.mean(error ** 2))

print("true theta", true_theta)
print("learned theta", theta)
plt.plot(cost)
plt.show()

theta: [[-0.53657517]
 [ 0.90257013]
 [-0.05914561]]
true_theta: [[-0.53695188]
 [ 0.90310105]
 [-0.06005814]]

D2L: 用PyTorch和线性回归模型实现波士顿房价预测

Thu, 17 Oct 2024 14:26:40 +0000

前言

在大学选择人工智能专业以后，本来以为大一就会开始相关专业课的学习（框架，基础模型啥的），拿到大一上学期课程表一看，不能说是毫无关联，只能说是给其他人看都不知道你学人工智能.jpg
既然学校决定不在大一上学期（甚至下学习）开始专业课的学习，那就只好自己丰衣足食，先下手为强（bushi
P.S. 本文（以及后续可能有也可能没有的文章）基本上都是我在自己跟着Dive into Deep Learning的过程中的一些实验与记录，里面的很多内容或许看起来很傻，或许对部分人来说理所当然，近乎常识，但我不知道，所以决定写写。（希望我大二系统性学之后回来看不会觉得自己太傻（

在看完3.1. 线性回归、3.2. 线性回归的从零开始实现和 3.3. 线性回归的简洁实现后，~~突然感觉自己行了~~，再加上之前听说过的线性回归经典例子：波士顿房价预测，于是决定自己跟着试一试，反正流程大同小异，对吧（

获取数据集

数据集的获取反倒相当简单，网络上哪哪都是（
我使用的数据集是 Kaggle 上的 Boston House Prices，值得一提的是，这个数据集和经典版的数据集不太一样，缺少"B"这一个Feature。
拉下来一看，经典csv.

姑且还是把Features都说一说（也是为了水点字数）(翻译 by ChatGPT):

CRIM: 每个镇的人均犯罪率
ZN: 住宅用地比例，地块面积超过 25,000 平方英尺的比例
INDUS: 每个镇的非零售商业用地比例
CHAS: 查尔斯河虚拟变量（=1 表示地块毗邻河流；否则为 0）
NOX: 氧化氮浓度（每 1000 万份中的份数）
RM: 每个住宅的平均房间数
AGE: 1940 年前建造的自有住房比例
DIS: 到波士顿五个就业中心的加权距离
RAD: 辐射公路的可达性指数
TAX: 每 10,000 美元的全额物业税率
PTRATIO: 每个镇的师生比例
LSTAT: 低社会经济地位人口的百分比

读取并处理数据集

把数据集拉下来之后，多少要给它处理下，不然机器可看不懂（Code ahead）:
先看看数据集长啥样:

data_csv = pd.read_csv("boston.csv")
data_csv.head()

之后便是对数据集进行处理，分出 Features 和 Labels ，顺便把训练集和测试集也分下。 P.S. 为了接下来行文方便，刻意省略了部分代码

# CRIM, ZN ... LSTAT -> features
# MEDV -> Labels
feature = data_csv.drop("MEDV", axis=1)
label = data_csv["MEDV"]

feature_tensor = torch.tensor(feature.values, dtype=torch.float32)
# Resizing the label tensor to corresponding size ([y] -> [y, 1])
label_tensor = torch.tensor(label.values, dtype=torch.float32).reshape(-1, 1)

# Create dataset
dataset = data.TensorDataset(feature_tensor, label_tensor)

# Train-Test split
train_size = int(0.8 * len(dataset))
test_size = len(dataset) - train_size
train_dataset, test_dataset = data.random_split(dataset, [train_size, test_size])

train_iter = data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_iter = data.DataLoader(test_dataset, batch_size=batch_size, shuffle=True)

上面这段干的事其实很简单：

先把 MEDV 给忽略掉，把 Features 单独提出来，再单独把 MEDV 提出来当 Labels.
把feature转换成张量feature_tensor，方便接下来处理。
同样，把label转换成张量label_tensor，但再.reshape，给它的大小变成(-1, 1)，不然torch回头会爆警告。
用feature_tensor, label_tensor 创建一个叫作dataset的TensorDataset。
把训练集和测试集分开。

定义一个线性回归模型，初始化权重

在这里使用nn.Sequential和nn.Linear来创建模型.
引用一下D2L中对它们的描述:

Sequential类将多个层串联在一起。当给定输入数据时，Sequential实例将数据传入到第一层，然后将第一层的输出作为第二层的输入，以此类推。
在PyTorch中，全连接层在Linear类中定义。值得注意的是，我们将两个参数传递到nn.Linear中。第一个指定输入特征形状，第二个指定输出特征形状，输出特征形状为单个标量，因此为1.

对于D2L里的线性回归模型，编者们选择使用正态分布来初始化模型内参数的权重，在这里我也选择和他们一样，同时使用替换方法normal_和fill_来重写参数值。

net = nn.Sequential(
 nn.Linear(12, 1),
)
net[0].weight.data.normal_(0, 0.001)
net[0].bias.data.fill_(0)

超参数 (Hyperparameters)

训练的时候总是少不了超参数。

batch_size = 32
lr = 1e-3
num_epochs = 500

注: 同上，学习率lr在这种情况下确实有问题，但先暂时不做改动。

损失函数与优化器

对于 Loss function 和优化算法，依然与D2L保持一致，使用 MSELoss类和SGD.

背景知识：何为MSE?

实际上，MSE看着高大上，实际上就是高中数学里概率统计里的方差，实际上，定义都完全一致:

\[ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} \left( y_i - \hat{y}_i \right)^2 \]

其中:

\(n\) 为数据点数量（既预测出的Feature的数量）
\(y_i\) 是实际值（Ground Truth）
\(\hat{y_i}\) 是模型的预测值
\(y_i - \hat{y}\) 代表残差

MSE越小代表模型拟合的越小，反之.

背景知识：何为SGD?

我也不知道，但我以后也许会知道. 这部分姑且留给以后学完高数的我来写.

建议参考: 深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）

训练，启动

history = []
for epoch in range(num_epochs):
 for X, y in train_iter:
 l = loss(net(X), y)
 trainer.zero_grad()
 l.backward()
 trainer.step()
 l = loss(net(feature_tensor), label_tensor)
 print(f"epoch {epoch + 1}, loss {l:f}")
 history.append(l)

上面的代码总结起来，其实也就这么几件事:

对每个mini batch (大小由超参数中的 batch_size 决定):

正向传播: 计算模型对这组 mini batch 的 loss.
重置模型中每个参数的梯度.
反向传播: 根据计算出的loss, 对权重矩阵\(\mathbf{W}\)中的每一个参数，计算它们的梯度，为下一步调整权重矩阵做准备.
使用上一步计算得出的梯度调整模型的权重矩阵\(\mathbf{W}\).

当每一个 mini batch 都经历过一次计算后，便是一个 epoch . 而在每个 epoch 结束之后，计算出此时模型的 loss, 输出并记录.

理想很饱满，现实很骨感

敲完代码，迫不期待按下执行，出问题了:

不是，哥们。这不对吧?
这和说好的不一样啊!

那咋办呢？快请ChatGPT大仙!

梯度爆炸是什么

ChatGPT是这么说的:

梯度爆炸（Gradient Explosion）是深度学习中常见的一个问题，特别是在梯度反向传播时，某些参数的梯度变得非常大，导致模型参数更新过大，从而使得模型训练不稳定甚至发散。梯度爆炸可能是你在代码中出现 nan 问题的原因之一。

既然提到了梯度，那还是不得不上公式:

以下内容引用自 D2L 3.1.1.4 随机梯度下降:

在每次迭代中，我们首先随机抽样一个小批量 \(\mathcal{B}\)，它是由固定数量的训练样本组成的。然后，我们计算小批量的平均损失关于模型参数的导数（也可以称为梯度）。最后，将梯度乘以一个预先确定的正数\(\eta\)，并从当前参数的值中减掉。我们用下面的数学公式来表示这一更新过程（表示偏导数）：
\[ (\mathbf{w},b) \leftarrow (\mathbf{w},b) - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \partial_{(\mathbf{w},b)} l^{(i)}(\mathbf{w},b) \]
\(|\mathcal{B}|\)表示每个小批量中的样本数，这也称为批量大小（batch size）。 \(\eta\)表示学习率（learning rate）。

解决梯度爆炸 Part 1

梯度计算的简化理解:

\[ \begin{aligned} \nabla_{\mathbf{x}} y = \frac{\partial L_{oss}}{\partial \mathbf{w}} \\ L_{oss} = \eta * \text{MSE} \end{aligned} \]

如果MSE计算出来的loss太大，那就用一个超级小的learning rate 降下来就好了嘛（
于是乎，把lr给调到了一个超级小的值，(具体来说, 1e-7).
让我们再试一次:

的确是能跑，loss也正常了，但是这下降速度也太慢了一点。
图里更直观一点:

200个 epoch, loss 下降就那么点，对小数据集和小模型（比如线性回归）还好，毕竟一个 epoch 速度很快，但对大型模型来说，这要算到猴年马月。

“ChatGPT，还有别的方法吗？”

解决梯度爆炸 Part 2

ChatGPT 的回答:

Unscaled Features: In the code, it seems the features (input X) are used as-is from the dataset. The Boston dataset’s features (e.g., CRIM, ZN, etc.) may have widely varying scales. For example, CRIM might be in the range of [0, 100], whereas ZN might be in the range of [0, 10].
Large-scale values can cause instability in the gradient calculations, leading to nan values in the loss.
Solution: Standardize or normalize the features before feeding them into the model. You can do this by subtracting the mean and dividing by the standard deviation for each feature.

太长不看版: 对Features做归一化/标准化.

那么，归一化和标准化又是什么

还是让ChatGPT来解释:

归一化和标准化是数据处理中的两种常见技术，主要用于在进行机器学习、统计分析或优化问题时，使不同特征的数据保持在同一尺度上，以避免某些特征因为数值范围过大而主导模型。
归一化是将数据缩放到一个特定的范围，通常是 [0, 1] 或 [-1, 1]，其目的是使不同特征的数据具有相似的尺度。

提取关键词: 统一尺度 .
回到最开始的数据集, NOX 和 AGE 便是尺度不统一的最好例子.

用 Min-Max 来处理数据集中的不统一尺度

此时，在数据集的处理里加几行代码，把特征先归一化，再进行接下来的处理:

feature_min, _ = feature_tensor.min(dim=0, keepdim=True)
feature_max, _ = feature_tensor.max(dim=0, keepdim=True)
feature_tensor = (feature_tensor - feature_min) / (feature_max - feature_min)

本质上，上面的代码也只是干了以下这条公式干的事:

\[ X_{\text{new}} = \frac{X - X_{\text{min}}}{X_{\text{max}} - X_{\text{min}}} \]

此时数据集处理的完整代码:

feature = data_csv.drop("MEDV", axis=1)
label = data_csv["MEDV"]

feature_tensor = torch.tensor(feature.values, dtype=torch.float32)
label_tensor = torch.tensor(label.values, dtype=torch.float32).reshape(-1, 1)

feature_min, _ = feature_tensor.min(dim=0, keepdim=True)
feature_max, _ = feature_tensor.max(dim=0, keepdim=True)
feature_tensor = (feature_tensor - feature_min) / (feature_max - feature_min)

dataset = data.TensorDataset(feature_tensor, label_tensor)

train_size = int(0.8 * len(dataset))
test_size = len(dataset) - train_size
train_dataset, test_dataset = data.random_split(dataset, [train_size, test_size])

train_iter = data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_iter = data.DataLoader(test_dataset, batch_size=batch_size, shuffle=True)

继续训练

在使用归一化处理数据之后，再来一遍训练：

好起来了，都好起来了.jpg

总结与优化可能

不得不说，自己从零开始，用其他数据集如法炮制，在出结果的那一刻还是很激动的，毕竟是自己实现的。

再给自己留一些问题:

除了SGD这一种Optimizer以外，还存在其他的Optimizer，比如RMSprop, Adam，尝试使用它们.
更换不同的Loss function （比如Huber）和权重初始化方法，查看效果.

使用MSVC和VSCode搭建C语言开发环境

Wed, 09 Oct 2024 23:26:40 +0000

温馨提示

本文可以基本理解为对https://code.visualstudio.com/docs/languages/cpp 的直接翻译和部分精简, 如有条件可直接参考原文。
对CUIT学生：本文仅供参考，仅为其中一种在你的机器上设置一个基础的用于学习C语言以及相关课程的环境，实际上其他开发环境，比如Dev-C++，Visual Studio （如果你会用的话）都没问题.
依然是对CUIT学生：不建议（强烈不建议）自行更改MSYS2的安装目录（除非你知道在编辑环境变量那自己改过来），不然出问题别找我.jpg

安装 VSCode

访问 https://code.visualstudio.com, 点击"Download for Windows", 下载Visual Studio Code的安装包（注: 对CUIT的学生: 如果网络太差可以直接找我要）. 之后, 点击下载下来的安装包 (它的名字应该类似VSCodeUserSetup-x86_64-1.94.1.exe)，开始安装 (一路确认就好).

在 VSCode 里安装语言包和一些必要插件

打开Visual Studio Code后，映入眼帘的大概率是全英文界面.

在左侧的Extensions面板（或者说左上角的几个图标里最底下那个长得很像几个方块的那个图标，或者直接用Ctrl + Shift + X 调出）里，搜索"Chinese", 点击第一个结果，安装&启用它。
同样是在这个面板, 依次搜索 “C/C++ Extension Pack” 和 “Code Runner”, 依次安装并启用它们。

第二步里安装的时候可能会提示很多东西，但暂时不需要理会它们。

安装MSYS2

访问 https://www.msys2.org, 在"Installation"标题下，点击"Download the installer"旁边的按钮，下载MSYS2的安装包(现在 (2024/10/9), 叫作msys2-x86_64-20240727.exe 同上，CUIT学生如果网络不好也可以找我要)
打开之后也可以一路回车安装，安装耗时可能略久，但大部分情况下不会太久
假设你没有特地更改选项，那么安装完成（见图）之后应该会自动弹出一个黑色窗口，如图所示：
在弹出的窗口内, 输入pacman -S --needed base-devel mingw-w64-x86_64-toolchain （建议直接复制粘贴）(在MSYS2内，使用Shift + 鼠标左键，下同), 在提示"Enter a selection (default=all)“时直接enter确认，待它自动安装.
在提示:: Proceed with installation? [Y/n] 时输入Y确认安装.
在安装结束之后（你发现你可以随便输入命令，且回车能出现结果后），输入gcc -v测试安装是否成功, 如果在底部附近出现了 gcc version 的字样，说明安装应该没有什么问题。

设置环境变量

点击任务栏里的Windows图标, 输入"path”(或直接右击我的电脑->属性->高级系统设置), 选择 “编辑系统环境变量”, 在弹出窗口内选择“环境变量”.
在弹出窗口内的下半部分（系统变量）处，双击名称为"Path"的项目，在弹出窗口内点击"新建", 输入"C:\msys64\ucrt64\bin"（或你自己设置的目录绝大部分情况下，都是前述目录），点击确定保存.

在VSCode内设置编译器

安装好MSYS2，且设置好系统变量之后，回到VSCode，在主页（或者编辑器内任意处），按下Ctrl + Shift + P (对macOS 用户来说, Command + Shift + P), 在弹出的窗口内输入"C++ IntelliSense", 点击“选择 IntelliSense 配置”
在弹出的窗口内，选择"gcc.exe".

最终测试

回到VSCode，新建文件，输入以下内容后按Ctrl + S 保存（建议直接复制粘贴）:

#include <stdio.h>
int main() {
 printf("Hello World!");
 return 0;
}

2. 在刚才的编辑窗口内，按下Ctrl + Alt + N (对macOS用户来说, Control + Option + N),如图所示, 如果在编辑器底部自动弹出了一个窗口，并且有"[Running]" 和 “[Done]” 字样，说明你完事了.jpg

AV1 的奇妙之旅: Part 2

Sun, 18 Aug 2024 00:00:00 +0000

前情提要

在上一篇文章里，我们初步的为了~~赶潮流~~ 折腾宝贵的储存空间而决定投奔 AV1 编码之后，又过了那么个把月。这个把月自然是没有闲着，依然在捉摸着如何优化编码流程和效率。

Python 加入战场

最开始的编码脚本完全基于一行 bash，不仅很蠢，也很容易出 bug（比如说带空格和特殊符号的文件），更没法搞定文件夹里的文件。
虽然大部分痛点可以用 find 和 xargs 之类的操作解决，但还是不够优雅，加之我也不习惯写 bash script，Python 还算是我的心头好，于是便用 Python 实现了一遍它的功能。

代码如下:

import os
import subprocess
import ffmpeg
import shlex
from utils import get_keyint, get_video_resolution, get_tiles, return_path, get_img_size

path = os.getcwd()
path = os.path.join(path, 'todo/')
video_extension = ('.mp4', '.MP4', '.MOV', '.mov')
image_extension = ('.jpg', '.JPG', '.png', '.PNG', '.jpeg')

video_files = []
image_files = []
log_lines = []

for root, dirs, files in os.walk(path):
 for file in files:
 if file.endswith(video_extension):
 video_files.append(os.path.join(root, file))
 if file.endswith(image_extension):
 image_files.append(os.path.join(root, file))

for file in video_files:
 new_path = return_path(file, 'video')
 keyint = get_keyint(file)
 w, h = get_video_resolution(file)
 rows, columns = get_tiles(w, h)
 ffmpeg_cmd = (
 ffmpeg
 .input(file)
 .output(
 new_path,
 vcodec="libsvtav1",
 acodec="copy",
 preset=10,
 crf=40,
 threads=10,
 **{"svtav1-params":"input-depth=10:tune=3:enable-qm=1:qm-min=0:enable-dlf=2:sc-pix-format=yuv420p:keyint={}:tile-rows={}:tile-columns={}".format(keyint, rows, columns)}
 )
 .run(overwrite_output=True)
 )

for file in image_files:
 new_path = return_path(file, 'image')
 w, h = get_img_size(file)
 rows, columns = get_tiles(w, h)
 avifenc_cmd = """
 avifenc \
 --min 0 --max 63 \
 -a enable-chroma-deltaq=1 \
 --autotiling \
 -a quant-b-adapt=1 \
 -a sb-size=64 \
 -a tune=ssim \
 -a deltaq-mode=2 \
 -a row-mt=0 \
 -a cpu-used=4 \
 -a tune-content=psy \
 --jobs 8 -s 3 \
 -d 10 \
 {} {}
 """.format(shlex.quote(file), shlex.quote(new_path))

 subprocess.run(avifenc_cmd, shell=True)

不妨细细展开，先从比较简单的图片讲起。

图片处理

抛开各种有的没的的文件处理与各种东西，最重要的部分如下:

for file in image_files:
 new_path = return_path(file, 'image')
 w, h = get_img_size(file)
 rows, columns = get_tiles(w, h)
 avifenc_cmd = """
 avifenc \
 --min 0 --max 63 \
 -a enable-chroma-deltaq=1 \
 -a enable-qm=0 \
 --autotiling \
 -a quant-b-adapt=1 \
 -a sb-size=64 \
 -a tune=ssim \
 -a deltaq-mode=2 \
 -a cpu-used=4 \
 -a tune-content=psy \
 --jobs 8 -s 3 \
 -d 10 \
 {} {}
 """.format(shlex.quote(file), shlex.quote(new_path))

流程分解:

获取图片的分辨率
用 avifenc 编码 (最终依然会回到 aomenc)

看着很简单，对吧？ 因为它确实很简单。重点在 avifenc_cmd 的那一坨参数上，这帮鬼东西占据了我这段时间的相当一部分精力。

让我们再次一行行展开： 注：所有以 “-a” 开头的参数全部会被直接传到 aomenc，因此在后面不再特地强调 “-a” 本身。

--min 0 --max 63: 这俩参数其实没啥好说的，单纯限制一下颜色量化，实测下能在肉眼难以辨别的情况下比较有效的减小文件体积。
enable-chroma-deltaq=1: 它和下面的enable-qm=0这俩参数就比较有意思了，更多属于偏经验主义，似乎会比一般情况下快不少……？
enable-qm=0: 官方文档中特别提到了 “default is 0 for allintra mode, 1 for good and realtime modes”，对于视频编码来说将它设置为 1 会更好，但对于图片这种 allintra （即全部为关键帧）的情况来说，可以设置为0.
tune=ssim: 先暂时跳过中间的参数，放到后面再讲，就本质上来说tune=ssim能够相比psnr做到更好的针对画质优化。
--jobs 8 -s 3: 设置8线程编码，speed 为 3. (speed 为 0-10, 越低越慢，质量越好)
-d 10: 本质上也是半经验主义参数。手动设置输入为 10bit 可以有效减小 aomenc 里对各种参数计算时的取整操作，进一步提升编码效率。

至于其他的参数，都基本源于在 Discord 的一场讨论：

太长不看版: --autotiling --quant-b-adapt=1 --sb-size=64 --deltaq-mode=2 --cpu-used=4 --tune-content=psy.
TODO: 对这几个参数的详细解释

视频处理

同样，上代码：

for file in video_files:
 new_path = return_path(file, 'video')
 keyint = get_keyint(file)
 w, h = get_video_resolution(file)
 rows, columns = get_tiles(w, h)
 ffmpeg_cmd = (
 ffmpeg
 .input(file)
 .output(
 new_path,
 vcodec="libsvtav1",
 acodec="copy",
 preset=10,
 crf=40,
 threads=10,
 **{"svtav1-params":"input-depth=10:tune=3:enable-qm=1:qm-min=0:enable-dlf=2:keyint={}:tile-rows={}:tile-columns={}".format(keyint, rows, columns)}
 )
 .run(overwrite_output=True)
 )

视频的编码流程就会相对复杂一些，首先用 keyint 得到关键帧间隔（帧率*10）, 再用get_video_resolution和get_tiles获取tile-rows和tile-columns（本质上和图片部分的--autotiling）是一样的。

其他参数就和图片部分没啥大差别了，但还是要特别提及一下tune=3: 在默认的 SVT-AV1 下是不存在 tune=3 的设置的，只存在tune=2（即SSIM），这里我使用了 SVT-AV1-PSY, 额外添加了SSIM with Subjective Quality Tuning作为tune=3，更好改善画质.

我所用到的 Python 脚本也都上传到了GitHub: https://github.com/baysonfox/avif-compression

在VSCode上使用配置文件

Tue, 09 Jul 2024 16:37:40 +0000

前言

在使用配置文件之前，我机器上的 VSCode 可谓是插件大杂烩：各种为了不同文件格式的 Linter / Formatter 堆在一起，亦或是 Hugo 的各类实用工具让我找不着北，甚至拖慢启动速度，的确不能忍。

作为多少有点开发环境“赛博洁癖”的一员，决定重新把自己的 VSCode 环境推倒重新来过，在此顺便记载一下过程。

在 VSCode 上使用配置文件

为了更好的把各路适用于不同场景的插件彻底分开，曾经尝试过用 Workspace 做区分，对每一个文件夹（比如baysonfox.com的源代码和其他的个人项目，亦或是写的小工具脚本，就用上了配置文件。

创建一个配置文件倒也很简单，在左下角的齿轮处就有一个配置文件的选单，直接从那里选择新建一个配置文件，再指定名称就好。

Python 的配置文件：魔改官方

大体来讲，Python 的配置文件基本可以说是照抄 VSCode 的官方文档 https://code.visualstudio.com/docs/editor/profiles#_profile-templates 里的 Data Science Profile Template 和 Python Profile Template，但我又根据自己的习惯（也以尽量精简化的角度考虑），进行了一些改动：

在 Python Profile Template 中，去掉了Docker, Even Better TOML 和 Black Formatter。去掉 Docker 是因为我在写 Python 的时候并不会用到 Docker； Even Better TOML 理由也几乎相同，我没有编辑 toml 的需求。而至于 Black Formatter，我所用到的功能无非只是一个格式化，也没有太强的格式需求，它的角色已经可以被 Ruff 完全替代，因此将其删除。

在 Data Science Profile Template 中，我选择了里面的 Data Wrangler 与 Jypyter。不安装 Dev Containers 的理由同 Docker，而 GitHub Copilot 则暂时被 Codeium 取代（或许会等我搞到 GitHub 学生包之后再换回去）。

习惯使然，主题方面我使用的是 Monokai Pro。

总结一下：在各种删删改改之后，我最终的插件列表如下:

autoDocstring (njpwerner.autodocstring)
Codeium (Codeium.codeium)
Data Wrangler (ms-toolsai.datawrangler)
Monokai Pro (monokai.theme-monokai-pro-vscode)
Pylance (ms-python.vscode-pylance)
Python (ms-python.python)
Python Environment Manager (donjayamanne.python-environment-manager)
Ruff (charliermarsh.ruff)

大部分插件基本上都是开箱即用，但是 Ruff 还需要额外进行一些配置，在打开的项目下新建一个 ruff.toml，在里面指定好需要的检查就好。
（可参考 https://blog.davidz.cn/post/aio-ruff。）

Hugo 的配置文件：从零开始

我本以为我的配置文件会相当复杂，但插件反而比 Python 要少不少，大多数就只是 Markdown 和 Hugo 相关。
直接上列表：

markdownlint (DavidAnson.vscode-markdownlint)
Hugo Language and Syntax Highlight (budparr.language-hugo-vscode)
Front Matter CMS (eliostruyf.vscode-front-matter)
hugofy (akmittal.hugofy)
Hugo Shortcode Syntax Highlight (kaellarkin.hugo-shortcode-syntax)

这些插件的主要作用都是改善 QoL (Quality of Life) 的提升，markdownlint 负责格式，两个 Syntax Highlight 负责高亮，
而 Front Matter CMS 的作用更像是一个在 VSCode 里的面板，便于直接管理文章，而不用在命令行里手敲hugo new创建文章。

装模作样的结尾

差不多就是这样，~~又水了一篇 blog~~。虽然自从去年换了 M2 Pro 之后，VSCode 的启动速度都相当快，但还是对 VSCode 做了些优化与配置分离，毕竟各种插件混着放在一起，看的不仅心里不舒服，有时还会冲突打起架，搞得心烦意燥，改完之后终于舒服了些。

用 AVIF 和 AV1 压缩 Cosplay 图库的体积

Wed, 19 Jun 2024 00:00:00 +0000

编辑历史:

2024/06/29 更新 AV1 部分调参内容
2024/08/18 介于接下来的内容还放在这过于冗长，又多开了一篇：https://baysonfox.com/2024/08/18/avif-av1-compress-part-two/

事出必有因

前几天闲来无事，于是打算看下自己的 Cosplay 收藏有多少，遂du -sh，结果如下:

这可不好.jpg
于是点进去准备一探究竟，看看图片有多吃空间:

这能忍？开干！

那咋整呢？

摆在面前的有三种选择：

JPEG XL
AVIF
WebP

于是查阅互联网，找到一篇来自 Moonvy 月维的文章。
直接上结论:

AVIF 有损压缩效果最好，无损压缩非常糟糕。编码速度很慢。
JPEG XL 无损压缩效果最好，有损压缩较 AVIF 有些许差距。编码速度快。
WebP 2 无损压缩效果优秀，有损压缩的上限达到了 AVIF 的水平，但下限很低，不稳定。编码速度很慢。
但是考虑到未来可能还有网页浏览的需求，再加上 WebP 2 本身就没法在我的林檎OS(也就是 macOS)上正常浏览，且可以接受一定程度的有损压缩，于是直接冲 AVIF。

支线任务: 装上 libavif

决定好要用 AVIF，但是系统里大概率没有libavif，于是先装再说。
介于我用 macOS ，直觉便是brew search avif，brew install libavif，秒了。
但是，古人曾言:

AVIF 是这样的。林檎用户只要无脑装libavif就可以，可是其他系统的用户要考虑的事就很多了。

各路 Linux 玩家往这里看：https://web.dev/articles/compress-images-avif；
至于 Windows ， 自求多福。

AVIF, 启动

毕竟是尺度有那么一丢丢大的 Cosplay (真的只有一丢丢！)，所以没有对比图（
处理用的命令如下：

avifenc --min 0 --max 63 -a end-usage=q -a cq-level=18 -a tune=ssim \ 
-a deltaq-mode=3 -a sharpness=3 -y 420 --jobs 8 --ignore-exif --ignore-xmp Coser-***.jpg Coser-***.avif

至于为什么是这么个参数，原文是这么说的：

Note: “–min 0 –max 63 -a end-usage=q -a cq-level=18 -a tune=ssim” are the recommended settings for AVIF images.

而--ignore-exif --ignore-xmp 为的是尽可能减小文件体积，反正 Exif 和 XMP 大概率都没啥用。

结果：

Successfully loaded: Coser-***.jpg
AVIF to be written: (Lossy)

- Resolution : 7952x5304
- Bit Depth : 8
- Format : YUV420
- Chroma Sam. Pos: 0
- Alpha : Absent
- Range : Full
- Color Primaries: 2
- Transfer Char. : 2
- Matrix Coeffs. : 6
- ICC Profile : Present (3144 bytes)
- XMP Metadata : Absent
- Exif Metadata : Absent
- Transformations: None
- Progressive : Unavailable
Encoding with AV1 codec 'aom' speed [6], color quality [51 (Medium)],
 alpha quality [100 (Lossless)], tileRowsLog2 [0], tileColsLog2 [0],
 8 worker thread(s), please wait...
Encoded successfully.
- Color AV1 total size: 1334940 bytes
- Alpha AV1 total size: 0 bytes
Wrote AVIF: Coser-***.avif

再看看图片大小(下方为原图):

效果立竿见影
93%的压缩率，很难不觉得 AVIF 不香。

随便写个小脚本:

for file in *.{jpg,JPG};
do avifenc --min 0 --max 63 -a end-usage=q -a cq-level=18 -a tune=ssim \
 -a deltaq-mode=3 -a sharpness=3 -y 420 --jobs 10 \
 --ignore-exif --ignore-xmp $file ${file%*.*}.avif;
done

图片部分，堂堂结束！

视频部分

那么…… AV1 or HEVC?

~~会出现这个问题本质上还是因为自己没有 N卡，不然直接硬件加速上AV1解决一切问题（~~
当然，看标题就已经能够得出结论了：最后选了AV1。

但为什么是 AV1 不是 HEVC？ 虽然 HEVC 在 macOS + ffmpeg 上有 hevc_videotoolbox 的硬件加速，但相较于 AV1(libsvtav1) 体积反而会来的更大些（但也不至于到无法忍受的地步）;
且在同等画质水平(肉眼几乎无感, 姑且将其设定为SSIM ≥ 0.95)下体积表现很好。

AV1 软件编码不慢吗？ 慢是慢，但是在各种魔法参数的优化下(见下文)，ffmpeg 里速度表现还可以(4.45x)，虽然没有 HEVC 硬编快(8.24x)，但也不错。
再加上并没有什么转码时间上的要求，AV1 在这种情况下还蛮香的。

于是乎，AV1 成了最终选择.

同上，脚本如下:

for video in *;
do ffmpeg -i $video -c:v libsvtav1 -preset 10 -crf 38 \
 -svtav1-params input-depth=10:tune=2:enable-qm=1:qm-min=0:keyint=300 \
 -c:a copy -threads 10 ${video%*.*}-av1.mp4;
done

具体参数不再赘述，在此附上参考文章：

TODO: 详细的文档记录& benchmarks (PSNR SSIM etc.)

最终结果

Cosplay 图库里的数据实在太多根本压不完（
这一部分等全部搞定之后再更新（

更新：压完嘞（
最后结果： 354G -> 64G
82% 的空间优化，可喜可贺可喜可贺（

技术细节:视频下的 AV1 编码调参

ffmpeg 作为老牌的音视频处理瑞士军刀，配合 SVT-AV1 ，可供调整的编码参数多了不是一点半点，搞得人晕头转向（
在此额外参考了 Comparing SVT-AV1 Presets: Size, Quality, and Speed with CRF Variations，文中对 SVT-AV1 编码器在不同预设和crf下的编码性能与质量进行了实验。

略过文中的测试方法，直接看结论：
编码性能（以 FPS 衡量）:

编码质量(SSIM):

PSNR:

VMAF:

由图可知，所使用的preset与crf (-preset 10 -crf 38) 下,SSIM 与 PSNR 都与较低预设值和较低 crf 的对应参数区别不大，编码速度也落在了比较舒适的范围，因此使用此参数。
事实上，根据原文作者的结论，似乎-preset 12 -crf 38与-preset 2的视频参数似乎区别不大，但是速度提升了135倍，完全可以直接无脑冲……？

用数据说话

为了更贴合实际，又找了个 Cosplay 的图包里的视频进行实验:
实验工具:

FFmpeg 7.0.1, built with Apple Clang version 15.0.0
SVT-AV1 Encoder Lib v2.1.1, built with Apple LLVM 15.0.0

实验步骤:

把编码的 preset 固定为 N, N∈[0,12], 步长为1
将编码所用 crf 设置为 20~63, 步长为6
对每个编码结果，测量 VMAF、SSIM与PSNR.

实验结果:

那么，结论是

在编码速率和编码质量来看，-preset 10 -crf 38的参数的确符合了要求，也没有产生视觉上的瑕疵，与上文的结论一致。

一个野生录播man的录播站

Tue, 23 Apr 2024 10:01:13 +0000

之前录了很多Vtuber的直播，全部上传到了录播站，可以用侧栏的“录播站”访问

\[2024/4/23\]

旧的录播数据在微软之前针对 Microsoft 365 E5 全局的清剿中不幸全部丢失，一切重新开始，部分紧急备份的数据重新上传中.

以下为历史更新记录：

\[2021/2/28\]

Remove Ywwuyi (22727127-ywwuyi)

\[2021/2/28\]

Remove 5086-哔哩**哔哩线下活动

\[2021/3/8\]

网络不稳定，只录下了一部分

\[2021/4/17\]

数据结构调整，老存档被统一移动到ARCHIVE文件夹下

\[2021/4/27\]

录播暂时停止更新，预计在5.1恢复，届时稳定性会大大提高.

\[2021/5/20\]

现在可能手动监控上传部分录像，全自动系统在做了在做了
876396-进击的冰糖 更名为 876396-冰糖IO 以适应名称变化

\[2021/5/22\]

全自动录播系统测试中

\[2021/5/23\]

现在上传部分还是不太稳定有时候需要手动上传

\[2021/5/27\]

这几天软路由升级无录播 sorry 有需要的可以去上方的录播备份获取

\[2021/6/12\]

没想到啊软路由稳定了主路由坏了是时候换新的服务器了

\[2021/6/16\]

服务器换了结果睿站国外的一台服务器又有bug 难搞…… 暂时禁用弹幕录制+文件修复预防bug

\[2021/6/17\]

Still buggy…… 上传在工作了但是偶尔还是会遇到一些超长的上传

\[2021/7/17\]

BUG Found 每次主播一波播到第二天的时候就会上传失败翻车原因已经定位了就是不知道怎么修

\[2021/7/30\]

录播从22:00开始不保证录制准确 23:50后无任何录播数据，碎片严重需要清查.

\[2021/8/1\]

876396-冰糖IO* 在2021/7/29的录播产生大量分片，无法处理，故无档
3822389-有栖Mana_Official 在2021/7/30的B限录播文件损坏无法处理无档

录制VTuber和VUP们仅仅是个人爱好和存档用
如有不妥可联系baysonfox#baysonfox.com (# -> @).

使用 Btrfs 格式的根分区启动树莓派

Wed, 20 Jul 2022 22:00:47 +0800

重新生成 initramfs

在默认情况下，Raspberry Pi OS 的 btrfs 是支持是作为 kernel modules 存在的，需要重新生成对应的 initramfs 使内核能够挂载 btrfs 文件系统.

# 安装相应依赖
# initramfs-tools 默认情况下已经安装
sudo apt install initramfs-tools btrfs-tools

向 /etc/initramfs-tools/modules 中添加相应的 kernel modules :
sudo vi /etc/initramfs-tools/modules

...
btrfs
xor
zlib_deflate
raid6_pq

保存后，使用 mkinitramfs -o /boot/initramfs-btrfs.gz 生成新的 initramfs.
之后，修改 /boot/config.txt 加载新的 initramfs.

sudo vi /boot/config.txt

# For more options and informations see
# http://rpf.io/configtxt
# Some settings may impact device functionality. See link above for details
initramfs initramfs-btrfs.gz

重启设备，确认新的 initramfs 正常被加载.

将 ext4 rootfs 转换成 btrfs 格式

在 linux 下，将装有系统的 SD卡 / 硬盘链接电脑，通过 btrfs-convert 将 rootfs 转换成 btrfs 格式，以我的硬盘为例:
注: /dev/sdb2 为 rootfs 分区，下文以它为例

# 如果是SD卡，将 /dev/sda 替换成对应设备

root@baysonfox:~# fdisk -l /dev/sda

Disk /dev/sdb: 465.76 GiB, 500107862016 bytes, 976773168 sectors
Disk model:
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 4096 bytes / 33553920 bytes
Disklabel type: dos
Disk identifier: 0x0ee3e8a8

Device Boot Start End Sectors Size Id Type
/dev/sdb1 8192 532479 524288 256M c W95 FAT32 (LBA)
/dev/sdb2 532480 138127359 137594880 65.6G 83 Linux
/dev/sdb3 138127360 976773119 838645760 399.9G 83 Linux

使用 fsck.ext4 /dev/sdb2 确认分区正常
使用 btrfs-convert /dev/sdb2 将 ext4 格式的 rootfs 转换为 btrfs 格式

挂载转换完成的 btrfs rootfs

 # 挂载 rootfs 和 boot
 sudo mkdir /tmp/rootfs
 # rootfs
 sudo mount /dev/sdb2 /tmp/rootfs
 # boot
 sudo mount /dev/sdb1 /tmp/rootfs/boot

在 rootfs 下创建 swap 子卷，并禁用 btrfs 的 CoW，存放 swap 文件

 # 在树莓派 rootfs 分区下创建 ./swap 子卷存放 swap 文件 
 cd /tmp/rootfs
 sudo btrfs subvolume create swap
 # 根据 https://wiki.archlinux.org/title/btrfs#Swap_file
 sudo chattr +C swap/
 cd swap
 sudo dd if=/dev/zero of=swapfile bs=1M count=512 status=progress
 sudo chmod 0600 swapfile
 # 编辑 /etc/dphys-swapfile 添加 CONF_SWAPFILE=/swap/swapfile
 sudo vi /tmp/rootfs/etc/dphys-swapfile
 # [...]
 # where we want the swapfile to be, this is the default
 CONF_SWAPFILE=/swap/swapfile
 # [...]

调整挂载和系统设置

编辑 /tmp/rootfs/etc/fstab

 # 编辑 /etc/fstab
 # 将 / 的挂载条目的 ext4 改为 btrfs, 并且将最后的 0 1 改为 0 0, 禁用fsck
 sudo vi /tmp/rootfs/etc/fstab
 # e.g. 
 # PARTUUID=c469d4fc-02 / btrfs defaults,noatime 0 0

编辑 /tmp/rootfs/boot/cmdline.txt

 # 编辑 /boot/cmdline.txt, 将 rootfstype=ext4 改为 rootfstype=btrfs fsck.repair=yes 改为 fsck.repair=no
 sudo vi /tmp/rootfs/boot/cmdline.txt
 # e.g. 
 # console=serial0,115200 console=tty1 root=PARTUUID=0ee3e8a8-02 rootfstype=btrfs fsck.repair=no rootwait

回到树莓派，添加一段脚本，防止以后 kernel 升级后无法启动

 # 参考 https://www.ephestione.it/booting-btrfs-root-partition-on-raspberri-pi/

 sudo vi /etc/kernel/postinst.d/btrfs-update

 #!/bin/bash 
 if [ "x$2" != "x/boot/kernel8.img" ]; then
 exit 0
 fi
 echo ============ UPDATE INITRAMFS ==============
 mkinitramfs -o /boot/initramfs-btrfs.gz
 echo ============ UPDATE COMPLETED ==============

 # 确保权限
 sudo chmod 755 /etc/kernel/postinst.d/btrfs-update

重启回到系统，重新生成 swapfile

 sudo dphys-swapfile swapoff
 sudo dphys-swapfile uninstall
 sudo dphys-swapfile install
 sudo dphys-swapfile swapon

Search

Mon, 01 Jan 0001 00:00:00 +0000

归档

Mon, 01 Jan 0001 00:00:00 +0000

友情链接

Mon, 01 Jan 0001 00:00:00 +0000