0%

Birth and Death of a Rose

提出一个 pipeline,生成随时间演化的 3D 物体序列,同时覆盖几何与材质属性(albedo、roughness、metallic)。这些资产由预训练 2D diffusion model 蒸馏出的信号驱动生成。

Image

Neural Templates:一个以视角和时间为输入、输出所建模自然过程的「temporal state」信息的映射。

关键点是不需要预先设定好的 template,因此该方法可以应用到任意物体上。

Read more »

TRELLIS: Structured 3D Latents for Scalable and Versatile 3D Generation

Image

目标是构建一个统一且通用的 latent space,使得高质量 3D 生成可以跨多种表示进行。

Read more »

Tutorial

SVD 使用 EDM 的思想,将离散噪声改进成连续噪声。对于原来的 DDPM,输入的是 \(t\) 这个参数;而 EDM 论文指出,\(t\) 实际上表示的是噪声强度 \(\sigma_t\),应该直接把 \(\sigma_t\) 输入进模型。

所以 EDM 的观点是:与其用离散的 \(t\) 训练一个只认识离散噪声强度的去噪模型,不如训练一个认识连续噪声强度 \(\sigma\) 的模型。这样在采样 \(n\) 步时,不再是选择离散的去噪时刻 [timestep[n], timestep[n-1], ..., 0],而是可以选择连续的噪声强度 [sigma[n], sigma[n-1], ..., 0]

Reference:yifanzhou 的 SVD 解析

Read more »

Feat2GS: Probing Visual Foundation Models with Gaussian Splatting

Image

该论文系统地探测了视觉基础模型(VFM)在几何和纹理两个维度上的三维感知能力。以下是主要结论。

Read more »

为什么选择 3D 高斯椭球,而不是其他基元

因为高斯核有很好的数学性质:

  • 仿射变换后高斯核仍然闭合(结果依然是高斯)
  • 3D 降维到 2D 后(沿某一个轴积分)依然是高斯

3DGS 为什么是椭球(实心椭球)

Image
Read more »

FLAME 模型公式

\[ M(\vec{\beta}, \vec{\theta}, \vec{\psi}) = W\big(T_P(\vec{\beta}, \vec{\theta}, \vec{\psi}),\; J(\vec{\beta}),\; \vec{\theta},\; \mathcal{W}\big) \]

这个公式的目的是通过形状、姿态和表情参数生成最终的 3D 面部模型。下面拆解每个部分。

Read more »

Reference:李宏毅机器学习

信息量(Information)

假设 \(X\) 是一个离散型随机变量,其取值集合为 \(\mathcal{X}\),概率分布函数为 \(p(x)=\Pr(X=x),\ x\in\mathcal{X}\),则事件 \(X=x_0\) 的信息量定义为

\[ I(x_0) = -\log p(x_0) \]

Read more »

Reference:李宏毅 2020 机器学习课程(语音识别部分)

语音识别概览

Image
Read more »

Chapter 2: SVD 与伪逆

  • The first \(R\) columns of \(V\) span an \(R\)-dimensional vector space called the row space.
  • The first \(R\) columns of \(U\) span an \(R\)-dimensional vector space called the column space.
  • 二者通过下式联系:

\[ Av_i = w_iu_i,\qquad A^Tu_i = w_iv_i,\qquad i = 1\ldots R \]

  • 剩下的 \(M - R\)\(V\) 的列向量张成零空间 \(\operatorname{Null}(A)\),或核 \(\ker(A)\)。对任意 \(x_\bot \in \operatorname{Null}(A)\),有 \(Ax_\bot = 0\)
  • 剩下的 \(N - R\)\(U\) 的列向量张成 range complement \(\operatorname{range}_\bot(A)\),或余核(co-kernel)。对任意 \(b_\bot \in \operatorname{range}_\bot(A)\)不存在 \(x\) 使得 \(Ax = b_\bot\)
Read more »