Birth and Death of a Rose
提出一个 pipeline,生成随时间演化的 3D 物体序列,同时覆盖几何与材质属性(albedo、roughness、metallic)。这些资产由预训练 2D diffusion model 蒸馏出的信号驱动生成。
Neural Templates:一个以视角和时间为输入、输出所建模自然过程的「temporal state」信息的映射。
关键点是不需要预先设定好的 template,因此该方法可以应用到任意物体上。
提出一个 pipeline,生成随时间演化的 3D 物体序列,同时覆盖几何与材质属性(albedo、roughness、metallic)。这些资产由预训练 2D diffusion model 蒸馏出的信号驱动生成。
Neural Templates:一个以视角和时间为输入、输出所建模自然过程的「temporal state」信息的映射。
关键点是不需要预先设定好的 template,因此该方法可以应用到任意物体上。
目标是构建一个统一且通用的 latent space,使得高质量 3D 生成可以跨多种表示进行。
SVD 使用 EDM 的思想,将离散噪声改进成连续噪声。对于原来的 DDPM,输入的是 \(t\) 这个参数;而 EDM 论文指出,\(t\) 实际上表示的是噪声强度 \(\sigma_t\),应该直接把 \(\sigma_t\) 输入进模型。
所以 EDM 的观点是:与其用离散的 \(t\)
训练一个只认识离散噪声强度的去噪模型,不如训练一个认识连续噪声强度 \(\sigma\) 的模型。这样在采样 \(n\) 步时,不再是选择离散的去噪时刻
[timestep[n], timestep[n-1], ..., 0],而是可以选择连续的噪声强度
[sigma[n], sigma[n-1], ..., 0]。
Reference:yifanzhou 的 SVD 解析
该论文系统地探测了视觉基础模型(VFM)在几何和纹理两个维度上的三维感知能力。以下是主要结论。
因为高斯核有很好的数学性质:
\[ M(\vec{\beta}, \vec{\theta}, \vec{\psi}) = W\big(T_P(\vec{\beta}, \vec{\theta}, \vec{\psi}),\; J(\vec{\beta}),\; \vec{\theta},\; \mathcal{W}\big) \]
这个公式的目的是通过形状、姿态和表情参数生成最终的 3D 面部模型。下面拆解每个部分。
Reference:李宏毅机器学习
假设 \(X\) 是一个离散型随机变量,其取值集合为 \(\mathcal{X}\),概率分布函数为 \(p(x)=\Pr(X=x),\ x\in\mathcal{X}\),则事件 \(X=x_0\) 的信息量定义为
\[ I(x_0) = -\log p(x_0) \]
\[ Av_i = w_iu_i,\qquad A^Tu_i = w_iv_i,\qquad i = 1\ldots R \]