3D人体相关研究总结 Human-3D-Overview

Fri, 05 Mar 2021 00:00:00 +0000

3D人体相关研究总结（Body、Pose、Reconstruction、Cloth、Animation）

前言

本文简要介绍与3D数字人相关的研究，包括常用3D表示、常用3D人体模型、3D人体姿态估计，带衣服3D人体重建，3D衣服建模，以及人体动作驱动等。

常用3D表示

目前3D 学习中，物体或场景的表示包括显式表示与隐式表示两种，主流的显式表示包括基于voxel、基于point cloud、和基于polygon mesh三种，隐式表示包括基于Occupancy Function[1]、和基于Signed Distance Functions[2]两种。下表简要总结了各种表示方法的原理及其相应优缺点。

...

文本视频搜索 Text-to-Video Retrieval

Fri, 07 Feb 2020 00:00:00 +0000

文本视频搜索 Text-to-Video Retrieval

前言

文本视频搜索（Text-to-Video Retrieval）是指给定一句文本描述，在视频库中查找相应视频。与图像文本匹配（Image-Text Matching）相似，研究者们致力于探索如何更好地度量文本和视频之间的相似性。然而相较于文本图像搜索，一方面视频数据采集标注和存储难度大，目前人工标记的高质量数据集较少；另一方面视频内容复杂多变、时长变化大、处理难度高，研究工作的进展也相对较慢。

深度度量学习 Deep Metric Learning

Sun, 03 Nov 2019 00:00:00 +0000

深度度量学习

距离度量学习

在搜索任务中，给定查询样本和候选集合，我们一般采用的步骤是：1）提取样本特征；2）计算查询与候选样本特征之间的距离；3）返回距离最小的候选作为搜索结果。

常用的度量样本之间距离的方法包括欧式距离，余弦距离，汉明距离等。然而单一的距离度量方式难以适用不同场景下的搜索任务，已有的距离方式本身也可能存在缺陷，如欧式距离假设特征所有维度的权重相同，因此如何从数据中学习出有效的距离度量成为许多研究者关注的问题。

距离度量学习（Distance Metric Learning）算法一般是学习一个马氏矩阵，从而两个样本点 $\boldsymbol{x}_{i}$ 和 $\boldsymbol{x}_{j}$ 之间的距离定义为

$$D_{\boldsymbol{M}}(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}) = (\boldsymbol{x}_{i}-\boldsymbol{x}_{j})^\top \boldsymbol{M} (\boldsymbol{x}_{i}-\boldsymbol{x}_{j})$$

距离度量学习在人脸验证和行人再识别场景中研究较多，如 Margin Nearest Neighbor Learning (LMNN)，Information Theoretic Metric Learning...

表示方法	Voxel	Point Cloud	Polygon Mesh	Occupancy Function	Signed Distance Function

Ying Zhang

3D人体相关研究总结 Human-3D-Overview

3D人体相关研究总结（Body、Pose、Reconstruction、Cloth、Animation）

前言

常用3D表示

文本视频搜索 Text-to-Video Retrieval

文本视频搜索 Text-to-Video Retrieval

前言

相关工作介绍

深度度量学习 Deep Metric Learning

深度度量学习

距离度量学习

Ying Zhang

3D人体相关研究总结 Human-3D-Overview

3D人体相关研究总结（Body、Pose、Reconstruction、Cloth、Animation）

前言

常用3D表示

文本视频搜索 Text-to-Video Retrieval

文本视频搜索 Text-to-Video Retrieval

前言

相关工作介绍

[1] Learning Joint Embedding with Multimodal Cues for...

深度度量学习 Deep Metric Learning

深度度量学习

距离度量学习