FaceSwap换脸使用与学习笔记

原理

个人理解,若有错误请指出,谢谢
该程序使用AutoEncoder进行图片的处理和学习

分别输入AB俩个人的图片

输入同一个编码器(编码器的作用把图片进行一定的混淆和加干扰),然后分别对应A_out,B_out俩个输出器,一直长时间进行的训练,直到输出器能够在
存在干扰的情况下输出正常的图片,其中的loss就是差异比率,自写的loss算法进行对比图片差异,训练的过程本质就是降低loss的比率,
等训练到一定程度,我们讲A的图片通过B_out进行输出,这个时候B_out这个输出器以为我们输入的是一张存在干扰的B的图片,然后就会把脸部修复成B的样子,从这里实现了换脸,

不同的训练模型对应的就是
只换脸部 同时输入脸部和去掉脸部的头部信息,输出图片

换头部(SAE)
就是输入整个头部信息在等待输出

实际过程应该是
AB使用同一个encoder(即相同的混淆器),然后分别使用各自的Decoder进行解码,然后在通过自定义的Loss取得差异度,然后不断的进行降低差异度的操作,在一定程度的时候将B进行encoder之后调用A的Decoder进行解码,这个时候DecoderA以为输入的是A的脸,然后进行了一定的修复还原成A的脸,达到了换脸的目的。


注:图片来源知乎 https://zhuanlan.zhihu.com/p/34042498

安装方法

这里使用ubuntu 18.04作为系统环境
首先安装Nvida的驱动

sudo apt-get install software-properties-common
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo ubuntu-drivers autoinstall
apt install docker.io

然后使用docker安装FaceSwap

1 首先安装

https://github.com/NVIDIA/nvidia-docker


# Add the package repositories
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl restart docker
apt install nvidia-docker2

2 安装Docker和环境

docker build -t deepfakes-gpu -f Dockerfile.gpu . #如果是cpu则用cpu的file

3 启用

无GUI模式

nvidia-docker run --rm -it -p 8888:8888 \
            --hostname faceswap-gpu --name faceswap-gpu \
            -v /root/faceswap:/srv \
            deepfakes-gpu

开启GUI模式(需要装桌面环境)


nvidia-docker run -p 8888:8888 \
            --hostname faceswap-gpu --name faceswap-gpu \
            -v /root/faceswap:/srv \
            -v /tmp/.X11-unix:/tmp/.X11-unix \
            -e DISPLAY=unix$DISPLAY \
            -e AUDIO_GID=`getent group audio | cut -d: -f3` \
            -e VIDEO_GID=`getent group video | cut -d: -f3` \
            -e GID=`id -g` \
            -e UID=`id -u` \
            deepfakes-gpu

使用方法

首先需要准备俩个视频,最好都是正面的人脸视频,无干扰,我这里采用郭德纲和马云的俩个视频,分别作为AB进行输入

基本都是正面无其他人物,

1 提取人像

#表示从guo.mp4中提取人像输出目录到/out/guo中
docker exec -it faceswap-gpu python /srv/faceswap.py extract -i /srv/video/guo.mp4 -o /srv/video/out/guo/

#表示从ma.mp4中提取人像输出目录到/out/ma中
docker exec -it faceswap-gpu python /srv/faceswap.py extract -i /srv/video/ma.mp4 -o /srv/video/out/ma/

2 开始训练

这里要注入,A和B的顺序,表示将B的脸训练到A上,最终的效果也就是把马云的脸换到郭德纲身上
这个指令是只替换脸部,不包括眉毛,下巴脑门等,如果需要整个脸部替换需要用SAE方式进行学习

docker exec -it faceswap-gpu python /srv/faceswap.py train -A /srv/video/out/new/guo/ -B /srv/video/out/new/ma/ -m /srv/video/out/new/guo2ma/

SAE模式,只需要加上参数 -t dfl-sae即可

docker exec -it faceswap-gpu python /srv/faceswap.py train -A /srv/video/out/t/ -B /srv/video/out/me/ -m /srv/video/out/t2me/ -t dfl-sae

开始训练之后会看到这样的输出

一般是从0.1x开始下降,一般下降到0.3一下就能看出模子了,训练的时间越长相似度就越高,我训练了大概12个小时,采用的Tesla P100 16G的显卡,效果大概如下

模型复用

修改SRC

模型复用最好的效果是保持A不变,修改B的图片,在之前马云和郭德纲的基础上,我将马云换成了赵丽颖,这样大概只训练了1-2个小时就出了非常好的结果,正常来说至少需要5-6个小时才能达到的效果


原始头像:

修改DST

现在我们换一下,将郭德纲改为B,即来源,将A换成赵丽颖,即将郭德纲的脸替换到赵丽颖的视频中,使用的模型基础为之前郭德纲和马云的底包,大概训练了1-2个小时左右的效果
可以发现非常模糊,原因有俩个
1 是郭德纲视频本身像素较低,而赵丽颖的像素较高导致了差异较大
2 我猜测可能是因为换了DST的原因,一般是推荐不换DST只换SRC即B

将DST改为SRC,SRC改为新面孔

我尝试使用郭德纲和马云的底包,将A改成郭德纲,B改为王思聪,最后训练的结果和马云郭德纲的结果几乎一样

docker exec -it faceswap-gpu python /srv/faceswap.py train -A /srv/video/out/new/guo/ -B /srv/video/out/new/wsc/ -m /srv/video/out/new/ww2guo/

王思聪,郭德纲

马云,郭德纲

结论

最好的使用方法是AB保持不变,也就是专人专用,
其次的方案是A不变,可以修改B,即被贴脸的视频不变,修改贴上去的面孔。
在其次是B不变可以修改A,即贴脸的视频不变,修改被贴脸的视频
效果最差的是AB都修改
以上结论是使用相同底包,训练基本都是1-2个小时左右。

参考资料

原理解析
原理解析2
模型复用
桌面环境安装
FaceSwap-GAN

标签: none