国外小哥开发了“变脸”软件Avatarify 并将其开源
疫情期间,很多人都在用 Zoom 和 Skype 等软件进行视频会议。国外一位开发小哥觉得这样开会太无聊,于是基于first-order-model开发了一个能够把别人的照片套在自己脸上的“变脸”软件Avatarify,并将其开源。
看过电影阿凡达(Avatar)的朋友应该对这款软件的立意并不陌生,简单理解就是把别人的脸套在自己的表情上实时驱动。Avatarify 的作者 Ali Aliev 最初只是想逗一下在 ZOOM 上开会的同事,在视频会议期间将一些名人的脸实时叠加到自己的脸上。于是他参考了发表在 arxiv 上的一篇论文 “First Order Motion Model for Image Animation”,并基于论文中的开源项目 first-order-model 构建了 Avatarify。如图所示,作者使用 Avatarify 模仿马斯克与同事进行视频会议:
与其他 AI 人脸交换技术(如 deepfakes)类似,Avatarify 的算法是在你想交换的脸上训练的,即训练材料是你想要模仿的人的脸部图像。该模型通过在目标的相似类别(比如人脸)上训练算法,实现了面部表情的实时呈现。但由于该软件对视频进行的是实时处理,即需要同时打开视频会议、Avatarify 等软件,因此对于 GPU 的要求比较高(作者用的是 1080 Ti,勉强达到 33 FPS)。
GPU :越强越好,以下是作者使用的不同显卡的帧数参考:
GeForce GTX 1080 Ti:每秒 33 帧
GeForce GTX 1070:每秒 15 帧
GeForce GTX 950:每秒 9 帧
可以看到 1080 Ti 才能勉强不掉帧,想玩的同学量力而行......
PS:也可以在 Google 的 Colab 上进行远程测试,用谷歌的硬件来跑,在国外的朋友可以试试。
摄像头一个
下载训练好的神经网络权值:
Dropbox
Yandex.Disk
Google Drive
不同操作系统的朋友往下看:
Linux
使用v4l2loopback创建虚拟摄像头
1.下载Miniconda Python 3.7,运行安装命令:
2.克隆avatarify镜像仓库,并安装相关依赖项 (需要 sudo 权限):
3.把之前下好的网络权值文件vox-adv-cpk.pth.tar放在avatarify的目录下 (注意不要解压)。
Windows 10
1. 安装Miniconda Python 3.7。
2. 安装Git。
3. 点击开始菜单,在运行中输入"miniconda". 根据提示运行 Anaconda Prompt 。
4. 输入以下指令下载并安装 Avatarify :
5. 把之前下好的网络权值文件vox-adv-cpk.pth.tar放在avatarify的目录下 (注意不要解压)。
6. 运行run_windows.bat如果安装成功,桌面会打开两个摄像头界面(一个是默认摄像头,一个是 avatarify 摄像头),不要关闭它们进行下一步。
7. 安装OBS Studio以抓取 Avatarify 摄像头的内容(主播直播常用的后台软件)。
8. 安装VirtualCam插件. 选择Install and register only 1 virtual camera.
9. 运行 OBS Studio。
10. 点击来源一栏中的“+” —— 窗口捕获 —— 选择添加现有一栏中的 "[python.exe]: avatarify" —— 编辑 —— 转换 —— 自适应屏幕。
11. 在 OBS Studio 中, 点击工具栏 —— VirtualCam,选择自动启动,缓冲帧设置为 0,开始。
现在OBS-Camera可以在 ZOOM 或其他视频会议软件中使用了。(10-11 步只需要设置一次)
除了 Linux 和 Windows 10 以外,作者还提供了 Mac 操作系统和一种连入 Google 平台的远程测试方法,详情请点击。
作者在 Avatarify 项目中提供了一组名人的标准化身(爱因斯坦、蒙娜丽莎等),你也可以把其他你想变成的名人的图片素材放到 avatars 文件夹里,但注意要遵循以下规则:
1、人物图片最好为正方形。
2、参考文件夹里的默认图片,人物面部距离不宜太远或太近。
3、人物图片背景不宜太过复杂,单一色调为佳。
先打开 Avatarify 再打开视频会议软件。
Linux
运行脚本指令创建虚拟摄像机/dev/video9,可在scripts/settings.sh修改对应配置。
可以运行指令v4l2-ctl--list-devices显示系统中的所有设备。
运行:
弹出cam和avatarify窗口,cam窗口用来控制面部位置,avatarify窗口可以预览 Avatar。
Windows 10
在 Anaconda Prompt 中运行:
打开 OBS Studio,此时OBS-Camera上将显示 Avatarify 处理后的人物面部。
2. 弹出cam和avatarify窗口,cam窗口用来控制面部位置,avatarify窗口可以预览 Avatar。
注意:如果视频延迟过高,可以在 OBS Studio 中右键单击“预览”窗口,然后取消选中“启用预览”。
按键 | 功能 |
1-9 | 快速切换准备好的 Avatar |
Q | 打开StyleGAN生成的 Avatar,每按下一次新的 Avatar 会被采样 |
0 | 开启/关闭 Avatar |
A/D | 切换上一个/下一个 Avatar |
W/S | 打开/关闭 ZOOM 摄像头 |
U/H/J/K | 调整摄像头位置,H-左移,K-右移,U-上移,J-下移(每次移动 5 像素,与 Shift 键一起按移动 1 像素)。 |
Shift-Z | 重置摄像头位置 |
Z/C | 调整原像透明度 |
X | 重置参考帧 |
F | 切换参考帧搜索模式 |
R | Mirror reference window. |
T | Mirror output window. |
L | 重新载入 Avatar |
I | 显示 FPS |
ESC | 退出 |
按键
功能
1-9
快速切换准备好的 Avatar
打开StyleGAN生成的 Avatar,每按下一次新的 Avatar 会被采样
开启/关闭 Avatar
A/D
切换上一个/下一个 Avatar
W/S
打开/关闭 ZOOM 摄像头
U/H/J/K
调整摄像头位置,H-左移,K-右移,U-上移,J-下移(每次移动 5 像素,与 Shift 键一起按移动 1 像素)。
Shift-Z
重置摄像头位置
Z/C
调整原像透明度
重置参考帧
切换参考帧搜索模式
Mirror reference window.
Mirror output window.
重新载入 Avatar
显示 FPS
ESC
退出
Avatarify 支持任何视频会议应用程序,只要其中的视频输入源可以更改即可(ZOOM、Skype、Hangouts、Slack…)。聪明的朋友已经准备好了吴彦祖的 Avatar,开始和你的朋友视频吧。(当然,前提是你得有个 1080 Ti 以上的显卡)
标签: 变脸软件
相关阅读
-
api-ms-win-core-bicltapi-l1-1-0.dll文件丢失如何修复?|热点在线
api-ms-win-core-bicltapi-l1-1-0 dll通常存储在Windows操作系统的系统
2023-06-08 -
api-ms-win-core-bicltapi-l1-1-0.dll文件丢失如何修复?|热点在线
api-ms-win-core-bicltapi-l1-1-0 dll通常存储在Windows操作系统的系统
2023-06-08
精彩推荐
阅读排行
相关词
- 天天速读:两部门印发通知:举办全国和美乡村篮球大赛
- 向海图强!海洋经济“扬帆远航”_环球讯息
- csgo国服不能开箱子吗?csgo国服开箱子详细介绍
- wmvdspa.dll损坏修复方法
- 如何解决出现olepro32.dll加载错误的问题
- Win7运行Wegame蓝屏出现该怎么应对
- 天天要闻:实控人被列入失信被执行人名单,加加食品的股价持续下跌
- storport.sys蓝屏无限重启应该如何应对
- 潘功胜回应汇率波动:我国外汇市场将有条件保持较为平稳运行状态
- 德阳市旌阳区人大常委会调研区农村集体经济发展情况
- 新疆皮山机场新建工程选址报告获中国民航局批复 环球速看料
- 每日观点:政府当“红娘”,企业来“相亲” 这场产销对接会为四川纺织服装产业送福音
- 德阳市旌阳区双东镇“三强化”提升基层人才能力|世界快消息
- 浙江空管分局首次建设完成国产化导航台设备
- 顶烈日 战高温 什邡公安交警为高考保驾护航
- 世界微资讯!线上线下齐发力 全民共享“四川非遗购物节”
- 世界快讯:移动廊道亮相广州白云机场 为远机位乘机旅客撑“伞”
- 天天快看点丨海南海洋乐园大盘点~别收藏,我怕你玩不过来
- 山东机场:强化“四心宣讲”奏响“空港乐章”|每日动态
- 天津航空:为旅客提供安心的出行保障
- 【环球播资讯】南充蓬安:护航高考 交警同行
- 南充顺庆:爱心助考 “电”亮未来
- 环球热资讯!emulator64.dll丢失如何修复
- PEX启动蓝屏出现应该如何应对 世界简讯
- 践行“绿水青山就是金山银山”通过设立巡逻队来禁止渔民非法采集珊瑚 并吸纳渔民进入景区就业|环球微头条
- 2023年6月大学生村官考试公告汇总
- 环球快报:生存冒险游戏《血清》新预告 支持简体中文
- 天天最资讯丨应急管理部:今年以来生产安全事故起数和死亡人数持续下降 但重特大事故有所反弹
- 微动态丨威高骨科:脊柱、创伤、关节三大领域全部集采并落地执行
- 康泰医学:暂无脑机接口相关产品
- 士兰微:65亿定增获证监会批文 IDM龙头加速汽车芯片产品升级
- 李云泽:下好风险前瞻防控先手棋 以更加主动态度应对风险隐患-全球今亮点
- 全球热讯:中级经济师《金融》每日一练(2023.06.08)
- 腾讯《无畏契约》国服今日终测 20名英雄爽玩 天天报资讯
- 永远杀不完 任天堂发布《塞尔达》历代总BOSS加农集锦_焦点速读
- 世界新资讯:君禾股份:未来预期随着海外库存消耗及消费市场逐步复苏 水泵主业会呈现复苏反弹
- 2023山西太原市古交市招聘社区专职社工体检和考察公告_天天时快讯
- 易纲:坚决把绿色金融工作摆在突出位置,实现“3060”目标需要胡萝卜加大棒
- 2023年山东泰安肥城市城市社区专职工作者招录进入面试范围人员递补名单(第三批)_时讯
- 每日看点!隔夜SHIBOR报1.3390% 下降6.50个基点 7天SHIBOR报1.8500%
- 世界快播:华菱钢铁:目前废钢资源相对稀缺成本较高,长流程炼钢更具经济性
- 全球消息!易会满:进一步打通痛点堵点,为机构投资者入市创造更加有利环境
- 《神秘岛》开发商新作《苍穹乾坤》使用AI辅助开发 引众筹者不满
- 天天头条:五大行再次下调存款利率
- 客人去哪了?五一后各地餐饮生意直线下滑,突然就没人了
- 当前快看:理想汽车在青岛成立销售公司
- 潘功胜:中国稳健金融周期为经济和金融市场运行提供适宜环境
- 美国社交电商再起波澜:TikTok商城开张,Meta却要闭门做生|今日快看
- 世界快资讯:上海再保险“国际板”正式启动
- 特别好评RPG游戏《恐怖的世界》 完整版10月19日上线|环球精选
- 易会满:持续加大对伪私募、地方交易场所等重点领域风险的整治
- 十元店重回巅峰:新穷人与日本1990s
- 每日快报!教育股震荡走低 国新文化跌超8% 荣信文化跌逾7%
- 全球快讯:央行潘功胜:人民币债券具有良好的投资组合分散化价值
- 国产大飞机开启常态化商业运行:C919带动产业链一起飞 市场规模有望达万亿元量级
- U盘安装系统时蓝屏怎么解决 全球头条
- ROG蓝屏后该采取什么解决方法来重启 世界快报
- 中国地震局:国家地震烈度速报与预警工程已完成主体建设任务 焦点讯息
- win10启动就蓝屏是怎么回事 全球热点
- 环球头条:华硕笔记本acpi蓝屏该如何解决
- 世界最资讯丨打击违规销售作弊器材行为 海南省市场监管部门多措并举为高考中考保驾护航
- 每日热议!永劫无间蓝屏死机应该如何处理
- KMODE蓝屏出现应该如何处理 全球观热点
- 携程集团发布2023年第一季度财报
- 甘肃省华亭市东华镇市场监管所开展农村夏季食品安全专项检查_环球热资讯
- 深圳市市场监管局总部经济审批服务“全市通办”正式落地
- 解码开化(一) 文旅产业:从“高看一眼”“棋高一招”到“焕然一新”
- 第五届京津冀石墨烯大会在北京房山举办,加速三地产业链深度融合
- 高考期间海南天气如何?未来两天多云有雷阵雨 焦点速读
- 别被“蚊蝇通杀”迷了眼
- 啥是海洋?直播带你一起看 天天快看点
- 内罗毕:低碳和电动交通载具展 天天观速讯
- 环球播报:斯诺克新星赵心童为涉赌遭禁赛道歉
- 《沙石镇时光》:1.0版本发售日期公布!通过“塑造你的未来”预告片为前方的秘密和危险做好准备 世界独家
- 关注眼健康亟须全社会行动起来
- 哈利波特魔法觉醒怎么尊享眉色 尊享眉色方法攻略 环球速看
- 甘肃省华亭市市场监管局多举措保障中高考期间食品安全 环球新动态
- 第19届深圳文博会人气旺 每日快报
- 甘肃省嘉峪关市市场监管局镜铁分局全力保障高考期间食品和特种设备安全
- 河北沙河:太行古村落焕发新活力_天天快播
- 世界百事通!晋陕峡谷遇奇石
- “共建首都跨境电商新生态”系列活动在京启动 每日热门
- 环球看热讯:汉字工坊上班不带饭怎么过 找出9个公司吃的答案分享
- 甘肃省张掖市新墩市场监管所“三力齐发”加强中高考期间特种设备安全保障_环球热推荐
- 快消息!小心,这种眼疾易盯上上班族
- 眼药水怎样使用才正确
- 当前讯息:机器人:公司基本实现了35kg以下新款机器人减速器的国产化替代
- 华菱钢铁:钢材产品在新能源新材料领域需求前景将持续向好-天天通讯
- 今早发布!雷雨!_天天即时
- 全球快报:云顶之弈s9暗影岛格温阵容攻略 s9赛季暗影岛格温阵容搭配
- 江苏“智造”夯牢实体经济“家底”
- 加拿大野火烟尘飘至美国 部分地区被烟尘笼罩
- 【环球时快讯】文字玩出花无法原谅怎么过 无法原谅十二处细思极恐在哪
- 环球快播:百亿授信!民生银行与协鑫集团达成全面战略合作
- 前5月外贸保持稳定增长 制造业转型升级塑造出口新动能
- 简讯:江苏油田页岩油累产突破4万吨
- 让城市成为“开放的艺术馆”(金台随笔) 视点
- 易会满:适时出台资本市场进一步支持高水平自立自强的政策措施 全球报道
- 【全球聚看点】河南麦收进度过八成 夏播已完成近五成
- 今起,在锡启幕!
- 两大国际组织上调中国2023年经济增长预期
- 仲景食品:公司产品以国内销售为主 出口业务占比较小-每日速看
- 天天速递!U盘装系统进入PE蓝屏该采取什么解决方法
- 充满算计!日美澳在南太铺光缆,日媒炒“抗衡中国影响力” 焦点热门
- 重点聚焦!力箭一号火箭的专属发射工位长什么样?
- 袁明辉:拍摄下来记录下来用自然摄影留住那些美好
- 扫码支付已在国内迅速发展普及 刷掌支付是否还有市场前景
- “去风险”成脱钩新马甲
- 环球微资讯!360qpesv.sys导致蓝屏该采取什么解决方法
- 【新要闻】北海市海城区地角街道辖区率先完成第二季度食品安全“两个责任”包保工作
- 国家开发银行前5个月发放交通领域贷款2687亿元
- 当前视点!带火原料药企,马斯克加持的“减肥神药”又火了
- 什么是股份制企业?股份制企业和私营企业的区别有哪些?
- 怎么才能正确安装python39.dll
- 全球连线|对两国合作机遇充满期待——洪都拉斯各界热议中国驻洪使馆开馆
- 兰州新区召开第二季度落实食品安全“两个责任”推进会议
- 民泰银行绍兴分行创新产品助共富系列① | 动产融资业务,为民播下“共富”希望-世界实时
- 【世界快播报】我国外贸连续4个月保持正增长
- 偷渡罪一般判多少年?偷渡人员怎么正规回国?
- 吉利雷达以“真乘用化”撬动市场,5月销售1016台创历史新高 焦点资讯
- 故意伤害致人死亡如何处罚?故意伤害致死赔偿多少?
- “6·6”全国爱眼日公益讲座在京举办
- 上古诸神:卡牌对战官网在哪下载 最新官方下载安装地址 环球热推荐
- 天天头条:电脑中缺失alrsvc.dll文件应该怎么处理
- 赡养费标准是什么?不给赡养费最严重的后果有哪些?
- 只允许跟院方合作民营救护车辆进入?医院回应
- 涉案金额959万元!海口曝光9家定点医疗机构
- 世界快播:如何解决电脑端丢失rasmans.dll提示问题
- 微资讯!江西省新余市市场监管局:强化建材质量监管 守牢质量安全防线
- 【快播报】警惕“负首付”骗贷
- 财产税有哪些税种?所得税和财产税的区别有哪些?
- 高考第二天部分地区已公布查分时间 胜利在望,加油少年!|全球快看点
- 青海省海西州四项措施为“中高考”保驾护航_每日看点
- 嫖娼拘留多少天?初次涉黄拘留几天?
- 青海省市场监管局发布中高考期间食品安全消费提示 天天热门
- 浙江金华婺城区:天然富硒,“硒”望之旅
- mtfutils.dll缺失如何恢复
- 忘了车限号开了一天罚多少钱?郑州限行免罚有几次机会?
- 焦点快播:网红化妆大师官网在哪下载 最新官方下载安装地址
- 动态:量子密钥分发攻防研究获重要进展
- 什么是违法所得?违法所得和非法财物的区别有哪些?
- 仙迹之九州神剑官网在哪下载 最新官方下载安装地址|今热点
- 工程预付款是怎么规定的?工程预付款为什么要扣回?
- 种一颗牙便宜多少钱?海南打出种植牙降价“组合拳”
- 劳动合同法第38条是什么内容?公司不辞退故意调岗怎么赔偿?
- 无证驾驶怎么处罚?无证驾驶会被马上拘留吗?
- 当前时讯:生存冒险游戏《血清》新预告 拥有4人合作模式
- 天天观热点:岭南街道构建“一网二联三队伍”服务模式,为社区长者健康保驾护航
- 通信业全力保障高考|莘莘学子逐梦未来 通信业全力护航
- 焦点观察:华为品质宽带智能运维系统荣获CAICT光接入网L3.5等级认证