通过AR投影和模块化的画板,让用户将照片、数字图片画成艺术品
最近,有许多开发者将AR技术应用在创作上,比如:今年CES上Cupixel曾展示AR临摹套件,通过AR投影和模块化的画板,让用户将照片/数字图片画成艺术品。另外,还有支持AR模式的填色簿,用AR在周围空间中创作3D图画的应用等。
本周,谷歌创意实验室(Google Creative Lab)也研发了一种相似的技术:Drawalong AR(一起画AR)原型应用,可以让你将YouTube绘画教学视频投射在白纸上,让你跟随着老师的画笔一起学画画。
据青亭网了解,参与Drawalong AR项目的作者Jane Friedhoff最初的灵感是希望用AR来学习绘画字,她表示:学习绘画字很让人放松,但难度也不小。掌握字里行间的变化需要注意到很微妙的细节,比如:握笔的方式、力道、字体的弧度,总之你的上肢到纸张之间的每个部分都很重要。
因此,如果没有老师手把手教你绘画字,就只能通过字帖或者视频来学,但它们并不能达到效果。比如字帖,尽管它能提供一步一步的指导,但是你get不到大师行云流水的笔触,而且她喜欢的一些绘画字艺术家没有出字帖。
而视频教程的话,它的缺点是你需要一边临摹一边看视频,比较麻烦,效果还不够好。
后来Friedhoff和同事讨论这个问题,想到一个主意,就是利用AR技术,这样就能把视频变成字帖,同时给现有的YouTube视频教程带来全新的学习体验。
为了做出这样一款原型AR应用,Friedhoff邀请了专业画涂鸦画的YouTube博主AmandaRachLee当顾问。据悉,Amanda的订阅人数达130万,她的频道内容主要将如何攻克和简化书法、绘画、做手账遇到的难题,很多人因为她的视频而受益。
一、开发原型应用
在决定将YouTube视频作为该AR应用内容来源之前,Friedhoff和团队在UI和UX方面进行了许多技术性考量。
他们先是以HelloAR示例为基础设置了一个新的Unity ARCore应用,原理是在HelloAR中用来识别和可视化平面,以及处理投射和锚点的代码中,将默认prefab换成“tracing paper”(描图纸)。
尽管设置视频的投射功能不难,但是如何让AR影像固定在纸张上,就比较复杂了。
相比之下,Cupixel通过将画板拆分成9个左右的小模块,就会比较利于你将AR影像与纸上的画对齐,而且用户还需要将开启Cupixel应用的设备固定在脚架上。
二、保持稳定的追踪
AR与绘画结合,产生了一个难题。因为如果要画画,你会想在平滑的空白表面上完成,但是AR识别平面需要找到特征点,最理想的就是具有纹理、轮廓和色差等特征的环境。
追踪对于临摹来讲至关重要,因此AR投影对于追踪的要求很高。为了解决这一问题,Friedhoff和团队想到了以下办法:
1,将图像锁定在屏幕某处:这个技巧类似于投影描图器,它要求摄像头固定,因此你可能需要用三脚架来固定移动设备。不过Friedhoff希望Drawalong应用的用户能够用手拿着手机,还能够放大、旋转AR图像以及改变视角。
2,在画板上设置AR标记:这种标记可以是手绘,也可以是打印的,关于标记的数量,则是越多越好。不过Friedhoff表示:这种方式比较繁琐,而且用户画画的表面就不是空白的了。
3,进步式AR标记、计算机视觉/机器学习技术:利用计算机视觉和机器学习算法,用户画的图可作为进步式AR标记,也就是说AR应用可根据用户的笔触一步一步追踪。不过这种方法过于繁琐,Friedhoff暂时不希望将它用在实验性应用中。
4,固定画板:这个方法的原理是,将画板固定在有纹理或色差的平面上,然后利用摄像头来追踪画板下方的平面。
Friedhoff和团队认为第四种方法最简单,也许以后还可以与YouTube正式结合,找到更多应用场景。
找到了合适的追踪方法,他们便从Unity资源商店下载了YouTube播放器资源,在这个资源中你可以搜索YouTube视频,然后以垂直或水平的方式投射到平面上。
三、寻找适合的UI/UX
像Amanda这样的博主,已经上传视频5年了,积累了大量素材,如果给她过往的视频添加支持AR的功能,肯定是步骤能越简单越好。因此,Friedhoff和团队找到了6种解决这个问题的办法。
1,将AR功能加在适合移动的视频内容中:Friedhoff和团队认为,AR临摹有两种方法,一种是直接在纸上临摹,另一种是将AR影像投射在已有的画作上,然后再润色,或者你可以将AR影像投射在已经有涂鸦的手账上,在其中的空白处临摹AR图。
另外,对于那些不是从头顶拍博主画画的视频来说,也可以在AR应用中加入倾斜、变形和视角调整的功能,这种功能对于有点角度的拍摄来讲会有效果。
2,让视频速度可调:有些新手可能慢一点,希望视频也能跟随他们的速度,有些专业点的观众也许希望视频快一点,在有需要的时候再减慢速度,因此AR投影也能调整速度效果会很好。
同时,也可以在应用中加入方便用户点击的暂停键,你按下去的时候视频会暂停,手松开就会继续播放。
3,控制AR模式的时长:对于移动端AR来讲,用户长时间举着手机来查看AR可能会很累。而通常绘画视频的长度在5到10分钟左右,如果全程都是AR,用户可能吃不消,因此可以在有需要的地方加入AR模式,以此来降低长时间举手机给用户带来的疲劳。
Friedhoff和团队做了一个全屏按钮,可以让用户随时在AR和非AR的全屏模式之间切换,切换过程很快,而且追踪的效果不会受到影响。另外一种用法是,用户还可以对着非AR视频画,然后再切换到AR模式进行对比。
总之,就是考虑到用户的舒适度,以及他们希望使用AR模式的时长。
4,支持透明度和色度调整!!
如果直接将YouTube视频投射在画板上,用户可能会看不到自己的画笔和手,这就有点像闭眼睛画画,很难保证准确度。
透明度方面,Friedhoff和团队做了一个透明度滑动器,支持完全透明到完全不透明(0到1)之间的调整。
然而这样还不够,因为绘画视频中的画板也是白色的,属于不需要的图像,它只会遮挡用户使用的画板。但是,当你提高白色透明度的时候,视频中的其他颜色可能会更加透明,不容易看到。
因此,他们决定尝试色度调整的方式,他们称之为“穿透”模式。色度调整功能可以让你将图像或者视频中的特定色彩换成别的颜色,原理与绿幕差不多。也就是说,通过色度调整,你可以将白色替换成透明色,或者直接显示用户画画的动态像素。总之,这个功能大大提高了AR临摹的效果。
此外,如果色度调整后,有些线条看不太清楚,也可以在AR应用中加入着色器,来补充缺失的线条色彩,或者调整对比度。
不过光是靠透明度和色度调整两个功能,Friedhoff和团队的应用就足以生成效果够好,且方便使用的AR投影了。
四、AR临摹的好处/用途
应用做出来之后,Friedhoff拿给Amanda体验,得到了积极的反馈。Amanda表示,粉丝们可以通过AR视频来模仿她画画的手势和笔触。同时,AR临摹应用也可以用于学习外语的写法。就像前不久,苹果CEO蒂姆·库克来访中国的时候,就曾拜访一家AR教育公司,用AR学习写中文。
有了AR临摹,你不需要字帖就能体验到更好的效果,而且YouTube上的资源素材也很多。
对于博主来讲,将YouTube视频与AR结合的过程不复杂,而且也不会改变原视频内容。而对于观众来讲,Drawalong AR应用使用起来很方便,而且有一种老师手把手教你的感觉。
最后,Friedhoff表示:这是一个成功的实验,我们很期待未来能有更多内容创作者将AR与教学视频结合。
相关阅读
精彩推荐
阅读排行
相关词
- 2023山西太原市古交市招聘社区专职社工体检和考察公告_天天时快讯
- 易纲:坚决把绿色金融工作摆在突出位置,实现“3060”目标需要胡萝卜加大棒
- 2023年山东泰安肥城市城市社区专职工作者招录进入面试范围人员递补名单(第三批)_时讯
- 每日看点!隔夜SHIBOR报1.3390% 下降6.50个基点 7天SHIBOR报1.8500%
- 世界快播:华菱钢铁:目前废钢资源相对稀缺成本较高,长流程炼钢更具经济性
- 全球消息!易会满:进一步打通痛点堵点,为机构投资者入市创造更加有利环境
- 《神秘岛》开发商新作《苍穹乾坤》使用AI辅助开发 引众筹者不满
- 天天头条:五大行再次下调存款利率
- 客人去哪了?五一后各地餐饮生意直线下滑,突然就没人了
- 当前快看:理想汽车在青岛成立销售公司
- 潘功胜:中国稳健金融周期为经济和金融市场运行提供适宜环境
- 美国社交电商再起波澜:TikTok商城开张,Meta却要闭门做生|今日快看
- 世界快资讯:上海再保险“国际板”正式启动
- 特别好评RPG游戏《恐怖的世界》 完整版10月19日上线|环球精选
- 易会满:持续加大对伪私募、地方交易场所等重点领域风险的整治
- 十元店重回巅峰:新穷人与日本1990s
- 每日快报!教育股震荡走低 国新文化跌超8% 荣信文化跌逾7%
- 全球快讯:央行潘功胜:人民币债券具有良好的投资组合分散化价值
- 国产大飞机开启常态化商业运行:C919带动产业链一起飞 市场规模有望达万亿元量级
- U盘安装系统时蓝屏怎么解决 全球头条
- ROG蓝屏后该采取什么解决方法来重启 世界快报
- 中国地震局:国家地震烈度速报与预警工程已完成主体建设任务 焦点讯息
- win10启动就蓝屏是怎么回事 全球热点
- 环球头条:华硕笔记本acpi蓝屏该如何解决
- 世界最资讯丨打击违规销售作弊器材行为 海南省市场监管部门多措并举为高考中考保驾护航
- 每日热议!永劫无间蓝屏死机应该如何处理
- KMODE蓝屏出现应该如何处理 全球观热点
- 携程集团发布2023年第一季度财报
- 甘肃省华亭市东华镇市场监管所开展农村夏季食品安全专项检查_环球热资讯
- 深圳市市场监管局总部经济审批服务“全市通办”正式落地
- 解码开化(一) 文旅产业:从“高看一眼”“棋高一招”到“焕然一新”
- 第五届京津冀石墨烯大会在北京房山举办,加速三地产业链深度融合
- 高考期间海南天气如何?未来两天多云有雷阵雨 焦点速读
- 别被“蚊蝇通杀”迷了眼
- 啥是海洋?直播带你一起看 天天快看点
- 内罗毕:低碳和电动交通载具展 天天观速讯
- 环球播报:斯诺克新星赵心童为涉赌遭禁赛道歉
- 《沙石镇时光》:1.0版本发售日期公布!通过“塑造你的未来”预告片为前方的秘密和危险做好准备 世界独家
- 关注眼健康亟须全社会行动起来
- 哈利波特魔法觉醒怎么尊享眉色 尊享眉色方法攻略 环球速看
- 甘肃省华亭市市场监管局多举措保障中高考期间食品安全 环球新动态
- 第19届深圳文博会人气旺 每日快报
- 甘肃省嘉峪关市市场监管局镜铁分局全力保障高考期间食品和特种设备安全
- 河北沙河:太行古村落焕发新活力_天天快播
- 世界百事通!晋陕峡谷遇奇石
- “共建首都跨境电商新生态”系列活动在京启动 每日热门
- 环球看热讯:汉字工坊上班不带饭怎么过 找出9个公司吃的答案分享
- 甘肃省张掖市新墩市场监管所“三力齐发”加强中高考期间特种设备安全保障_环球热推荐
- 快消息!小心,这种眼疾易盯上上班族
- 眼药水怎样使用才正确
- 当前讯息:机器人:公司基本实现了35kg以下新款机器人减速器的国产化替代
- 华菱钢铁:钢材产品在新能源新材料领域需求前景将持续向好-天天通讯
- 今早发布!雷雨!_天天即时
- 全球快报:云顶之弈s9暗影岛格温阵容攻略 s9赛季暗影岛格温阵容搭配
- 江苏“智造”夯牢实体经济“家底”
- 加拿大野火烟尘飘至美国 部分地区被烟尘笼罩
- 【环球时快讯】文字玩出花无法原谅怎么过 无法原谅十二处细思极恐在哪
- 环球快播:百亿授信!民生银行与协鑫集团达成全面战略合作
- 前5月外贸保持稳定增长 制造业转型升级塑造出口新动能
- 简讯:江苏油田页岩油累产突破4万吨
- 让城市成为“开放的艺术馆”(金台随笔) 视点
- 易会满:适时出台资本市场进一步支持高水平自立自强的政策措施 全球报道
- 【全球聚看点】河南麦收进度过八成 夏播已完成近五成
- 今起,在锡启幕!
- 两大国际组织上调中国2023年经济增长预期
- 仲景食品:公司产品以国内销售为主 出口业务占比较小-每日速看
- 天天速递!U盘装系统进入PE蓝屏该采取什么解决方法
- 充满算计!日美澳在南太铺光缆,日媒炒“抗衡中国影响力” 焦点热门
- 重点聚焦!力箭一号火箭的专属发射工位长什么样?
- 袁明辉:拍摄下来记录下来用自然摄影留住那些美好
- 扫码支付已在国内迅速发展普及 刷掌支付是否还有市场前景
- “去风险”成脱钩新马甲
- 环球微资讯!360qpesv.sys导致蓝屏该采取什么解决方法
- 【新要闻】北海市海城区地角街道辖区率先完成第二季度食品安全“两个责任”包保工作
- 国家开发银行前5个月发放交通领域贷款2687亿元
- 当前视点!带火原料药企,马斯克加持的“减肥神药”又火了
- 什么是股份制企业?股份制企业和私营企业的区别有哪些?
- 怎么才能正确安装python39.dll
- 全球连线|对两国合作机遇充满期待——洪都拉斯各界热议中国驻洪使馆开馆
- 兰州新区召开第二季度落实食品安全“两个责任”推进会议
- 民泰银行绍兴分行创新产品助共富系列① | 动产融资业务,为民播下“共富”希望-世界实时
- 【世界快播报】我国外贸连续4个月保持正增长
- 偷渡罪一般判多少年?偷渡人员怎么正规回国?
- 吉利雷达以“真乘用化”撬动市场,5月销售1016台创历史新高 焦点资讯
- 故意伤害致人死亡如何处罚?故意伤害致死赔偿多少?
- “6·6”全国爱眼日公益讲座在京举办
- 上古诸神:卡牌对战官网在哪下载 最新官方下载安装地址 环球热推荐
- 天天头条:电脑中缺失alrsvc.dll文件应该怎么处理
- 赡养费标准是什么?不给赡养费最严重的后果有哪些?
- 只允许跟院方合作民营救护车辆进入?医院回应
- 涉案金额959万元!海口曝光9家定点医疗机构
- 世界快播:如何解决电脑端丢失rasmans.dll提示问题
- 微资讯!江西省新余市市场监管局:强化建材质量监管 守牢质量安全防线
- 【快播报】警惕“负首付”骗贷
- 财产税有哪些税种?所得税和财产税的区别有哪些?
- 高考第二天部分地区已公布查分时间 胜利在望,加油少年!|全球快看点
- 青海省海西州四项措施为“中高考”保驾护航_每日看点
- 嫖娼拘留多少天?初次涉黄拘留几天?
- 青海省市场监管局发布中高考期间食品安全消费提示 天天热门
- 浙江金华婺城区:天然富硒,“硒”望之旅
- mtfutils.dll缺失如何恢复
- 忘了车限号开了一天罚多少钱?郑州限行免罚有几次机会?
- 焦点快播:网红化妆大师官网在哪下载 最新官方下载安装地址
- 动态:量子密钥分发攻防研究获重要进展
- 什么是违法所得?违法所得和非法财物的区别有哪些?
- 仙迹之九州神剑官网在哪下载 最新官方下载安装地址|今热点
- 工程预付款是怎么规定的?工程预付款为什么要扣回?
- 种一颗牙便宜多少钱?海南打出种植牙降价“组合拳”
- 劳动合同法第38条是什么内容?公司不辞退故意调岗怎么赔偿?
- 无证驾驶怎么处罚?无证驾驶会被马上拘留吗?
- 当前时讯:生存冒险游戏《血清》新预告 拥有4人合作模式
- 天天观热点:岭南街道构建“一网二联三队伍”服务模式,为社区长者健康保驾护航
- 通信业全力保障高考|莘莘学子逐梦未来 通信业全力护航
- 焦点观察:华为品质宽带智能运维系统荣获CAICT光接入网L3.5等级认证
- 青海省启动“企业商业秘密保护能力提升服务月”活动-天天速看
- 黑龙江省北安市市场监管局着力打造“帮您办”服务品牌|动态焦点
- 非遗 | 高校留学生走进安徽文旅扶点-环球通讯
- 今日快看!FPS游戏《无畏契约》国服今日终测 删档充值返利
- 环球最新:黑河联通多措并举提升廉洁文化教育质效
- 每日视点!语文名师点评AI高考作文:百度搜索AI伙伴优于New Bing、ChatGPT
- 国家金融监督管理总局李云泽:正式启动上海再保险“国际板”-环球快看点
- 全球报道:重庆油菜喜获丰收 总产量实现连续16年增长
- 冒险游戏《血清》发布实机视频 支持简体中文 四人联机
- 全力保障高考通信畅通,重庆电信在行动!_环球速读
- 《无人深空》发布季节性更新“奇点”预告视频 现已正式上线-环球微速讯
- 世界殿堂级名团重返中国舞台 玛莎·葛兰姆现代舞团尽展风采 观速讯
- 上海移动获得DC-Tech数据中心智能建造最高等级认证 当前快讯
- 戴尔电脑开机后蓝屏重启应该怎么应对
- 电视剧《照亮你》在都市类型中铺展新的叙事面向 世界要闻
- 黑白琴键抒写长三角风情 全球新要闻
- 上海世纪出版、米哈游、东方明珠新媒体上榜
- 电脑提示vcomp140.dll文件丢失的解决方法|环球新要闻
- 世界今热点:切实保护金融消费者合法权益
- 全球快报:电脑蓝屏nv1ddmkm.sys怎么办
- “拆楼”式装修必须叫停
- 世界今日讯!李云泽:下好风险前瞻防控先手棋,以更加主动态度应对风险隐患
- 湖北馆展品超5000件:五大“重器”显实力 五类“非遗”溢楚风_今日看点
- 国家金融监督管理总局李云泽:监管体制改革是金融改革的重要一环 天天快资讯
- 公安部交管局公布近期三轮车肇事肇祸典型交通事故案例
- 网传重组人生长激素进浙江集采 长春高新连夜召开电话会回应
- 当前通讯!传记文学《灵魂的旋律:我的父亲刘炽》:再现作曲家刘炽艺术人生
- 全球微头条丨欢乐家的椰子“野心”:去年椰子汁饮料营收超8亿,今年加码投资
- 腾势D9车型5月销量11005辆,环比增长约9.6%
- 两部门:举办全国和美乡村篮球大赛(村BA)
- 最新资讯:Win10 watchdog.sys蓝屏该采取什么解决方法
- 世界视讯!《神仙道3》神阙风物志第五章详细通关攻略
- 全球净零技术制造竞争全面展开 时讯
- 海口江东新区盛泰仕家安居房项目预计10月底全面封顶
- 刀具等特殊商品退货难邮寄,如何解?
- 如何解决提示cnbbr332.dll丢失报错问题