使用“扫一扫”即可将网页分享至朋友圈。
53 帧变 900 帧，华为黑科技 AI 亮相：不用昂贵的高速摄像机也能制作慢镜头
要制作慢动作视频就必须要用死贵的高速摄像机？NO!可以用AI。看到没，这就是AI完成的效果！虽然和真正的高速摄像机至少上千的帧数没法比，但它完全可以做到每秒53帧的视频轻轻松松变成960帧，没有伪影也没有噪声。很多网友看完效果都按耐不住了：“非常想要一个深入的教程”、“能不能出一个应用程序？”……而这项酷毙的研究成果也成功入选CVPR2021，研究人员来自华为苏黎世研究中心和苏黎世大学。当然，也用了一个特殊的摄像头实现这一效果没有采用通过视频光流来猜测粒子运动的经典思想，而是先用了两个摄像头来捕捉画面。一个就是普通摄像头，记录低帧（20-60FPS）真实画面；要想达到慢动作效果，起码得每秒300张画面才够；20帧的视频给的信息太少了，没法直接合成慢动作。怎么办？靠另一个特殊的摄像头——也就是事件相机（也称为神经形态相机），它使用新型的传感器，拍摄的是“事件”，也就是记录像素亮度变化。事件相机还比较新兴，实验室里有很多，市场上还没有大规模问世，报价有2000美元一个或更高。由于该相机记录的信息经过压缩表示，因此可以较低的清晰度、高速率进行拍摄，也就是牺牲图像质量换取更多图像信息。最终的信息量足够AI理解粒子的运动，方便后续插值。▲问号部分即为我们要的插帧这俩相机同步拍摄到的内容合起来就是这样的：拍好以后，就可以使用机器学习来最大化地利用这两种相机的信息进行插帧了。研究人员在这里提出的AI模型叫做TimeLens，一共分为四块。首先，将俩相机拍到的帧信息和事件信息发送到前两个模块：基于变形（warp）的插值模块和合成插值模块。基于变形的插值模块利用U形网络将运动转换为光流表示，然后将事件转换成真实的帧。合成插值模块也是利用U形网络将事件置于两个帧之间，并直接为每个事件生成一个新的可能帧（现在就为同一事件生成两个帧了）。该模块可以很好地处理帧之间出现的新对象以及光线变化（比如水反射啥的）。不过到这里的话，合成的视频可能会有一个问题：出现噪声。这时，第三个模块的作用就派上用场了，它使用第二个插值合成模块中的新信息来细化第一个模块。也就是提取同一事件的两个生成帧中最有价值的信息，进行变形优化——再次使用U-net网络生成事件的第三个帧版本。最后，这三个候选帧被输入到一个基于注意力的平均模块。该模块采用三帧表示中最好的部分将它们组成最终帧。现在，有了帧之间第一个事件的高清帧后，再对事件相机提供的所有事件重复此过程，就能生成最终我们想要的结果了。这就是使用AI创建逼真的慢动作视频的方法。怎么样？附一个摄像机的参数图：取得了智能手机和其他模型无法达到的效果你说这个AI模型的效果好，那得对比一下才知道。比如上面这个与最优秀的插值模型之一的DAIN（入选CVPR19）的对比，谁好谁坏效果就很明显了。而且它的插值方法的计算复杂度也是最优的：图像分辨率为640×480，在研究人员的GPU上进行单个插值时，DAIN模型需要878毫秒，该AI则只需要138毫秒。另外，虽然不建议，用该模型输入的视频即使只有5帧，也可以生成慢动作。和其他模型的对比实验数据，大家感兴趣的可以查看论文。最后，作者在介绍成果的视频里也再次说道，不和昂贵的专业设备相比，该模型至少取得了智能手机和其他模型无法达到的效果。作者介绍一作StepanTulyakov，华为苏黎世研究中心机器学习研究员。共同一作DanielGehrig，苏黎世大学博士生。苏黎世联邦理工大学机械工程硕士。论文地址：开源地址：
“广东财经网”的新闻页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题，请与
我们联系删除或处理，客服邮箱1098101642@qq.com，稿件内容仅为传递更多信息之目的，不代表本网观点，亦不代表本网站赞同
其观点或证实其内容的真实性。
- 声音提醒
- 60秒后自动更新
【民政部回应何时恢复婚姻登记】民政部社会事务司二级巡视员杨宗涛表示，婚姻登记场所是人群聚集场所，部分地区暂停婚姻登记工作是对人民群众安全负责。未停止登记的地方推广用电话、网络、qq群预约登记，控制登记人数，分批分段登记，减少人员聚集和在登记机关停留时间。已停止婚姻登记地方将根据当地疫情控制情况逐渐恢复。
15:54欧洲央行副行长金多斯：欧洲央行还没有达到逆转利率。宽松政策的副作用更明显了。
15:54财经网站Forexlive分析师Justin Low评瑞士1月CPI月率：尽管通胀年率保持稳定，但核心通胀率有所下降，这一点令人更加担忧。这只是进一步巩固了瑞士央行维持现有货币政策不变，并可能在未来寻求更多宽松措施的观点。
15:54【武汉两大批发市场商户开业率超过80%】商务部市场建设司司长朱小良10日称，目前武汉生活必需品供应基本正常，除冷鲜肉、鲜叶菜等少数品种存在结构性短缺外，大部分重要生活物资供应充足，未发生明显抢购或脱销断档情况。当地白沙洲和四季美两大批发市场正常营业，商户开业率超过80%，日交易量上升至3000吨以上。（国是直通车）
15:53【日本2019年经常项目顺差增长4.4%】日本财务省10日发布的国际收支初步统计报告显示，主要受外国人入境游消费扩大影响，2019年日本经常项目顺差增长4.4%。报告显示，2019年日本经常项目顺差为20.06万亿日元（1美元约合109.8日元）。其中，商品贸易方面，由于液化天然气价格下跌等因素，进口下降5.6%至75.56万亿日元；由于汽车部件及钢铁等产品出口减少，出口下降6.3%至76.12万亿日元。货物贸易顺差减少53.8%，为5536亿日元。（新华社）
15:53欧元兑美元EUR/USD短线波动不大，现报1.0952。
15:53瑞士1月CPI年率：0.2%，前值：0.2%，预期：0.1%；瑞士1月CPI月率：-0.2%，前值：0%，预期：-0.2%。
15:52英镑兑美元GBP/USD短线走低13点，现报1.2890。
15:52【宁德时代“供电”国产特斯拉 有望拉低售价20%】全国乘联会秘书长崔东树分析认为，“随着特斯拉国产化率提升和产能爬坡，未来特斯拉国产车型的价格下探空间还是很大的。”他预计今年下半年，国产Model 3车型的售价就有望降至25万元，降幅接近20%。（新京报）
15:51【内蒙古：对不裁员或少裁员企业返还上年度50%失业保险费】据内蒙古新型冠状病毒肺炎疫情防控工作指挥部消息，疫情期间，内蒙古对不裁员或少裁员的企业返还上年度实际缴纳失业保险费的50%，对面临暂时性经营困难的中小企业，返还标准提高到上年度6个月企业及其职工缴纳社会保险费的50%。
15:51【商务部：2019年服务进出口总额54152.9亿元 同比增长2.8%】商务部新闻发言人表示，2019年，在服务贸易创新发展试点等政策的激励下，我国服务贸易总体保持平稳向上态势，逆差明显下降，结构显著优化，高质量发展成效初步显现。全年服务进出口总额54152.9亿元（人民币，下同），同比增长2.8%。其中，出口总额19564.0亿元，同比增长8.9%；进口总额34588.9亿元，同比减少0.4%。（第一财经）
15:51【振华股份：疫情导致下游客户开工推迟 产品库存上升】振华化学公告，公司目前生产经营稳定，所有产能均正常开工，原材料采购能基本满足生产需要，由于疫情导致下游客户开工推迟，公司出货量减少，产品库存有所上升。公司将根据客户需求、疫情及市场变化，适度调整生产经营策略，尽可能保持生产经营的稳定。
15:50环旭电子2月10日晚间公告，公司2020年1月合并营业收入为23.27亿元，较去年同期的合并营业收入减少27.83%，较2019年12月合并营业收入环比减少37.23%。
15:49精测电子：与京东方集团签订了多份销售合同，合同累计金额达到6.96亿元。
17:12华夏银行：银保监会同意本公司在全国银行间债券市场发行不超过100亿元人民币的金融债券，募集资金全部用于绿色信贷。
17:03
