作者 | 宋慧
出品 | AI科技大本营
提起童年记忆的国漫经典，你会想到哪一部？几十年前，水墨动画《小蝌蚪找妈妈》、手绘风《哪吒闹海》、木偶片《阿凡提》、剪纸艺术《葫芦兄弟》……这些老国产动画片，艺术风格千姿百态，堪称部部经典。而在10月20日，在一场由西瓜视频和火山引擎举办的、颇具技术范儿的老国产动画片观影会中，4K 超高清技术竟然让我们印象里的“老片子”，清晰地展现出了中国传统艺术的精美和灵动，和几十年前艺术家的深厚功底。
老片蒙“尘”
上世纪的动画片在 90、00 后眼中，不仅年代久远，而且因为生产时间较早，清晰度较低，分辨率很多在 540p 以下甚至更低，画面粗糙有瑕疵噪点，可以明显看到早期制作技术的局限性。不少珍贵影片还不可避免地出现了霉变、污染、脱色、闪烁和丢帧等损伤，老片子仿佛真的在老去。
举例：画面模糊，色彩昏暗，有明显黑线（1960 年《小燕子》）
举例：画面存在噪点和锯齿感（1955 年《神笔马良》）
保护、抢救这些珍贵的中国经典艺术作品，是重要又紧急的大事。以往的修复工作，需要大量人力财力和时间的投入。许多修复师都坦言，一部老电影的修复所经历的一系列过程，其中的复杂、艰难程度不亚于制作一部新片。AI 技术进入修复领域后，一定程度上减轻了电影修复的难度。但现阶段，仍有大量需要人工修复的地方，需要修复师一帧一帧地去处理。
不过，AI 修复中最难的是要保留影片原有的艺术风格，修复画质的同时不破坏原有的美感。在《葫芦兄弟》的修复过程中，一方面要提升前景人物细节的清晰度，另一方面又要兼顾远景水墨的艺术效果，让山水保持朦胧的艺术感。在另一个修复影片中，工程师按照常规做法对片子进行补帧，但方案遭到了艺术修复老师的否定，因为补帧反而会破坏原片所要传达的动作节奏感与主题风格。
这些动画片也是西瓜视频定义里的经典“中视频”，在这次观影会上曝出的最重磅消息是，西瓜视频联手火山引擎宣布，将在未来一年时间里修复 100 部经典动画片。为了最高标准的完成修复，保留艺术品般的经典老片原有美感，他们制定了“一片一方案”。
4K 修复里的 AI 算法
观影会上，《葫芦兄弟》、《黑猫警长》、《哪吒传奇》等六部动画 4K 版已经正式同步上线，而这些焕发新颜的经典作品背后，复杂的修复工作由火山引擎提供技术支持。
火山引擎的团队首先将修复的难点和原因，分为了清晰度、流畅度、色彩以及瑕疵四点。其中：
清晰度低：是因为老片分辨率低，大量纹理细节丢失。由于老片制作的设备和数字化条件比较差，分辨率规格一般都是 720p、540p 甚至更低。老片制作的多个步骤中可能会丢失纹理，比如拍摄镜头的模糊、数字化扫描的模糊、数字化压缩存储的模糊。
流畅度低：因为制作成本的限制，许多老的影片拍摄或者手绘的帧数较少，往往低于每秒 15 帧，所以观看的时候会有较强的卡顿感。
色彩失真：胶片保存环境差会导致物理化学损伤，在数字化后就引起各种色彩问题。另外，老电影用旧色彩标准制作，亮度动态范围普遍较低，画面对比度差，看起来昏暗。
瑕疵多：老胶片保存环境差，以及播放使用不当，会存在各类物理、化学损伤，呈现出了多种瑕疵，例如椒盐或者雪花一般的噪点、黑线和闪动。
本次修复老片用到了火山引擎旗下的产品——智能处理的部分能力，修复技术团队针对上述四个问题，进行了提升清晰度、提升流畅度、色彩增强、消除瑕疵、锯齿修复等工作，每一项都设计和采用了AI相关的算法，并且在观影会上分享了其中的关键算法。
1、提升清晰度：超分重建、去模糊算法，分辨率从 720p 提升至 4k。
在清晰度维度上，团队采用了超分辨率重建和去模糊算法，使用机器学习对海量高清和低清视频的数据对比分析，使算法模型学习高清视频的特性，执行视频从低清到高清的转换，生成缺失的细节。最终实现视频分辨率从 720p 提升到 4k，大幅提高清晰程度。
2、提升流畅度：智能插帧算法，帧率从 15 提升至 60。
视频不流畅、卡顿感可以通过提升帧率来改善。火山引擎团队采用了智能插帧算法，通过对前后帧的内容分析，生成中间帧内容，将原先不足 15 的帧率，提升至 60 以上，大幅提升流畅度。
视频降噪、超分、插帧演示：
<iframe allowfullscreen="true" data-mediaembed="bilibili" id="SWxxJNZx-1635225917748" src="https://player.bilibili.com/player.html?aid=933789935"></iframe>修复
3、色彩增强：自动化检测矫正，拓展/转换色彩空间。
对于色彩失真的问题，首先利用算法对画面色偏进行自动化检测和矫正，让其恢复原有的观感；其次，为适应最新显示设备的色彩标准，火山引擎团队对老片亮度范围进行拓展，转换色彩空间，用更宽的亮度和更丰富的色彩来显示老片。
色彩增强前后对比
4、消除瑕疵：传统信号处理+深度学习，重点保护艺术风格。
老片瑕疵相较于以往的视频瑕疵，不仅类型复杂而且程度更严重，为此火山引擎团队结合了传统信号处理+深度学习算法：对于较小的雪花颗粒噪声，使用传统算法进行处理；对于较大的坏点和划痕，使用机器学习算法进行识别和修补。
布谷鸟修复.mp4
<iframe allowfullscreen="true" data-mediaembed="bilibili" id="0uxqWlhg-1635225812237" src="https://player.bilibili.com/player.html?aid=208803210"></iframe>布谷鸟修复
这里要重点提到，算法不是万能的，在实际修复过程中，如果要求算法做到 100%的处理瑕疵，那么会将一些艺术效果也识别为瑕疵，从而对影片造成了破坏。因此在老片修复过程中，算法大概能解决 95% 以上的瑕疵问题，剩余的瑕疵由人工辅助标注，之后调整算法做二次优化。既可以消除瑕疵，也能保护影片原有艺术风格。
另外，对一些损伤严重的老片，要消除瑕疵并保留艺术风格，仍然需要投入大量人力。例如在《葫芦兄弟》消除瑕疵的过程中，修复团队看了 20 万帧的画面。
5、锯齿修复：线条锯齿难定位，独创老片锯齿修复算法。
除了以上四类算法属于比较常规的修复技术之外，有时老片画面可以看到明显的线条锯齿，而问题只在部分场景中出现，很难定位。严重影响观感之余，也会影响其他算法的效果。对于老片中非常特殊的锯齿问题，火山引擎团队独创了老片锯齿修复算法。
锯齿修复前后对比
团队经过多次尝试和实验，发现老片中的锯齿效应是数字化扫描不精准引入的，常见的修复算法和工具都没法对其进行处理。所以团队专门针对性地设计了一套优化算法，极大改善老片中锯齿问题。
布局视频云，火山引擎底气十足
我们都知道火山引擎是字节跳动旗下的企业级技术服务平台，是将字节跳动快速发展过程中积累的增长方法、技术工具和能力开放给外部企业，提供云、AI、大数据技术等系列产品和服务，帮助企业在数字化升级中实现持续增长。
这次西瓜视频&火山引擎的老片修复，就是用火山引擎的“智能处理”产品和技术实现。除了智能处理，火山引擎在视频方面的硬核技术产品有视频点播、veImageX、企业直播、视频直播、实时音视频、云编辑、智能处理，而它们共同组成了火山引擎视频云产品矩阵。
对于视频云，火山引擎底气十足。视频云属于火山引擎中台层面的服务，最大的优势是与生俱有的视频播放体验。这背后是字节不断打磨抖音播放技术，以及在用户体验上持续迭代的结果。火山引擎团队曾经用 8 个月的时间，在抖音上试验了 100 多次，优化自研播放器与解码能力。这在其他云厂商看来，基本上是不可能的，但在抖音这种大场景的实战过程中，这些都是他们需要解决的细节和体验问题。
拿移动端举例，抖音在多媒体 SDK 上有很多新需求，如视频预加载、预渲染，拿 A/B 测试不断优化产品，把体验打磨到最佳，首创了“零首帧”技术。虽然整个视频云是一个红海，但预加载渲染在视频云里还是一个空白，其他视频云厂商对于这类新的需求一时之间难以理解。
除了场景下对技术的反复打磨，火山引擎也积极参与国际标准制定，实现了从标准跟随者到制订者的跨越。目前，在国际标准 H.266/VVC 标准贡献者排行榜上，字节跳动排名第三。在排行榜前五的企业中，字节跳动作为一家年轻的互联网企业，是唯一一家没有参与上一代视频编解码标准开发的公司。标准制定过程中，字节跳动发起的 100 多项技术提案获得 H.266/VVC 标准采纳，形成一系列原创性技术，为公司积累了数百项视频相关的知识产权。
对于 H.266/VVC 标准商业落地，早在 2019 年 6 月，团队已经完成满足点播场景应用的自研编码器 BVC 第一个版本，该版本与 x265 编码器相比，在相同计算资源下，针对大量的 1080p 高清视频，BVC 编码器可以将平均码率下降 33%。之后，BVC 经过不断迭代，性能又有大幅提升。除了自研编码器，自研解码器也已经配套完成。
除此之外，火山引擎还在继续探索视频云的技术方向。团队透露将在基于新兴深度学习的视频压缩、基于传统混合视频编码框架技术上继续挖掘。比如火山引擎团队提出的一种基于深度学习的自适应滤波器 DAM 算法已经可以获取 15%以上的性能增益；而基于混合视频编码框架的多项技术提升合在一起，可以带来超过 13%以上的性能增益。
这次使用 AI 算法修复老片，用技术拂去时间的灰尘，传承传统文化艺术之外，西瓜视频还将为有价值的视频提供公益修复，同时为用户免费开放了 4K 修复功能。另外，本次修复老片背后的智能处理技术也已经通过火山引擎开放给企业用户，开发者可以通过火山引擎智能处理提升视频处理技术效率。而布局视频云，既是字节跳动和火山引擎顺势而为，也是火山引擎团队专注核心技术研发的成果。将视频技术能力开放，火山引擎视频云的未来，值得业界关注和期待。