AI还原历史“真相”

来源:钛媒体

穿越千年和历史对望,AI修复的不只是照片。倘若有“时光机”,我们是否能回到过去,看一看那些有趣的物件?穿越千年的三星堆文明、回望百年前的京城街景、看看老一辈留下的珍贵照片……AI修复给了我们与历史对望的机会。

文丨探客Tanker,作者丨王颖,编辑丨蛋总

文丨探客Tanker,作者丨王颖,编辑丨蛋总

1881年出生的叶景吕是明太祖朱元璋的后人,早已改名换姓摆脱皇室身份的叶景吕本该是个普通人,但他自1907年开始连续62年每年拍一张肖像的习惯却在百年后为我们留下了横跨清末、民国和建国前后的珍贵影像。

通过与照片收藏者仝冰雪先生的合作,B站UP主大谷用AI修复了这62张照片将叶景吕的一生和中国那段灰暗的岁月清晰地展现在了世人面前。

“影像修复所使用的AI虽然能提升画面分辨率,但目前还不能无中生有。”大谷对「探客Tanker」表示,他并没有尝试过太多艺术之外的AI应用,但会倾向于选择一些有历史意义的影像进行修复。

其实,AI影像修复技术已经应用了很多年,除了旧照片的修复也有不少其他的成功案例。比如,2019年建国70周年的献礼影片《决胜时刻》,就是使用AI复原了开国大典的真实视频片段;中国第一部8K全画幅纪录片《你好,AI》展示了AI虚拟修复长城、复原敦煌壁画的真实例子。

那么,AI的修复能力到底有多强?除了老照片外,AI修复能在三星堆文物上“再显神通”吗?AI修复技术的技术难点又是什么?

1、AI还原历史“真相”

预知未来不易,但回望历史却不难。

没人知道一百年后的北京会是什么样,但我们却能在诸多史料中看到一百年前的京城。

2020年5月,一段AI复原100年前北京影像的视频火爆全网,在B站播放量超过226万。在视频中,大谷使用了AI技术将《人民日报》5年前发布的“1920年北京”黑白影像资料进行了帧数修复、上色和配音。

在这段视频里,我们看到了民国时期还保留着旧俗的北京人用“萝卜蹲”打招呼的方式,也看到了那时热闹非凡的“地摊经济”,让人对老北京的风俗和生活环境有了更直观、更真实的感受。

“我偶然在YouTube上看到了这段影像,出自海外档案馆中的公有领域馆藏,刚好不会有什么版权问题,而且画面相对清晰稳定所以就想用它做个科普,没想到火了。”提到这段让他火爆全网的视频,大谷平静地说道。

不止如此,献礼影片《决胜时刻》的重映也使用了AI修复技术,600人的团队用40天完成了1082个镜头、24万帧的修复工作。这也是这段影像资料第一次以彩色超清的形式在大银幕上呈现。

图 / B站AI历史影像馆

图 / B站AI历史影像馆

除了历史影像,AI还可以修复旧照片。春节期间,《你好,李焕英》赚足了观众的眼泪,片中贾晓铃妈妈的一句“我的女儿,我只要她健康快乐就好”感动了众人。一时间网友们掀起了“帮贾玲妈妈修复旧照片”的热潮。

事实上,除了修复老照片外,更值得一提的还有AI在修复文物方面的应用。

2019年9月,《你好,AI》纪录片的热播让人们惊叹于AI早已融入了我们的生活。拍摄团队跨越亚洲、欧洲、美洲和非洲,到达了42个城市,采访了77个人物,通过15位主人公的故事讲述了AI带给世界的改变。

其中,被大火无情烧毁的巴黎圣母院、因自然和人为因素破坏的长城及受风雨侵蚀破损的敦煌壁画都被AI进行了虚拟修复,专业的修复人员可以通过这些修复数据估算出所需的用料,复原这些珍贵古建和壁画的真实样貌。

图 / B站《你好,AI》

图 / B站《你好,AI》

那么,除了已经被验证过的影像修复,AI在文物修复方面具体还能做些什么?

近期,三星堆遗址新发现的6座“祭祀坑”中出土了金面具残片、鸟型金饰片、巨青铜面具、青铜神树和若干完整象牙等500余件重要文物,大家都期待AI能为这些珍贵文物“焕发新生”,但AI修复技术能“再显神通”吗?

2、数据训练是AI的“命门”

“是否用AI修复文物,首先要考虑的是AI能为文物的修复解决什么问题,是能够提升效率、提高准确性,还是能减少人工修复的错误。在这之后还需要考古和文物修复从业人员提出需求,如果遇到了人工解决不了的问题,比如巴黎圣母院的修复是可以借助AI的,不过这个例子比较特殊。”中国人民大学历史学院教师张林虎对「探客Tanker」坦言,他的主要研究方向体质人类学和生物考古学。

AI修复需要大量的数据训练,用来修复文物就面临一个问题——基础资料从哪里来。博物馆中的藏品是人类物质文明和精神文明的见证物,这些物质遗存有的用于展览,有的用于研究,但并不是所有文物都适合用做AI学习的基础素材

张林虎老师举例说:“比如我们肉眼看到一些碎陶片或者瓦片,通过基本的经验就判断出它们质地、颜色有什么区分。因为不同残片埋藏的环境不同都可能导致器物表面颜色不一样,这些工作如果由AI来完成就需要一点一点去教它,而且采集过程中需要高精度的数字图像和建模。如果材质和色彩有差异差距,人类通过视觉及经验可以很容易发现,但AI最初学习阶段肯定是非常缓慢的,这势必会增加金钱和时间成本。”

此外,AI在采集文物相关信息的过程中,也存在一定的难题。一般而言,古代人类遗留下的遗存分为可移动和不可移动两大类,这两者对采集工作的要求各不相同。

“大型遗址肯定不能移动,修复工作是非常复杂的过程。如果一次性的完成高精度数字化信息采集,就可以在实验室完成复建方案的设计。从论证逻辑来说,一次性数字化采集可能会减少人为损伤。在实验室内确立复建方案阶段,由于有数字化信息,各个学科的科研人员更容易集体参与且不必亲临现场。但对于小的可移动的文物来说,这样的工作可能不是必要的。比如一个陶罐可能有几十块甚至上百块,一个碎片有可能是陶罐的边沿也有可能是其他部分,在如此多样的情况下AI修复并没有被验证为可行的方式。”张林虎老师对「探客Tanker」说。

据悉,巴黎圣母院和长城的修复是比较特殊的案例,首先,修复人员不可能每天都在现场进行观察,而且建筑物需要用不同的材质和结构不断地进行尝试,这需要多方面的知识。此时,AI的强大运算能力就可以给出更好的方案。

“我们要明确的是,修复文物的目的是什么,是要做成一个完整的,可供观赏的物品还是用于不断研究。三星堆文物修复是否尝试使用AI,取决于这个方法存在的潜在好处。”张林虎老师强调说。

他以金箔面具修复为例,谈及金箔面具最终是为了放在博物馆里展示,那么这种变形的文物修复一定少不了人工参与,那使用AI的意义就不大。而就敦煌壁画这类文物的修复而言,研究人员可能只有一次机会近距离地仔细观察,如果有高清的数字模型就可以为不同研究需求提供资料。

“毕竟这些文物非常珍贵,重要的还是那一点——修复这个东西只是为了展示还是为了研究。”张林虎老师说。

因此,要使用AI修复就要明确它的优势在哪里,即便有优势也要考虑是否合适,是否为当下的最佳选择。

就像巴黎圣母院的修复工作,不是所有人都能去现场参与,但有了数字化的信息,大家都可以使用AI去做修复,然后文物修复的专业人士就可以进行综合判断并重建巴黎圣母院。而目前的很多文物修复工作面对的都是相对“普通”的东西,使用AI的成本可能过高。

要不要用AI修复文物不能一概而论,也许它并非每一件文物修复中的“最佳工具”,但这项技术无疑给社会的进步和文明的丰富带来了不可磨灭的价值。

3、AI让每个人成为艺术家

毫无疑问,AI修复技术在一定程度上激发了人们的创造力,无论是上述的老照片、黑白影片还是珍贵文物,AI修复技术不断带给我们新的惊喜。但客观来说,目前AI修复技术还存在不少难点。

“AI图像修复技术的难点在于从复杂多变的背景中提取有效的信息生成符合人的感官的信息。前者涉及到训练样本的多样性以及模型的范性,后者则涉及模型的生成能力。”从事AI图像修复工作的技术人员告诉「探客Tanker」。

在他看来,图像修复的难度取决于场景的复杂性以及前景区域的大小、形状及场景的亮度等多种因素。在限定情况下,如遮挡物的形状、大小和背景信息相对一致的情况下修复难度中等偏下,但根据条件的扩大,模型的修复难度急剧上升。

我们常见的AI图像修复大部分是人脸修复,这种AI模型使用生成对抗模型、注意力模型以及门卷积,可以修复不同面积与形状的遮挡图像。

目前,进行AI图像修复工作一般包括三个步骤:

1.找到所有的照片缺陷:折痕、磨损、破洞等等;

2.基于所发现的照片缺陷周围的像素值来进行图像修复;

3.为图像上色。

李焕英旧照修复的动图也展示了这三个步骤。

目前,AI修复图像的技术在受限环境下基本达到了“可骗过人”感知的程度。相比于传统的图像修复技术,利用AI修复可以在保持背景区域与前景区域的语义一致下还原出遮挡区域。

相比于早期深度学习算法,AI修复技术以生成对抗模型作为主流,且使用多种注意力模型与门控卷积等特殊卷积层来提升恢复区域边缘的真实性,这也是AI修复技术能做到高度还原的原因。

GitHub上的开源工具PaddleGAN就可以实现这些图像的修复,还能做出动态效果,比如前段时间抖音上很火的“蚂蚁呀嘿”,不少明星也跟风拍了视频。

据「探客Tanker」了解,AI图像修复从算法的角度来说技术性是非常强的,需要专门的研究者去开发,但从使用者的角度来看,结合这些开源工具是可以边学边做的。

“只要掌握一些基础的编程知识,知道怎么在电脑里搭一个虚拟的编程环境,把开源项目下载下来根据里面的详细指导一步步跟着教程去做就好了。”大谷作为一个“半路出家”的AI初学者对「探客Tanker」说道。

AI正全面渗透进我们的生活,大到国家的基建与安防,小到我们的手机与照片。在国家十四五规划中,明确指出以人工智能为代表的新一代信息技术将成为推过国家创新发展的重要驱动力之一,包括AI修复在内的一系列落地应用都是AI全面进入每个人生活的实践。

随着技术的不断迭代和政策的逐步完善,也许我们每个人都能成为“AI艺术家”——借AI技术穿越千年和历史对望,抑或创造出更有趣的未来。

清朝人如何变戏法?带你来看AI修复的1904年老电影
« 上一篇 2024年3月10日 下午6:55