大型模型で古い香港映画を復元：Volcano EngineとTikTokが共同で「クラシック香港映画復元プロジェクト」を開始

8月16日、TikTok、中国電影資料館、Volcano Engineは北京で「継続する時間-香港クラシック映画修復会議」を開催し、香港のクラシック映画100本の4K修復を行い、古い香港映画の比類のない魅力を復活させると発表した。 Volcano Engine はプログラムに技術サポートを提供し、中国電影資料館と協力して映画の「AI + 手動」修復を行っています。完成した4Kリファイン映画の第一弾には、『酔拳伝』、『プロジェクトA』、『蜀山：新蜀山剣客』などがある。

Volcano Engine は、初めて、古い映画の修復現場に大規模な視覚モデルを適用します。強力な生成機能と豊富な事前知識により、透明度、色、滑らかさ、欠陥除去の点で修復効果の総合的な向上を実現します。

映画やテレビの修復に初めて使用された大型模型

公開情報によると、映画の修復作業は複雑かつ面倒で、経験豊富な修復者でも映画の修復を完了するには 1 か月かかります。近年、ディープラーニングなどのAI技術により、古いフィルムの修復の品質と効率を大幅に向上させることが可能になりました。

「実際、私たちは毎日古い映画を修復しています。」 Volcano Engine Video Cloudの技術アーキテクチャ担当ディレクターの王悦氏は、鮮明度が低い、滑らかさが低い、色の歪み、欠陥など、古い映画によくある画質の問題が、Douyinの大量の投稿作品にも広く見られると語った。 Volcano Engine は、TikTok にサービスを提供することで、古い映画の修復のための比較的完全なインテリジェント処理技術ソリューションのセットを開発しました。 Xigua VideoやTikTokと協力し、国内のクラシックアニメ100本とBeyondクラシックコンサートの4K復元を完了しました。

新しく登場した大型模型技術も、古い映画の修復に初めて使用されました。王悦氏は、一方では、大型モデルは生成能力が強く、復元効果は従来のアルゴリズムよりも優れており、画像の細部がより自然であると紹介した。一方、大規模モデルは非常に強力な情報構造化能力を持っています。大量のデータペアを学習した後、そこから多くの知識を抽出し、それをモデルパラメータに「保存」することができます。生成空間が充実しており、より多くの復元シナリオに対応できます。

「例えば、大量の犬の写真を『見る』ことで、大型モデルは犬がどのような外見をしているかを学習して記憶し、より鮮明に犬を『描く』ことができる」と王悦氏は述べた。

しかし、大型モデルの強力な発電能力は諸刃の剣でもあります。いくつかのシナリオではパフォーマンスが安定せず、アーティファクトや誤ったテクスチャが生成される傾向があります。 Stable Diffusion で表現される大規模なビジュアル モデルは、ほとんどが画像または単一フレーム アルゴリズムに基づいており、ビデオなどの複数フレーム シーケンス シナリオではパフォーマンスと安定性に問題があります。

古い映画の復元という特殊なシナリオを考慮して、火山エンジンマルチメディア研究所は、視覚的な大規模モデルのアルゴリズムを3つのレベルで最適化しました。画像生成の面では、モデルの境界条件を制御し、高品質の生成空間を強化することで、大規模モデルの画像出力品質が大幅に向上しました。ビデオシーンでは、時間領域オートエンコーダの設計、オプティカルフロー特徴の調整、時間領域条件制約などの技術的手段を採用することで、大規模モデルは復元プロセス中に前後のフレームの情報を活用し、ビデオタスクをより適切に処理できます。同時に、Volcano Engine は Intel と協力してアルゴリズムとエンジニアリングのさまざまな最適化を実施し、コンピューティング能力のコストを考慮しながら 4K シナリオでの大規模モデルの処理効率を大幅に向上させました。

修復前と修復後の『蘇啓爾伝』の比較

アルゴリズムは古典文化の継承に役立つ

王悦氏によると、火山エンジンマルチメディア研究所のエンジニアにとって、古い香港映画を修復する上での最大の課題はアルゴリズム技術ではなく、映画の本来の芸術的スタイルをいかに保存するかだという。

「中国電影資料館は多くの映画の修復にあたり、あらゆる手段を講じて原作者を修復実験室に招き入れようと努めてきた」と中国電影資料館の張暁光副館長は語った。 『酔拳』の4K修復はゴードン・チャン監督の芸術指導を受けた。

このプロセスの間、Volcano Engineと中国電影資料館は複数回のコミュニケーションと議論を実施しました。継続的なテストと調整を繰り返し、アルゴリズムが芸術に役立つという理想的な効果を実現しました。色かぶりと色処理を例にとると、従来の AI アルゴリズムは一連の客観的な色の問題を完了し、最適化することができましたが、一部の芸術的な色の復元においては逸脱が生じやすい傾向がありました。今回、Volcano Engineは、手動で修復された断片からデータを学習することで、より理想的な配色効果を獲得し、修復プロセスを加速できるAI加速型アート修復ソリューションを模索しました。

「私たちは古い映画に新たな命を吹き込む方法を常に考えています」と王悦氏は語った。 「大規模なモデルアルゴリズムを使用して古い映画の修復品質をさらに向上させることは、技術的な実践と文化遺産の両方の観点から有意義な試みです。」

Douyinの副社長である陳度野氏によると、今後1年間で『花男之明日』や『阿朗伝』を含む100本の香港映画の4K修復版がDouyinと西瓜動画で次々と公開される予定だという。

これら 100 本の香港映画は 1970 年代から 1990 年代にかけて制作されたもので、ゴードン・チャン、ツイ・ハーク、ジャッキー・チェン、スタンリー・クワン、チャウ・シンチーなど多くの監督の作品が含まれています。中国電影資料館の映画キュレーターである沙丹氏は、この時期が香港映画の黄金時代であったと語った。当時、中国本土は徐々に開放されつつあり、香港映画は多くの中国本土の若者にとって世界を理解するための窓口となった。

初期の撮影機材や技術の限界、またフィルムの保管や使用中に生じた損傷のため、私たちの記憶にある昔の香港映画は、ストーリーは鮮明だが、映像はぼやけて薄暗く不明瞭である。高解像度のビデオに慣れている視聴者にとって、従来の映画鑑賞体験を再び体験するのは、あまり心地よいものではありません。

「テクノロジーの力で、現代の若者も過去の名作に夢中になり、年配の観客が過去の思い出を追体験し、数世代にわたる共通の記憶を形成できるようになることを願っています」と王悦氏は語った。