『手描き』：手と機械のあいだ​Part 4

恐れを一本の映画にする

完成・公開版。1280×720、H.264/AAC、24fps、10分26秒。英語字幕は映像に焼き込まれています。

この映画の出発点には、技術への期待だけでなく恐れがありました。アニメ業界で原画マンと作画監督として大きなシリーズに関わっていた友人が、AIを使う仕事へ移ったあと、その業界で知っていた全員から排斥されたことを私は見ました。その痛みをノゾミとミアの間に置き、画面と芝居と時間のある映画へ変えました。

私たちの役割は明確でした。私が脚本・絵コンテ・演出・ラフプロンプトを担い、Json Cunananがエージェントハーネス・ポストプロセス・自動化を担いました。企画・制作は二人で行いました。だから、手と機械を対立する二つの陣営として扱うことはできません。機械学習の自動化は反復の速度と比較の幅を増やし、アニメーションの知識は、何を残し、何を捨て、どこで直すべきかを判断します。二つの世界は互いを助けることができます。

私たちは平日の仕事が終わった後と週末にこの映画を作り、制作費とHiggsfieldのクレジットのために私たちの小遣いを出し合いました。限られた時間と予算の中でも、画面を一つずつ見て、必要な試行と修正にお金と時間を配りました。

その二つの世界のあいだで、私は恐れを絵コンテ、カット、音、字幕を持つ一本の映画へ変えました。完成と公開は二人で行いました。

完成・公開した提出用プロジェクトは、映画祭への提出ページから確認できます。

知識が自動化を演出に変える

限られた時間の中で、完成・公開版にはまだ改善点があります。生成映像にはハルシネーションの修正をさらに重ねられる箇所があり、すべての不整合を解消したとは言えません。それでも、私たちは基礎なしにこの映画の動く版へ到達できませんでした。

脚本を書くことで、何が起きるかだけでなく、いつ起きるべきかを決めました。ラフ絵コンテは視線、カメラ側、ポーズ、プロップの連続性を固定し、アニマティックはその判断を時間に置きました。粗い素材でも、カットの長さ、間、反応の順番が見えれば、生成結果を映画の材料として比較できます。

カメラとパースが弱ければ、人物が正しい場所にいてもショットは成立しません。ポーズと演技が弱ければ、滑らかな動きでも感情は伝わりません。演出の判断が先にあり、生成と手動修正はその判断を試し、戻し、細く調整するためにあります。

手動で直したのは、機械を否定するためではありません。画面の意味を守るためです。顔の向き、手の位置、ノートPCの状態、インターフェースの表示、ロゴ、観客の連続性を一つずつ見て、必要なところを直しました。基礎は古い工程の飾りではなく、限られた時間で何を救うかを決めるための圧縮された判断です。

読める状態を一つずつ戻す

画面のセットアップは、平面化した再利用可能なコンポーネント chat_simple、chat_special、chat_box、donation、donation_box を使いました。二つの6秒ソースクリップ、1280×720版と630×720のクロップ版を基準に、Instagramのマーク、64プロフィールの観客グリッド、別管理のユーザー名、日英のチャット文を配置しました。ユーザー名や非公開メモの内容はここでは扱いません。

生成パスと手動修正パスの比較では、上段が生成画面、下段が固定した画面です。下段では空白になっていたノートPCとインターフェースを戻し、クリップ選択、チャットと寄付のオーバーレイ、ロゴの位置、観客の連続性を整えました。限られた時間の中で、観客が画面を読める状態を優先しました。

上段が生成パス、下段が手動修正パス。元映像には比較ラベルがありません。

画に従う音を組み立てる

Sunoでは、短い単一状態の素材を探しました。Instrumentalモードで長いハーモニック状態を生成し、アーティスト名や映画名は入力せず、除外スタイル欄で不要な方向を抑えました。採用候補はDAWで聴き比べ、画に合わせて組み立て、不要な部分を切りました。

初期の設計では、5つのキューを実際のコンフォームに合わせ、Dを共有軸にする案から始めました。聴き比べの後、4つのキューに現れる4音のセルが全体を結ぶ働きを見つけ、キューごとに異なる中心を許しました。DからC、Aマイナー、Eへ進む方向性は、ノゾミが引き下げられ、底に触れ、始まりより高い場所へ戻る動きに対応します。私たちは画に合わせて聴き比べ、耳でこの構成を選びました。

準備したアップライトピアノ、ガラスや金属を擦る音、映画の物体世界から拾った音、調律したルームトーンを小さく深く置きました。フリップブックをめくる音、紙の鉛筆、タブレットのスタイラス、キーボード、書き出しのクリックは、手が何をしているかを音色として追います。音楽を意識させない場面では、部屋の床下にあるようなSUB_FLOORとして扱い、画面の音と競合しないようにしました。

タイトルカードでは一度だけ鳴るDのピアノが、スタジオの鋭いGのハムへ消えていきます。黒味では本当のデジタル・サイレンスを置きました。約7分52秒の最初の手動修正では、E♭が消え、B♮が入ります。機械の出力を人の手が直す瞬間が、画面、音色、和声の三つで同時に現れます。