AI動画で困るのは、動きも光もきれいなのに、人物だけがせりふを言い間違えるカットです。別カットの音をそのまま切って貼る方法もありますが、間や感情、部屋の響きがずれやすいものです。まず映像を残し、音だけを別に作り直すほうが安定します。
言葉の間違いか、声の問題か
言い間違い、言葉の抜け、区切りの不自然さは、テキスト読み上げで正しいせりふを作り直します。口が開くフレームと閉じるフレームを確認し、せりふをカットごとに短く分け、間と強調する言葉を書きます。口元のアップは特に注意が必要です。音声を差し替えても口の動きは直りません。尺が大きく変わるなら、口元の映像を作り直すか、別のリップシンク工程を入れます。
せりふと話す速さは正しく、声だけが役に合わない場合は、音声変換を検討します。元の演技のリズムを残して声質を替える方法です。音声変換で言葉は直せず、新しい読み上げ音声も自動で元映像の口には合いません。
AIショートドラマで試したいモデル
一つのモデルに決め打ちする必要はありません。CosyVoiceは役のせりふの作り直しや多言語の声クローンを試す候補です。F5-TTSも同じ条件で比べる価値があります。IndexTTS2は長さの制御を重視しており、カットの尺に合わせたいせりふで試しやすいモデルです。内容とリズムが正しく、声だけをそろえたいなら、Seed-VCのような音声変換が向きます。同じ参考音声、せりふ、出力設定で試し、発音、感情、長さ、編集のしやすさを比べてください。
参考音声は、音楽や残響、ほかの人の声が少ないものを使います。役ごとに参考音声とせりふ表を分け、速度、間、感情、音程の設定は短いテストで確認してから本編へ広げます。
効果音には効果音用のモデルを使う
足音、ドア、衣擦れ、武器、環境音は別の作業です。Sony AIのWooshはテキストから音、映像から音を作る効果音モデルです。MMAudioも映像とテキストから同期した音を生成できます。どちらも動作音や環境音向けで、人物のせりふを作るモデルではありません。音が鳴るフレームに合わせ、音量、距離感、BGMとの関係をミックスで整えます。
許諾と記録も残す
俳優や実在人物の声をクローンする前に許諾を取り、せりふの版、参考音声の出所、モデル版、生成記録、ミックス工程を残します。オープンソースでも、すべての商用利用が自動で認められるわけではありません。モデルのライセンス、音楽、フォント、素材の権利を分けて確認してください。企画から音声、効果音、仕上げまで必要なら、AIショートドラマ制作サービスで一連の音作りを扱えるチームを探せます。
