ClipNovaに顔と言葉を渡すだけ。言葉は自分の録音でも、入力した台本でもかまいません。唇、頭、表情が話に合わせて動くよう顔をアニメーション化します。撮影済みの動画なら、別の言語にリップシンクできます。
最初の3ステップはAIトーキングアバターで、4つ目はAI動画翻訳で行います。同じプレゼンターが、1枚の写真からリップシンク動画になるまでを追ってみましょう。
ライブラリからアバターを選ぶ、説明文から新しいポートレートを生成する、または自分の写真をアップロードします。正面を向き、明るく鮮明に写った顔ほど自然な口の動きになります。
音声クリップをアップロードすれば、顔はその内容をあなたの声でそのまま話します。台本を入力して、読み上げるClipNovaの音声を選ぶこともできます。人物を新しい背景に置いたり、16:9、9:16、1:1の形式を選んだりも可能です。
Kling AI Avatar v2（BaseとPro）またはOmniHuman（Ultra）が音声に合わせて写真を動かします。口は一つひとつの音に合い、頭と顔は話している人と同じように動きます。長い音声はリップシンクしたセグメントに分割され、1本の動画につなげられます。
2〜60秒の話している動画をAI動画翻訳にアップロードします。話者本人の声で18言語のいずれかに吹き替えられ、lipsync-2が元の映像の口を描き直して新しい言葉に合わせます。
あごだけを動かすリップシンクは、1秒で不自然だと分かります。人は顔を読み取ります。「M」や「O」を発音するときの唇の形、文の終わりのうなずき、こちらを見つめ続ける目。ClipNovaは口だけでなく顔全体を音声に合わせて動かすトーキングアバターモデルを使っています。
言葉の届け方は自分で選べます。話し方が大事なときは自分の録音をアップロード。台本を入力してClipNovaの音声に読ませることもできます。どちらの場合もタイミングは音声から決まるので、唇はすべての音節にぴったり合います。
撮影済みの映像には、AI動画翻訳がその逆を行います。映像はそのまま、話者本人の声で別の言語に吹き替え、口の動きを合わせ直します。撮り直しは不要で、動画はあなたの動画のままです。
商品の台本を、9:16でカメラに語りかけるプレゼンター動画に。ReelsやTikTokにそのまま使えます。
自分を撮影せずに、ナレーションにいつも同じ画面上のホストを付けられます。
ヘルプセンターの原稿やオンボーディングの手順を、短い語りかけ動画に変えます。
既存の話している動画を、話者の声を保った翻訳吹き替えに合わせてリップシンクし直します。
AIリップシンクは、顔の口の動きを音声に合わせる技術です。ClipNovaでは、写真を動かして音声や台本どおりに話させることも、話している動画を発言内容の翻訳に合わせてリップシンクし直すこともできます。
はい。AIトーキングアバターで顔を選ぶかアップロードし、台本を入力する代わりに音声クリップをアップロードします。動画はあなたの録音に一語一語ついていきます。
はい、別の言語へのリップシンクが可能です。AI動画翻訳は2〜60秒の話している動画を話者本人の声で18言語のいずれかに吹き替え、元の映像の口を新しい言葉に合わせます。
トーキングアバター動画は、BaseとProのティアでKling AI Avatar v2、UltraでOmniHumanを使います。動画翻訳はElevenLabsの吹き替えの後にlipsync-2モデルを使います。
1人だけが写り、顔が見えていてカメラの方を向き、均一な光で鮮明なもの。音楽が重なっていないクリアな音声ほど、口の形が正確になります。
トーキングアバター動画は16:9、9:16、1:1、または写真そのままの比率で作成できます。翻訳した動画はアップロードしたクリップの形式を保ちます。
リップシンク動画は月額$19からのすべての有料プランに含まれ、どのプランにも完全な商用利用権が付きます。各動画のコストは生成前にクレジットで表示されます。
