「Runway」というジェネレーティブAIのスタートアップ企業が、「Gen-1」という新しいAI技術を発表しました。この「Gen-1」は、既存の動画に対して加工や編集を行い、新たな動画を生成することができます。Runwayは、以前から「Stable Diffusion」というテキストから画像を生成するAI技術をStability.AIと共同開発しており、今回の「Gen-1」は、同社が自社で保有する技術力を駆使して開発したものです。この「Gen-1」は、映像制作分野において高度な加工や編集を行うことができるため、注目を集めています。
Gen-1で動画をテキストで編集する
Runwayにログインします。するとAI Magic Toolsの一覧が見れます。
「Gen1 Video to Video」をクリックします。
動画のアップロード画面で、好きな動画をアップロードします。試してみたいだけの場合、デモ動画（サンプル）が入っているので、そちらを使っても大丈夫です。
長い動画はアップロードや編集が難しくなるので、10秒までの動画にしてください。
Style referenceというところで、動画を編集することができます。
Presetsでの編集
- image
-
選択した画像に近いデザインで編集してくれる
- Presets
-
はじめから用意されているデザインに近づけて編集してくれる。一番精度が高い。
- Prompt
-
自分でデザインしたいものを考えて言葉を入力する。精度はこれからに期待。
Pen and ink
Claymation
Presetsでの編集は、精度が高いです。表現に限りはありますが、AIによる動画編集の実用性が感じられます。
Promptでの編集
Prompt（プロンプト）とは、呪文のことで、AIに指示する言葉を指します。上の動画をアニメ調にしてみます。プロンプトは英語の方が精度が高いです。
Pixar anime-like representation(ピクサーのアニメのような表現)
とプロンプトを入力しました。
確かにピクサー風ですが、元動画のキャラクターが崩壊してしまっていますね。もっとプロンプトを深く考えれば、精度が上がるかもしれません。
RunwayはすでにGen-2について紹介していますので、この辺りが改善していくでしょう。
Hugging FaceのText to Videoもすごい
Hugging Faceは文章や言語に関する問題を解決するための技術を提供する会社です。人工知能を使って文章を生成・翻訳したり、質問に答えたりするツールを開発しています。また、オープンソースのツールも提供しているため、誰でもHugging Faceのツールを体験することができます。
Hugging FaceのText to Videoにアクセスして、生成したい動画のプロンプトを入力します。今回は
man runnning on the sea
としました。
海の上を走る人を作りたかったのですが、結果は…….
ただ、砂浜を走る人になってしまいました。
やはり精度はこれからに期待ですかね。
ただ、AIツールの進化はすごいので、１年後には、思い通りの動画を作れるようになっているかもしれません。これからも要チェックです。
他のAI Magictoolsで画像を加工・編集する
「AI Magictools」とは、Runway Researchに含まれる機能の1つで、AIによって画像や映像を変換することができるツールです。以下は、AI Magictoolsの使い方の基本的な流れです。
- Runway Researchにログインし、AI Magictoolsを開きます。
- 画像または動画をアップロードするか、URLを指定して読み込みます。
- 変換したいエフェクトを選択します。例えば、「style transfer」というエフェクトを選択すると、画像や動画を異なるスタイルに変換することができます。また、「face detection」エフェクトを選択すると、画像や動画中の顔を認識し、特定の加工を施すことができます。
- パラメーターを調整し、プレビュー画面で結果を確認します。AI Magictoolsは、変換に必要な時間がかかる場合があるため、しばらく待つ必要があるかもしれません。
- 変換が完了したら、結果をダウンロードして保存します。
AI Magictoolsは、機械学習モデルを使用するため、精度や速度が異なる場合があります。また、AIによる変換は、元のデータに基づいて生成されるため、望ましくない結果が得られる場合もあります。そのため、選択したエフェクトやパラメーターを調整することで、より望ましい結果を得ることができます。
人物の肖像画を生成するPortrait Generator
「Portrait Generator」は、AIを使用して、リアルな人物の肖像画を生成することができるツールです。以下は、Portrait Generatorの使い方の基本的な流れです。
- Runway Researchにログインし、Portrait Generatorを開きます。
- 生成したい肖像画のスタイルを選択します。例えば、「Realistic Portraits」を選択すると、リアルな人物の肖像画を生成することができます。また、「Anime Portraits」を選択すると、アニメ風の肖像画を生成することができます。
- ポーズ、表情、肌色などのパラメーターを調整します。Portrait Generatorは、AIによって自動的にポーズや表情を生成するため、パラメーターの調整は必須ではありませんが、より望ましい結果を得るために調整することができます。
- 「Generate」ボタンをクリックして、肖像画を生成します。生成には数秒から数分かかる場合があります。
- 生成された肖像画をプレビュー画面で確認し、結果に満足したら、ダウンロードして保存します。
Portrait Generatorは、機械学習モデルを使用しているため、生成された肖像画の品質は、使用するモデルによって異なります。また、肖像画の生成には、ハイスペックなPCやGPUが必要な場合があります。そのため、生成時間が長くなる場合があります。
動物のイラストを生成するAnimal Generator
「Animal Generator」は、AIを使用してリアルな動物のイラストを生成することができるツールです。以下は、Animal Generatorの使い方の基本的な流れです。
- Runway Researchにログインし、Animal Generatorを開きます。
- 生成したい動物の種類を選択します。例えば、「Cat」を選択すると、猫のイラストを生成することができます。また、「Bear」を選択すると、クマのイラストを生成することができます。
- イラストの詳細を調整します。Animal Generatorは、自動的にイラストを生成するため、パラメーターの調整は必須ではありませんが、より望ましい結果を得るために調整することができます。たとえば、毛の色、模様、目の大きさ、顔の表情などを調整することができます。
- 「Generate」ボタンをクリックして、イラストを生成します。生成には数秒から数分かかる場合があります。
- 生成されたイラストをプレビュー画面で確認し、結果に満足したら、ダウンロードして保存します。
Animal Generatorは、機械学習モデルを使用しているため、生成されたイラストの品質は、使用するモデルによって異なります。また、イラストの生成には、ハイスペックなPCやGPUが必要な場合があります。そのため、生成時間が長くなる場合があります。
「Custom Generator」とは、Runway Researchに含まれる機能の1つで、自分自身の画像データセットを使用して、独自の機械学習モデルを作成し、画像を生成することができるツールです。以下は、Custom Generatorの使い方の基本的な流れです。
- Runway Researchにログインし、Custom Generatorを開きます。
- 「New Model」ボタンをクリックして、新しいモデルを作成します。
- 「Upload Images」ボタンをクリックして、使用する画像をアップロードします。画像は、クラスごとにフォルダーに分けてアップロードすることができます。例えば、猫の画像を含むフォルダー、犬の画像を含むフォルダーなど。
- モデルのパラメーターを調整します。たとえば、学習率、エポック数、バッチサイズなどを調整することができます。これらのパラメーターを調整することで、モデルの性能を向上させることができます。
- 「Train」ボタンをクリックして、モデルをトレーニングします。トレーニングには数時間から数日かかる場合があります。
- トレーニングが完了したら、「Generate」ボタンをクリックして、画像を生成します。
- 生成された画像をプレビュー画面で確認し、結果に満足したら、ダウンロードして保存します。
Custom Generatorは、機械学習モデルを作成するため、プログラミングや機械学習の知識が必要になる場合があります。また、データセットの品質やモデルのパラメーターの調整など、モデルの性能に大きな影響を与える要素が多数存在するため、高度な知識と経験が必要になる場合があります。
画像から背景を自動的に取り除くRemove Background
「Remove Background」は、AIを使用して画像から背景を自動的に取り除くことができるツールです。以下は、Remove Backgroundの使い方の基本的な流れです。
- Runway Researchにログインし、Remove Backgroundを開きます。
- 画像をアップロードするか、URLを指定して読み込みます。
- 「Generate」ボタンをクリックして、AIによって背景を自動的に取り除きます。背景が取り除かれた画像が表示されます。
- 背景を取り除いた画像について、調整が必要な場合は、「Adjust」ボタンをクリックして、より正確な結果を得るために調整できます。たとえば、手で描いた部分の調整、背景の微調整などを行うことができます。
- 調整が完了したら、「Download」ボタンをクリックして、背景を取り除いた画像をダウンロードして保存します。
Remove Backgroundは、機械学習モデルを使用しているため、生成された結果の品質は、使用するモデルによって異なります。また、画像が複雑な場合や、背景とオブジェクトの境界が明確でない場合には、正確な結果が得られない場合があります。そのため、結果を確認し、必要に応じて調整することが重要です。
