stable diffusionによるAI静止画生成に飽きたと思っていたら次はAI動画だ。
一からの動画生成は当分先だろうが(※)動画の一部を改変する技術は確立してしまった。
※毎度のAI予想の外れフラグを立てておいたw
先日ペンタゴンが爆破されたとかフェイク画像がニュースになってしまいダウが一時的に爆下げした。
そのうち社会影響になってしまうフェイク動画も数多く生まれてくる。
調べてみれば素人でも簡単にAI技術による顔の描き換え動画が作れた。
何が大変だったかといえばオリジナルとフェイクを比較できるようにみんながyoutubeで公開しているような二つの動画を並べる編集に時間を費やしてしまった。
動画編集の知識はaviutilかTMPGEncしか無かった時代で止まっているので何を使うかで悩んだ。
新しい Windowsの編集ソフトを選んでインストールするのも面倒なので結局手持ちiPadにインストールされていたiMovieで動画を作った。
その程度の動画編集知識でも加工動画は作れてしまう。
目を凝らしてもこの写真1枚だけから生成された映像には見えない。それどころかどちらがオリジナルでどちらがフェイクかすら分かりにくい。
作り方はそのうち広まってしまうだろうがわざわざこのブログで広めたくもないのでどうしても知りたい方は英語圏の情報でも探していただきたい。
生成方法は原始的だった。
動画を読み込んで一旦全て静止画にして、30FPSなら1秒あたり30枚の静止画を吐き出してそれをstable diffusionのインペイントのように一部を描きかえて動画に戻して音声を乗せているだけ。
30分の動画なら54000枚の静止画を繰り返し繰り返し描き変えていく。
キモはAIによる1枚写真を立体的に学習させる技術だろう。
デコードとエンコードと静止画からターゲットを見つけて描き換えるAIにグラボのパワーを使う。
静止画を吐き出したり描き換えた静止画を動画に戻したりするのはCPUで動いているのでここがボトルネックになっているようだ。
それでもフルHDで30分の動画生成なら手持ちのグラボで2時間もかからない。
生成AIと単純で且つおそるべき力技の合わせ技で動画の描き換えを実現しているわけだ。
放送したアニメのセル画を書き替えて撮り直しているようなもの。
１週間前に見つけて動作を学習したりソースのスクリプトを改変して色々テストしていた。
ソースを弄れば顔じゃなくてもAIが認識できればなんでも描き換えられる。
大半が画像と同じで作っては消してを繰り返しているがあまりに上手くできたのだけは残している。
stable diffusionの画像同様にこれらの動画も肖像権やら著作権などから門外不出だ。
ただ画像ガチャに比べると動画は成功か失敗のゼロサムで奇跡の動画が出てくる訳でもなく目的も達成すればstable diffusionのような新しい機能が次々生まれるわけでも無いのでやる事が無くなった。
特性として斜め後ろを向くと途端に画像が破綻するとか元の顔の特性がのりやすい顔とかのりにくい顔と癖が強い面があるが横顔程度なら正面たった1枚写真からそこそこに表情も含めて造形しているのがおそるべしだ。
元の映像次第でオリジナルと遜色がないクオリティの動画が制作できてしまう。
ヤバいのはとにかくお手軽なこと。
この手の加工動画を作るのは過去の技術だとやたら短い動画で制限されたか長い動画だとパラメータやら位置調整とか事前学習など結構な手間がかかっていた。
プロみたいな技術者じゃないと編集不可だったので彼らのモラルさえしっかりしていれば変な動画は表に出てこなかった。
以前にも試しにやってみようとマニュアル読んであまりに面倒な手順に放り投げた。
それが今じゃ写真1枚と動画だけでストレージの許す限りの長編動画でも加工できる。
逆に1枚勝負なのでstable diffusionのLoRAのように何十枚か使って学習させてそれなりにクオリティを上げる手法が使えないというデメリットがあり選択をミスると全然違う顔になりやすい。
それでも精度を上げているので手順も更に単純化され誰にでも扱えるようになっていけば倫理観やモラルのない輩までいかがわしい目的で使い始める。
それが問題でいずれこの技術が世間に伝搬されてフェイク動画による社会的問題が起こると予想している。
但し進化する技術を止めるのは以前のブロックチェーン技術の話の通り火が危険だから使うなと同じで本末転倒なので国や企業による対策や個人がそれに追いついていかないといけない。
今後SNS上の映像にパラパラで始めるので出元がはっきりしていない動画はいきなり信用しない方がよさそう。
最初に引っかかるのはオールドメディアだろう。
そして一度引っかかると慎重にソースを調べるようになる。
大嫌いでも当面はCNNやNHKやANNなどから発信された情報の方が信用がおけるようになっていく。
オールドメディアは大いに偏向はするが完全なフェイクニュースを故意的に出すことはない。
おそらく今のところは。
なおこの記事についてはフェイク動画の警鐘を目的としており作成手順などに触れたく無いのでコメントは凍結しています。