KaikiofKaikiと2020年
はじめに
せっかくなのでそれとなく2020年を振り返ってみます。
NDAあたり確認とトラブル面倒なのでふんわり～プレスとか出てる奴は大丈夫そうなので貼ったりしとく
終盤駆け抜けた1年だったな～
1月
仕事はかなり落ち着いていた(コロナの影響とか響き始めた)ので、運用していたUnity製3Dシステムの便利機能を作ったり、自分の学びをチームへ一般化させていたりしていた憶えがある。
CGアニメーションあたりの勉強あたりをしていた。MotionBuilder、Maya、Brender、どれも使えると言えるほど使えはしないが触れんでもないって感じになった。
副業でMESONさんのお手伝いをしていて、ラスベガスのCES2020で展示されたPORTAL with Nrealの開発をお手伝いしていた。主にNrealの最新SDKの調査、壁の認識とイメージトラッキングみたいなことをしていた。 www.youtube.com
2月
ここも仕事が落ち着いていたので、モーションキャプチャ周りの技術をしっかり勉強していた。
80~90年代のVRや3D関係論文を漁ると、モーションキャプチャの仕組みを作るところから始まることが多くあり、モーションキャプチャ技術の理解に大いに役立った。本なんかで勉強できれば楽だったが、調べた限りモーションキャプチャの教科書と言えるようなものは世に存在していなそうだったので仕方ない。
モーションキャプチャ様々なドキュメントをひたすら隅々まで全部読み込み、ありがたいことに自分が管理していたモーキャプスタジオもあったので色々実験してた。
引き続きMESONさんにお世話になっていて、Docomo Open House2020での展示のお手伝いをしてた。僕はRealSense使って深度情報を取り、オクルージョンがいい感じになる仕組みを作っていた。
3月
グラビア系の撮影をVR技術で云々するという案件があり、360度カメラ、360度マイク、バイノーラル音声を勉強していた。これも調べても何も出ないと思っていたが、SODが結構インタビューなどで技術ネタバラシをしてくれており、大変参考になった。案外、画像検索すると撮影現場の写真もヒットし、機材構成の参考にした。
リサーチのために、仕事でAV一日中見て終わることもあったんですけど、人生何があるか分からないものですね。
VTuberの撮影は結構経験値があったが、実写の人間の撮影は初めてだったので特殊機材に限らず実写撮影機材を随分勉強した覚えがある。かなりコストパフォーマンスを攻めた撮影だったけど、結構うまく設計できたんじゃないかなぁ。
調光卓やDMX照明、Art-netの変換機材やら照明関係を家に揃え、本を読み漁りながら色々やって照明関係の勉強をした。あと舞台関係機材の勉強とかもしてた。
www.youtube.com
4月
結局うまくいかなかったんだけど、プロシージャルにUVを作り替えてテクスチャを張り替える、みたいなことやスマホ向けの360度動画プレイヤーみたいなものを作っていた。
CGを体系的に学んできていなかったので、その弱さをかなり感じた。スマホで超高画質の映像を再生するのはなかなかにシビアでエンコーダやら何やら「動画」そのものの仕様の勉強を随分した。
あとiPadとペン買った。イラストの勉強でもしようと思ったが、秒で挫折した。でも現場機材構成やら工作の図の製作で大活躍してる。
本格的にリモートワークになっていたので、リモートワーク用にバ美肉システムを作ってチームに向けて配信しながら仕事をしてみた。
ARkitでははなく、普通のWebカメラからDlibで画像解析した割には結構表情にうまく落とし込めたと思ってる。
5月
コロナもあって色々仕込んでいたものも飛んでいた。仕事のやる気元気が地の底に落ちていた。
が、趣味ではそれとなく開発はしていた。
お家にスタジオを作ることを決意。時勢にも会社にも依存しない自分のための基地を作らねば。
ということで、たくさん家に転がっていたデバイスたちをまとめるように一旦整理した。
せっかく最新のiPad買ったし、ARkitのフェイストラッキング使いたかったのでVTuberシステムを手癖で一本作ってみた。
www.youtube.com
6月
所属していた子会社がなくなった。
次どうしよっかな～と思いながら次の部署探ししたり、転職活動もしたりしていた。
ほぼ無所属みたいな状態ではあったがいくつか相談はあり、広告向けに360度3DCG映像を作ったり、アーティストのライブのAR演出を手伝ったりしてた。
prtimes.jp
あと、会社が保有している機材を管理していたので、その子たちの行き先を諸々調整してた。
プライベートにも時間的余裕ができたので、お家のスタジオを強化した。
丁度いい感じの木材が見つからなかったので自分で加工して
防音加工して、
テレビ吊りました。
家電や照明をiFTTTやAlexa、Remoあたりで全部スマート化した。
www.youtube.com
vive trackerやPERCEPTION NEURONも揃えて業務用と比べて随分見劣りするが、家でもモーションキャプチャはできるようになった。
7月
行き先が決まった。結局、転職はせずに本部所属となり、CG関係のR&Dというポジションになった。
ミッション的にはリアルヒューマン寄りのモーションキャプチャ向けスタジオを作る(ワークフロー含めて)のと、バーチャルプロダクションの撮影を良しなにするという感じ。
個人的にはバーチャルとリアルを融合させることを目指していて、必要な要素を全部回収していつでも自分で実現できるポジションを狙おうとかここらへんで考えていた気がする。
声優さんがYoutuberデビューしていく流れがあり、そこらへんのお手伝いとかしてた。
家でマイクの検証してる様子。あって良かったお家スタジオ。
お家のスタジオには木工加工用のボードを作った。
クロマキー合成もできる環境を作った。2月あたりに作ってた深度情報と合わせてCG合成する技術と合わせてより高度なMR合成遊びができるようになった。
8月
モーキャプは主に権利やお金周りの問題を良しなに調整しつつ、どのスタジオにどういう配置で設置しようか作戦を考えていた。
バーチャルプロダクションは今までより遥かに映像周りの機材の質が高く、ソフトもまるで分からなくて苦労した。テレビやシネマ向けの機材が多く、ゲーム開発やインターネット番組で使われる機材やソフトと思想が違うんだな～。
スイッチャーを買った。これで家でもリアルカメラも含めてバーチャルプロダクションごっこができる。
9月
バーチャルプロダクションでのオペレータとしてまだまだ頼りないながらも案件をこなしていた。
www.youtube.com
www.youtube.com 色々大変で結構エグい思いはしたけど、バーチャルプロダクションを進めていく上で負担分散のヒントをかなり見つけることができたと思う。現場オペレーションの分散、CGデータ用意においてエンジニアチームをどこに挿し込むかみたいなワークフローの原型を一部実施しながら今後に向けて提案できた。
10月
バーチャルプロダクションとしてゴリゴリ撮影を頑張る。
大型のクレーンカメラ入れて、ゴリゴリLIVEなカメラアクションしたらからカメラのトラッキングが大変だったなぁ～ www.youtube.com
prtimes.jp
モーキャプの権利やお金周りの調整がひと段落したので、現物をスタジオに配置しながら最適な運用や置き方を模索する。
LED STUDIOも新しくでき、使いたかったので混ざりに行ってた。 www.youtube.com
11月
モーキャプの設置方針が定めた。
精度と安定性が概ね自信持てるところまでいったので、会社のHPにページも出した。
www.cyberhuman-productions.co.jp
LED STUDIOの検証を色々やった。
ゴリゴリバーチャルプロダクションとして撮影をこなしてた。
この月は企業のカンファレンスとか発表会とかばっかり作ってたから何も出せるものがないや。
会社からベストクリエイターとして表彰されたのと昇格した。
12月
バーチャルプロダクションの撮影を頑張る
今日は年に1度の技術者による技術者のための表彰イベント「CA BASE AWARD」をオンライン開催しました。リアルタイムCG合成ができるバーチャル撮影システムを活用したニューノーマルな表彰式の一部を少しだけご紹介✨#バーチャル撮影 #3DCG pic.twitter.com/6gbQUxpwvC
— CyberAgentDevelopers (@ca_developers) 2020年12月8日
仕事場拠点が素敵
家に電子工作やら照明やら、メインPCが必要ない実験をするエリアを作った。
まだ電子工作で物を作ることはほぼないけど、分解して遊んでることはそれなりの頻度である。
一通り振り返って
書き出してみるとエンジニアと言うよりよりクリエイターという枠に近づいたなぁ...
それとなーく浅く広い知識、具体的には音響・映像・照明・CG・コンピュータハード・カメラ・配信・XR・プログラミング・モーションキャプチャあたりがある中途半端な奴なんだけど、全部使い切って一つのバーチャルプロダクションスキルを生み出してる感じがあってなかなか気持ちがいいです。
現場だと何でも聞かれるし、ある程度ディレクション的な動きも兼務すると全部何となくでも把握してないと難しいよね
バーチャル〇○みたいなことをするのがとっても得意ながらも、ぶっちゃけそんな金にならん技術だったんですが、最近凄まじくブームでして、これが時流か
これからの一年
まだ何もかも足りない。分からんものが多すぎる。
しっかり勉強して地力をつけていた領域が結構うまくいった実感はあったので、やはり理屈や仕組みからじっくり理解することを大切にしたい。車輪の再開発であろうと、プライベートでは0から作っていきたい。
強く強くもっと強くならねば。特に自分がマイルストーンとして敷いている25歳になる7月までは。
