BitChannel / ガリレオの目~人の顔の数式表現~ / 全自動VTuber【Kita-Tech2019レポート】

カテゴリ:
BitChannel / ガリレオの目~人の顔の数式表現~ / 全自動VTuber【Kita-Tech2019レポート】

2019年11月22日に開催された「Kita-Tech 2019」へ行ってきました!Kita-Techは北海道を拠点とするIT企業が集まり、様々な技術を競い合う合同技術発表会のこと。会場は「さっぽろ創世スクエア 札幌市民交流プラザ」です。

 

記事ではビットスター株式会社の「BitChannel」株式会社リッジワークス「ガリレオの目~人の顔の数式表現~」さくらインターネット株式会社「全自動VTuber」の3チームの発表をお届けします!

ビットちゃん推進部 presents 「BitChannel」で誰でもビットちゃんになれる!

TOP画面

ビットスター株式会社のビットちゃん推進部チームの発表は「BitChannel」。端末一つあれば、制作部が作った同社の非公認キャラクターであるビットちゃんになって、手軽にその場で動画配信ができるというものです。

ビットチャンネルとは

BitChannel 機能紹介
チームメンバー紹介

今回は開発と制作がタッグを組んだので、ロゴやキャラクターなどのビジュアルにも力を入れて作成したそう。3Dを作成した際に、髪の毛を1本1本を帽子に変えたという話に感嘆の声が上がります。

ビットちゃんデモ開始!画面
はじめようボタンで BitChannel を開始

BitChannelは「同期やチャンネル分けは実装できたが、声の同調や”いいね”は間に合わなかった。今後の課題」

配信・視聴を選択する

ボタン一つで配信や視聴を選択。ビットちゃんを動かせる
「機能的にはまだ足りない」

発表題材はGPUサーバーを活用したIT技術。「外部のクラウドサービスを使ったりして、GPU使っていないのでは?と思うかもしれませんが、実際使っていません。通信の部分を外部のクラウドを使ってしまったので、GPUサーバーはWEBサイトが配置されているだけに」会場内は爆笑に。潔い!

GPUを使用しなかった経緯
GPUを使用しなかった経緯

質疑応答

審査員 福野氏 挙手

「ビットちゃん公式の声があれば変換して欲しいが、公式の声が男性もアリなのか」(会場爆笑) という質問に対し、

審査員 福野氏

「ビットちゃんはロボットなので、男性ボイスでもいいのではないかと思います!」と元気な回答。

ビットちゃん推進部チーム笑顔

笑いに満ちたビットちゃん推進部チームの発表でした。

日本の犯罪検挙率に貢献なるか!?Dragon Fourth presents「ガリレオの目~人の顔の数式表現~」で画像を数式化

TOP画面

株式会社リッジワークスDragon Fourthチームが発表するのは「ガリレオの目~人の顔の数式表現~」です。技術的に非常にレベルが高いチームが選ばれる【技術賞】に輝いたその内容とは!?

チームメンバー
チームメンバー
福山雅治

「ドラマガリレオをご存じでしょうか」というプレゼンターの田中駿平氏が映しだしたのは、起きた事件を数式化し謎を解くドラマ「ガリレオ」の主演、福山雅治の画像。

ガリレオの視界には数式が見えている!?

ドラマの彼のように、目で見たものを数式にできるのではないか、とチャレンジしたのが今回の顔画像の数式化です。

数式化の取り組み1
数式化の取り組み2
図解すると…
数式化の取り組み3
数式化の計算式
対策
失敗後の対策は…

部品の細分化レベルが2層ではあまりうまく行かず、1層増やして再チャレンジ。3層にするとCPUは時間計測不可、GPUが優位に。画像も2層よりも分かりやすくなりました。

実行時間の差

徐々に左の画像の人影になって行きます。

3層
徐々に人の影が現れる

ガリレオの目にはどのような数式に映っているのかを作ってみたのが次の画像。

w1だけでも2×500の行列という膨大な数式で画面に乗り切らない

「この仕組みは、低解像度の写真を引き伸ばしても荒くならないので、防犯カメラの解析などができる希望がみえてきた。ただ現状では膨大な時間がかかる。根本的な見直しが必要なので、これ以降の実用に向けてはスポンサーを懇親会で募集したい、お待ちしています」と締め、笑いを誘っていました。

まとめ
何に役にたつか

これは治安の為にも、是非実用化に向けてスポンサーが付くことを祈ります。印象に残った発表でした。

質疑応答

質疑応答では「斜めの光のようなものが入るのは何故か」という質問に「グラデーションの式が構成もとになっているのと、意味のない乱数からのスタートによる特性ではないか」の回答。

グラデーションも斜め

他にも「関数で表現できればもっと面白かった。それに付いて何か検討したりしたか。4層になるとかなりの計算力を有するのか」という質問がありました。

質疑応答

「当初はそのつもり(関数で表現)だったが、機械学習で行うと簡単なのかな、と思いこの形になった。一から自分で書いてしまったため、4層には膨大な時間がかかる。3層でもこの間やっと間に合った」との回答に、 アルゴリズム自体も自分で書いた挑戦は素晴らしい、と終了しました。

チームメンバー
審査員一同
真剣な審査員の面々

これでアナタもVTuberデビュー!松竹梅presents「全自動VTuber」

全自動Vtuber

さくらインターネット株式会社松竹梅チームの発表は「全自動VTuber」。VTuberとはバーチャルユーチューバーのことで、CGのアバターを通してYouTubeなどに動画配信している人のことだそう。

Vtuberは増加傾向
開始1,000人から1年半で9,000人に

動画配信に必要な原稿を作る・音声を収録する・配信するという多くの手間を、全て自動化したのが今回の発表「全自動VTuber」です。

使用したモデルの愛ちゃん
QRコード

実際に作ったデモページのQRコードが映し出され、その場で一斉にアクセスする会場内。

会場内アクセス
一斉にアクセスがあり、重くなっている模様
配信画面
配信中の愛ちゃん。ニュースキャスターのよう!
配信していない時の画面
配信していない時の画面

原稿を読む際の音声にはOpenJtalkを使用していて、テキストを流し込むだけで、話すときの発音で読み上げが可能になるそう。

収録画面

映像はUnityで動画を作成し、高火力なGPUでエンコードを行って配信しています 。

収録画面2
配信画面
配信にはストリーミングのプロトコルであるHLSを使用

これでいつでもどこでも最新のニュースが楽しめる、デジタルならではの配信が可能に!「可能性は無限大です」と締めました。

質疑応答

質疑応答では「愛ちゃんに原稿なしで自動的に配信させることは出来るのか」という質問に「言葉を入れてあげなければ発しない」との回答。

「生配信の全自動化をやってみたいが、来たコメントに対しAIが決めた色々なキャラクターが、自動で返信するような発展はあるか」との質問も。「もちろん愛ちゃん以外でもいいし、AIと絡めたらそれを認識してコメントを返すということも出来るので将来性は広がるかと思う」との回答に「期待したい」と幕引きになりました。

顔を出したくないけれど、自分で何かを発信したい人は多いので、需要が多そう!と思った発表でした。

Kita-Tech2019の発表はまだまだ続きます。引き続きお楽しみください!

そのほかのKita Tech2019レポート

この記事をシェアする

私が書きました!

落語と北海道を愛する食いしん坊。造形デザインを経て、現在ライター×カメラマン。

最近の投稿

ジョブボード

  • 社名
  • 募集職種
  • 内容
  • 給与・待遇
  • 詳細
  • 掲載終了日

ジョブボードに掲載したい企業募集中!詳しくはこちらより

pagetop