Jetson Nanoとディープラーニングを使って身体を楽器にする「Skeleton Sequencer」を作ってみました。
<投稿者: からあげ @karaage0703>
愛知県のモノづくり系企業で働く闇のエンジニア。変なデジカメ作ったりブログ書いたり。好きな食べ物は、からあげ。
身体が楽器になる！？「Skeleton Sequencer」を作ってみた
「Skeleton Sequencer」という身体を楽器にするシステムを作ってみました。どんな楽器かは、以下動画をご覧下さい（下手な英語のナレーションはご容赦下さい…）。
Jetson Nanoのカメラとディープラーニングを使って体の骨格を検出し、その身体の形に応じたメロディーを奏でることができます。シーケンス部分は、YAMAHAさんの「TENORI-ON」に着想を得ています。「TENORI-ON」のパターンを指の代わりに身体全体で入力する楽器と言えば分かりやすいかもしれません。
実は、7年前に「ヒューマンシーケンサー」という同じコンセプトのシステムを作っていました（詳細は以下記事参照下さい）。
その当時は、3次元カメラ（Kinect）とPCを使うかなり大掛かりで高価なシステムでした。そのため、気軽に使えずほとんど日の目をみることがありませんでした（Kinectも生産終了しちゃいましたしね）。
そんな中、単眼カメラでディープラーニングを使って骨格検出する技術が発展したのに加え、Jetson NanoというパワフルなAIエッジデバイスが出てきました。それらを用いて、「ヒューマンシーケンサー」を大きく小型化・低コスト化して生まれ変わったのがこの「Skeleton Sequencer」になります。
「Skeleton Sequencer」の作り方
ハードウェアとして必要なものは以下となります。
- Jetson Nano
- 歌うキーボード「ポケット・ミク」
- ラズパイカメラV2
歌うキーボード ポケット・ミク (大人の科学マガジンシリーズ)
- 作者: 大人の科学マガジン編集部
- 出版社/メーカー: 学研プラス
- 発売日: 2014/04/03
- メディア: ムック
- この商品を含むブログ (24件) を見る
ソフトウェアのセットアップとしては、Jetson Nanoでtf-pose-estimationによる骨格検出とMIDIでのポケット・ミクの制御が必要となります。それぞれの詳細は以下参照下さい。
「Skeleton Sequencer」自体のコードと使い方はGitHubにアップしています「Skeleton Sequencer」は、「tf-pose-estimation」をforkしたものをベースに作ったソフトです。詳細は以下参照下さい。
趣味TECH祭2019に出展します
趣味TECH祭2019に出展します。「Skeleton Sequencer」を展示予定です。子供から大人まで、誰でも気軽に体験できますので、お気軽にお立ち寄り下さい。
<投稿者: からあげ @karaage0703>
愛知県のモノづくり系企業で働く闇のエンジニア。変なデジカメ作ったりブログ書いたり。好きな食べ物は、からあげ。
