Fujimura Seminar

2024年3月に卒業した藤村ゼミの11回目の卒業生の卒業研究発表会は1月29日に行われました。

今年は11名9組の学生が以下のタイトルで発表しました。今年はAI活用のテーマが5件と過半数になりました。

ハンドトラッキングを使ったバーチャル生け花
本研究では、擬似ホログラムディスプレイ上で鑑賞できるハンドトラッキング対応のバーチャル生け花を開発しました。three.jsで花の3Dモデルを表示し、MediaPipeで手指関節を認識して座標を取得し、花の配置をリアルタイムに制御しました。その結果、花色や構成を任意に変えられ、管理負担を抑えながら、複数の演出パターンを持つ高いインタラクティブ性を実現しました。
バーチャルタップダンスのための足の接地判定
本研究では、MediaPipe Pose Landmarkを用いてWebカメラ映像から足の接地を判定し、バーチャルタップダンスを実現しました。右足つま先の3次元座標を取得し、リングバッファでY座標の変化を解析して床接地を推定しました。さらに、p5.jsで接地時の音を再生し、three.jsで3Dエフェクトを表示しました。実験の結果、リアルタイムで動きに連動したWebアプリケーションを制作できましたが、判定の誤差が残り、今後は精度向上が課題となりました。
AIとダンサーの協調作業による音楽生成
本研究では、ダンサーの振り付けに合う音楽を自動生成する手法を提案しました。ml5.PoseNetで身体の骨格を認識し、ml5.neuralNetworkでポーズ分類を行い、Magenta.jsを用いて各ポーズに対応した音を生成して音楽を続けて再生しました。さらにp5.jsのCanvasで音楽に応じた可視化も行いました。その結果、身体の動きから音楽と映像を同時に生成できることを確認し、ダンサーの創作支援に有効な可能性を示しました。
AIを用いたp5.jsコードの生成による図形の描画
本研究では、OpenAI APIを用いてp5.jsコードを生成し、テキストまたは音声入力に応じた図形をWeb上に描画する作品を制作しました。Socket.IOによる双方向通信で入力内容をサーバへ送り、AIが出力したコードをHTMLに動的挿入してp5.jsのsetup()・draw()関数を実行しました。さらに、不要な文章を抑えてコードのみを出力する工夫を行いました。その結果、入力に応じた図形描画をリアルタイムに表示するWeb作品を完成させ、生成AIの新たな応用可能性を示しました。
音楽の特徴を用いた画像生成AIによるキャラクターの生成
本研究では、音楽の特徴に応じたキャラクター画像を生成する作品を制作しました。Spotify APIで楽曲検索・再生と音楽特徴の取得を行い、Node.jsのWebサーバを介してDALL・E3にプロンプトを送信しました。プロンプトには性別や絵の種類、曲名に加え、danceability、energy、valenceを与えることで、音楽の雰囲気に合うキャラクター生成を可能にしました。また、心理的な要素を指示する方が適合しやすいことを確認しました。
NFTで学習成果を認定するeラーニングシステム
本研究では、ITパスポート学習者向けに、学習成果をNFTで認定するeラーニングシステムを開発しました。MetaMaskでユーザー認証を行い、Google Apps Scriptとスプレッドシートから問題データを取得し、Node.jsとaxiosで解答記録を反映しました。さらに、Remixで作成したスマートコントラクトをAlchemy経由でブロックチェーンに書き込み、課題達成や一定得点到達時にNFTを自動発行しました。その結果、学習過程ごとの成果を透明かつ改ざん困難な形で証明できました。
NFCを利用したコミュニケーション促進Webアプリの開発
本研究では、新型コロナ禍で減少した対面コミュニケーションを促進するWebアプリを開発しました。NFCカードを読み取るとWebページへ遷移し、Node.jsによる認証とGoogle Apps Script、Googleスプレッドシートを連携して交流履歴を記録・参照できるようにしました。さらに、3Dアバター生成AIで作成したGLB形式のアバターをWeb上に表示し、利用者の個性を表現しました。その結果、対面での交流を自然に促す新たな手法を実現しました。
多数のNFCタグを活用したインタラクション
本研究では、NFC技術とLEDを組み合わせたインタラクティブなアート作品を開発しました。WebNFC APIでタグの書き込み・読み取りを行い、読み取った情報をSocket.IOでサーバーへ送信し、Obniz経由でLEDテープの色をリアルタイムに変更しました。これにより、観客がスマートフォンをかざすだけで作品と対話できる仕組みを実現し、アート表現の新たな可能性を示しました。
華展における反応型インスタレーションの制作
本研究では、いけばなとIoTセンサを組み合わせた反応型インスタレーションを制作しました。従来の華展の静的で敷居の高い印象を和らげることを目的に、M5StackのM5StickC Plus、測距センサ、LEDテープを用い、UIFlowで制御しました。観客が作品に近づいたり離れたりすると、距離に応じて花器の光が5段階で変化するように設計しました。これにより、観客が非接触で参加できる動的な展示を実現しました。

また、「音楽の特徴を用いた画像生成AIによるキャラクターの生成」については専攻で制作した以下の概要の動画がありますので、ご覧ください。