Fujimura Seminar

2022年3月に卒業した藤村ゼミの9回目の卒業生の卒業研究発表会は2月9日に行われました。

今年の卒研発表会も昨年度と同じく、コロナ禍の下での発表となったため、オンライン発表となりました。今年は15名の学生が以下のタイトルで発表しました。

LINE Beaconを用いた時間管理システムの開発
本研究では、リモートワーク時の作業時間管理を支援するため、LINE Beaconを用いた時間管理システムを開発しました。LINE Botとリッチメニューを活用して操作を簡単にし、micro:bitを用いて打刻機能を実装しました。さらに、Googleスプレッドシートで作業時間を蓄積し、グラフ化した結果を定期送信することで、記録だけでなく振り返りも行えるようにしました。これにより、出退勤の管理と作業の可視化を通じて、在宅作業のオンオフ切替を促進しました。
OCRを用いた食品の消費期限管理システム
本研究では、食品ロスの削減を目的として、OCRを用いた食品の消費期限管理システムを制作しました。Google Apps ScriptとGoogle OCRを用い、Web画面で入力した商品名と撮影画像から消費期限を読み取り、内容を編集してGoogleスプレッドシートへ登録し、Googleカレンダーにも保存する仕組みを実装しました。期限が近づくと通知を受け取れることを確認し、少ないコードで実用的な管理が可能であることを示しました。
買い物を支援する価格情報共有LINE Botの制作
本研究では、家族や友人と商品の価格情報を簡単に共有できる買い物支援用LINE Botを制作しました。Google Apps ScriptとLINE Messaging APIを用いて、LINEで送信された商品名をGoogleスプレッドシート内の登録データと照合し、店名や価格、カテゴリを検索して返す仕組みを実装しました。また、定期的に古い情報を削除してデータを最新に保ちました。その結果、日常的に使うLINE上で誰でも手軽に最安値情報を確認・共有できるようになりました。
ジェスチャによる非接触操作システムの開発と評価
本研究では、タッチレス化が求められる環境で多くのユーザが自然に使える非接触操作を実現することを目的に、ジェスチャによる注文システムを開発し評価しました。PCと赤外線入力デバイスLeap Motionを用いて手指の動きを認識し、Count、ScreenTap、Circleの3種類のジェスチャを実装しました。実験では操作時間、失敗回数、アンケートを通して比較しました。その結果、Circleが最短時間でしたが、使いやすさではCountが最も高く、単純で分かりやすい操作と視覚的フィードバックの有効性が示されました。
ビデオチャットにおける顔への落書きツールの開発
本研究では、ビデオチャットでの新たなレクリエーションとして、会話相手の顔に落書きを重ねるツールを開発しました。PoseNetを用いて顔の鼻位置をリアルタイムに検出し、JavaScriptで作成したWebアプリ上の透明キャンバスに落書きが顔を追従する仕組みを実装しました。さらに、Zoomの映像をOBS Studioの仮想カメラとクロマキー合成で処理し、相手側にも落書き映像を反映させました。プロトタイプとして目的は達成しましたが、動作には高いPC性能や遅延の課題が残りました。
摘粒支援のためのブドウ果粒検出モデルの構築
本研究では、摘粒作業の効率化を目的に、生食用ブドウの果粒を自動検出するモデルを構築しました。長野県で撮影した57枚の画像に対し、VIAで1693個の果粒をアノテーションしてデータセットを作成し、Mask R-CNNとDetectron2をGoogle Colaboratory上で学習・検証しました。さらに、OpenCVによるHough変換と比較評価しました。その結果、従来手法より深層学習手法の検出精度が向上し、Detectron2ではRMSEが約49%改善しました。
Reactを用いた直感的レーダーチャートの作成
本研究では、飲食店評価を対象に、クリック操作で数値が反映される直感的なレーダーチャートを作成しました。React.jsを用いて画面を構成し、RechartsでSVGベースのレーダーチャートを描画しました。さらに、マウス位置に応じて点数を取得する領域を設け、ツールチップ表示と連動させることで、入力を分かりやすくしました。その結果、評価項目を直感的に操作し、視覚的に比較できる評価画面を実現しました。
3D Avatarを設置するReact Componentの実装
本研究では、3D AvatarをWebサイトに簡単に設置できるReact Componentのライブラリを実装しました。React.jsのComponent機能とThree.jsを用いて3D表示を制御し、npmパッケージとして公開することで、1コマンドで導入できる形にしました。さらに、rotation、Navigation、OrbitControlsの機能を備え、回転表示やコメント表示、カメラ操作を可能にしました。これにより、3D Avatarを活用したWebデザインを汎用化し、開発負担を軽減できました。
Three.jsを用いたVRサウンドビジュアライザの開発
本研究では、VR空間を新たな表現の場として捉え、音楽を可視化して体験できるVRサウンドビジュアライザを開発しました。Three.jsとJavaScriptを用いて3D空間を構築し、VR化ボタンやWebVR対応レンダラー、アニメーション設定を実装しました。音声再生にはThree.jsのAudioインタフェースとWeb Audio APIを利用し、FFTで周波数成分を解析してオブジェクトの形状や色に反映しました。その結果、音と映像が連動する没入型の表現を実現しました。
画像の代表色をイラストに自動着色するシステム
本研究では、画像から抽出した代表色をイラストに自動反映し、複数の着色パターンを生成するシステムを制作しました。JavaScriptのVibrant.jsを用いてアップロード画像から5色を取得し、あらかじめ色領域を分けたイラストのRGBAデータを解析して使用頻度の高い5色を算出しました。さらに、これらを120通りの配色組み合わせとして自動生成し、好みの色合いを比較できるようにしました。その結果、1つのイラストから多様な着色例を提示でき、配色の新たな発見を支援できました。
湿度に応える光のオブジェの制作（写真）
本研究では、湿度に応じてろうそくの火のように揺らめく植物型オブジェを制作しました。土壌用湿度センサーとmicro:bitで湿度を取得し、NeoPixel LEDの輝度と彩度を細かく制御することで、湿度変化に応じた発光表現を実現しました。水やりによるお世話を通じて愛着が生まれ、光の揺らめきが癒しにつながる作品として完成しました。
音声認識を用いた照明による単語の視覚化
本研究では、音声認識を用いて単語を照明の色として視覚化する作品を制作しました。Webサイト上のマイクに日本語の単語を話すと、音声認識で取得した単語情報をobniz経由でLEDへ送信し、果物・感情・季節など77種類の単語に対応する代表色で点灯させました。さらに和紙を用いて日本語と調和したデザインとしました。これにより、言葉のアクションに応じて空間の雰囲気が変化する、新たな光のアートを実現しました。
ダストセンサーを用いた掃除管理LINE Botアプリ
本研究では、ダストセンサーで室内のほこり量を測定し、適切なタイミングで掃除を促すLINE Botアプリを制作しました。obnizを用いてセンサーをインターネットに接続し、取得値をGoogleスプレッドシートに記録しました。約4か月分のデータから1日あたりの平均ほこり量を算出し、Google Apps Scriptで送信時刻を調整しました。さらに、Googleカレンダーと連携して掃除記録や予定管理も可能にし、実際のほこり量に基づく実用的な通知を実現しました。

このうち、「摘粒支援のためのブドウ果粒検出モデルの構築」に関しては、詳細はこちらの記事をご覧ください。

また、「ダストセンサーを用いた掃除管理LINE Botアプリ」については専攻で制作した以下の概要の動画がありますので、ご覧ください。