＠ホームサービスロボット製作総合実習
種別
総合実習
開講期
2024/8/19（月）～8/30（金）（土日除）
（10日間、4コマ/日、40コマ・60時間相当）
講師
九州工業大学・田向教授
内容
RoboCup@ホームリーグで実際に用いられているホームサービスロボットの開発を，シミュレータを用いて行う．受講生は2班（もしくは3班）に分かれ，タスク設計，深層学習による物体認識・大規模言語モデルによる自然言語処理，ロボットの自律移動制御，物体把持のためのアーム制御等を分担し，共同開発を行う．最終的にそれらを統合し，家庭での片付けをテーマとしたタスクを実行させ，競技方式で成果を競う．また，シミュレータで開発した片付けタスクのロボット実機デモを見学する．さらに，演習の進捗の様子を見て，実機を用いたデモプログラムを時間的余裕があるチームに開発してもらう．詳細は以下の通り．
■場所：九工大（若松キャンパス），座学・実習・コンテスト：１Fロビー，2階講義室・端末室
■人数・班構成：2班（もしくは3班）．各班6名程度，全体で最大18名程度
■使用機材：ロボットシミュレータ，TOYOTA HSR（ロボット実機），GPU搭載PC 最大18台
■実習課題・必要要件：
事前アンケートに基づき実習生の希望に応じて以下の課題のいずれかを選択して班を構成する．第1週は，まず，実習生全員にRobot Operating System（ROS）の講習を行う．次に選択課題ごとに設定された演習を，ロボットシミュレータを用いて実施する．第2週は班ごとに課題を統合してロボットに特定のタスクを実行させ，コンテスト形式の競技を行う．時間的余裕があるチームには，HSR実機を用いた簡単なデモプログラムを作成してもらう．
※ 課題ごとに，日頃ロボカップ＠ホーム活動を行っている学生のTAが付く．
※ 演習内容は受講生に事前知識が無いことを想定して設計しているが，不安な受講生は開発環境の項目を参考に予習をしておくとよい．
※ PythonはC言語経験者であれば，演習初日・二日目の講習を受けることで問題なく活用可能．
１）チームリーダ・タスク設計
ホームサービスロボットがタスク（部屋の片付けをロボットが実行する課題）を実行するときの処理順序を計画し，ステートマシーンを用いて記述する．この際，チームリーダとしてメンバの意見をまとめてステートマシーンに反映させると共に，チーム全体の開発進捗管理を行う．
開発環境：ROS，Python
２）深層学習による物体認識・大規模言語モデルによる自然言語処理
物体認識のための画像処理を実装する．まず，深層学習を用いて，頑健かつ高速な物体認識を実装する．学習のためのデータセット自動生成手法を併せて学び，現場での深層学習運用法を身に着ける．また，大規模言語モデルを用いた音声認識システムWhisperを導入する．さらに，GPT系を用いたプロンプトエンジニアリングにより，ロボットと人間との円滑なやり取りを実現する．チームメンバらとの議論を通して，コンテストでの高得点獲得を目指し，自由なアイデアで様々なオープンソースをロボットへと組み込む．
開発環境：ROS，Python，OpenCV，OpenAI API（Whisper, GPT3.5/4.0）
３）移動台車制御・自己位置推定・環境地図作成（SLAM）
レーザレンジセンサを用いて周辺の環境地図の作成を行うと共に，ロボット自身の現在位置の特定を行う．また，移動方向や速度の制御プログラムを構築して，移動台車の制御プログラムへ命令を送り，環境地図と自己位置の情報を元に，早く・円滑に目的地までロボットを移動させる．
開発環境：ROS，Python
４）物体把持・アーム制御
２班の物体認識により得られた物体の２次元情報を元に，距離画像をもとに生成した３次元点群を用いて把持対象物の３次元情報を取得する．また，把持物体の大きさや向きなどを考慮した物体把持を実現するためのプログラム実装及びアーム制御を行う．
開発環境：ROS，Python，Open3D
■レポート：実習終了後1週間以内に，各人の担当分をレポートに作成して提出．
実習計画
1. ＠ホームロボットの概要（１コマ）
2. ROS講習（2コマ）
3. 担当課題の実習（12コマ）
4. 担当課題成果まとめ（3コマ）
5. ロボット総合動作（１9コマ）
6. コンテスト及び発表（2コマ）
7. 他実習のコンテスト見学（1コマ）無し，または，前半戦のビデオを見せるなど検討予定．
■事前学習用教材
演習内容は受講生に事前知識が無いことを想定して設計しています．また，課題ごとにTAが付きサポートするので，特に事前の準備は必要ありません．もし，事前学習を行いたい場合は，全課題共通で用いるROSについて以下のROS Wikiをお勧めします．
ROS Wiki：http://wiki.ros.org/ja
また，PythonやC言語をはじめとするプログラミング言語について，お持ちの教科書で復習をお願いします．
ロボットシミュレータとTOYOTA HSR実機を用いた実際の片付けタスクの様子を以下のYouTubeからご覧いただけます．本番のコンテストではチーム対戦方式で実施予定です．
使用シミュレータ（RoboCup2021世界大会）
使用実機 TOYOTA HSR（World Robot Summit 2020決勝戦）
実習計画
実習スケジュール
集合場所・時間
・初日集合時間： 2024/8/19 13:00 （ただし，インターンシップ生は午前中集合．別途連絡）
・初日集合場所： 九工大 1階ロビー
・持参物：筆記用具など
・2日目以降実習時間：（時間は別途連絡）
・コンテスト日時： 2024/8/30（時間は別途連絡）
・コンテスト場所： 九工大 1階ロビー
・他総合実習コンテスト見学：（時間は別途連絡）
