現在の進捗状況・成果

• 「宮沢賢治の情報源に基づく賢治スタイル構築機構の開発および賢治スタイルの構築」 Go
• 「表情・ジェスチャ認識機構の開発」 Go
• 「音声からの感情認識機構の開発」 Go
• 「感情を考慮した推論機構の開発」 Go
• 「表情・ジェスチャ合成機構の開発」 Go
• 「感情を込めた音声合成機構の開発」 Go

---

• 「利用している機材」 Go

「宮沢賢治の情報源に基づく賢治スタイル構築機構の開発および賢治スタイルの構築」

• 【概要】
  作品や評伝など文献を利用する手法として賢治作品におけるオノマトペに注目し、オノマトペによる感情表現を賢治スタイルの一つとして抽出する。
  また専門家や一般の人の認識を利用する手法として、専門家や一般の人に賢治作品に感情のラベルを付与してもらい、それを統計的処理することにより、作品が 与える感情を賢治スタイルの一つとして抽出する。さらに朗読をしてもらい、そのときの音声や表情を分析することで、賢治スタイルの構築を試みる。
• 【関連発表】
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， WSEAS Transactions on Circuits and Systems, issue 10, vol.5, pp. 1536-1543, October 2006
  • "A Recognition based Style for Miyazawa-Kenji Virtual Model"， H. Fujita, J. Hakura, M. Kurematu， WSEAS Transactions on Circuits and Systems, issue 3, vol.6, April 2007
    
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， 6th WSEAS International Conference on SIGNAL, SPEECH and IMAGE PROCESSING(SSIP'06),2006
    
  • "Emotion Based Recognition for Miyzaya-Kenji Virtual model"， Hamido Fujita, Jun Hakura, Masaki Kurematsu， 6th WSEAS International Conference on ARTIFICIAL INTELLIGENCE, KNOWLEDGE ENGINEERING and DATA BASES (AIKED '07),2007
    
  • "専門家の朗読に基づく賢治スタイルの構築"， 成田浩規・榑松理樹・羽倉　淳・藤田ハミド， 電子情報通信学会2007年総合大会,AS-9-8,2007
    
  • "オノマトペに着目した賢治スタイルの抽出"， 高橋一馬・榑松理樹・羽倉　淳・藤田ハミド， 電子情報通信学会2007年総合大会,D-5-17,2007
    
• 【関連卒論・修論】
  • 『オノマトペに着目した賢治スタイルの抽出』（高橋 一馬）（2006）（概要(PDF)）
    賢治らしい話し方を「賢治スタイル」の一つとして捉え、これを抽出するために、賢治が高い評価を受けているオノマトペの使い方に着目した。
  • 『朗読にこめた感情に基づく賢治スタイルの構築』（佐々木 誠司）（2006）（概要(PDF)）
    本研究では複数の人の賢治作品に対する朗読から、共通の特徴を感情に基づき抽出し表現することで賢治スタイルの構築を試みる。
  • 『専門家の朗読に基づく賢治スタイルの構築』（成田浩規）（2006）（概要(PDF)）
    本研究では、賢治の専門家を仮想賢治と見立てて、彼らの朗読の共通特徴を抽出することで賢治スタイルの構築を試みる。

「表情・ジェスチャ認識機構の開発」

• 【概要】
  表情に対し、感情ごとの顔の各パーツの動作を記録し、それと比較することによって感情の認識を試みる。このとき顔全体ではなく、眉、目、口の３つの部位に着目し、それぞれで得られた結果を融合することで、感情の認識を試みる。
• 【関連発表】
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， WSEAS Transactions on Circuits and Systems, issue 10, vol.5, pp. 1536-1543, October 2006
  • "Facial Expression Recognition and Synthesis for Virtual Miyazawa Kenji System"， J.Hakura, M.Kashiwakura, Y.Hiyama, M.Kurematsu, H.Fujita， WSEAS Transactions on Circuits and Systems, issue 3, vol.6, pp. 288-295, March 2007
    
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， 6th WSEAS International Conference on SIGNAL, SPEECH and IMAGE PROCESSING(SSIP'06),2006
    
  • "Facial expression recognition and synthesis toward construction of quasi-personality"， J.Hakura, M.Kashiwakura, Y.Hiyama, M.Kurematsu, H.Fujita， 6th WSEAS International Conference on ARTIFICIAL INTELLIGENCE, KNOWLEDGE ENGINEERING and DATA BASES (AIKED '07),2007
    
  • "動画像を用いた表情からの感情推定手法"， 柏倉　守・佐藤　徹・羽倉　淳・榑松理樹・藤田ハミド， 電子情報通信学会2007年総合大会,AS-9-2,2007
    
• 【関連卒論・修論】
  • 『動画像を用いた表情からの感情推定手法』（柏倉 守）（2006）（概要(PDF)）
    本研究ではユーザの表情を眉・目・口の3パーツにわけて各パーツが表す感情を認識する。そのうえで認識された各パーツの感情の組み合わせから感情の推定ルールに基づき顔全体が表現する感情や意思を推定する。
  • 『表情特徴に基づく感情推定に関する研究』（十文字俊裕）（2006）（概要(PDF)）
    人とコンピュータとのインタラクションを実現するために、表情認識を行い、ユーザの感情を推定する。ユーザの動画像を撮影し、基本6表情を認識する。従来 の方法であるAction Unit(AU)と呼ばれる表情動作の最小単位を動画像から認識する方法に加え、AUには含まれないが表情と関係のある皺を認識することで感情をより明確 に認識することを試みる。

「音声からの感情認識機構の開発」

• 【概要】
  感情をこめて発話された音声に対し、主に韻律に着目する。 周波数分析によって得られる成分やそれらから二次的に求められる値に加え、波形分析などで得られた成分を抽出し、それらから感情を区別する認識機構を構築する。 従来は処理のタイミングであったポーズ（間）も成分として考える。
• 【関連発表】：
  • "A Framework of a Speech Communication System with Emotion Processing"， M. Kurematsu, J. Hakura, H. Fujita， WSEAS Transactions on Circuits and Systems, issue 3, vol.6, April 2007
    
  • "The framework of the speech communication system with emotion processing"， M. Kurematsu, J. Hakura, H. Fujita， 6th WSEAS International Conference on ARTIFICIAL INTELLIGENCE, KNOWLEDGE ENGINEERING and DATA BASES (AIKED '07),2007
    
  • "韻律に基づく音声からの感情推定に関する研究"， 澤井夏美・榑松理樹・羽倉　淳・藤田ハミド， 電子情報通信学会2007年総合大会,AS-9-6,2007
    
• 【関連卒論・修論】
  • 『韻律に基づく音声からの感情推定に関する研究』（澤井 夏美）（2006）（概要(PDF)）
    人と同じように対話することができるシステムを構築するためには，相手の音声から感情を推定する必要がある．そこで本研究では，音声の韻律特徴から発話者 の感情を推定するため，音声の強弱(パワー)・高低(ピッチ)・長短(発話時間)の代表値に加え，それらの変化，間(ま）に注目することにより，従来の手 法よりも精度の高い感情推定を試みる手法を提案した．

「感情を考慮した推論機構の開発」

• 【概要】
  本機構は、複数の情報から推測した感情を心理学の理論に基づき統合することを試みる。さらにそれによって得られた感情に対し、人の感情と行動との関係付けの考えに基づき、行動を決定する。
• 【関連発表】：
• 【関連卒論・修論】：
• 『交流分析を用いたインタラクションモデルの構築』（佐々木 瞬）（2006）（概要(PDF)）
  賢治システムにおいて動的なインタラクションを行うために、心理学の分野で用いられている交流分析を取り入れたインタラクションモデルの構築を行う。シス テムの反応は各状態における変化の法則に加え、システムに個性を持たせるためにエゴグラムを用いて、ユーザの感情によるシステムの反応に個性を持たせる。 このとき賢治スタイルを活用することで、賢治の思考を再現する。

「表情・ジェスチャ合成機構の開発」

• 【概要】
  心理学的知見から感情と顔のパーツおよびその動作量との対応付けを定義し、感情の強さにより動作させるパーツとその動作量を変化させることにより、表情による感情表現を実現する。
• 【関連発表】：
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， WSEAS Transactions on Circuits and Systems, issue 10, vol.5, pp. 1536-1543, October 2006
  • "Facial Expression Recognition and Synthesis for Virtual Miyazawa Kenji System"， J.Hakura, M.Kashiwakura, Y.Hiyama, M.Kurematsu, H.Fujita， WSEAS Transactions on Circuits and Systems, issue 3, vol.6, pp. 288-295, March 2007
    
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， 6th WSEAS International Conference on SIGNAL, SPEECH and IMAGE PROCESSING(SSIP'06),2006
    
  • "Facial expression recognition and synthesis toward construction of quasi-personality"， J.Hakura, M.Kashiwakura, Y.Hiyama, M.Kurematsu, H.Fujita， 6th WSEAS International Conference on ARTIFICIAL INTELLIGENCE, KNOWLEDGE ENGINEERING and DATA BASES (AIKED '07),2007
    
  • "FACSを用いた3次元モデル上の表情合成に関する研究"， 檜山洋一・羽倉　淳・榑松理樹・藤田ハミド， 電子情報通信学会2007年総合大会,AS-9-3,2007
    
• 【関連卒論・修論】：

「感情を込めた音声合成機構の開発」

• 【概要】
  演技や読み聞かせ、スピーチなどの表現手法や人の自然な発言を参考にピッチやトーン、ポーズなどの音声特徴を変更させることにより、感情を込めた音声の合成を行う。
• 【関連発表】：
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， WSEAS Transactions on Circuits and Systems, issue 10, vol.5, pp. 1536-1543, October 2006
  • "A Framework of a Speech Communication System with Emotion Processing"， M. Kurematsu, J. Hakura, H. Fujita， WSEAS Transactions on Circuits and Systems, issue 3, vol.6, April 2007
    
  • "Virtual Cognitive model for Miyzawa Kenji based on Speech and Facial Images recognition"， H. Fujita, J. Hakura, M. Kurematu， 6th WSEAS International Conference on SIGNAL, SPEECH and IMAGE PROCESSING(SSIP'06),2006
    
  • "The framework of the speech communication system with emotion processing"， M. Kurematsu, J. Hakura, H. Fujita， 6th WSEAS International Conference on ARTIFICIAL INTELLIGENCE, KNOWLEDGE ENGINEERING and DATA BASES (AIKED '07),2007
    
• 【関連卒論・修論】：

利用している機材など

• ハード
  • 人型対話用ディスプレイ（石川光学造形研究所製：Chatty）
    
  • モーションキャプチャ（日本SGI製：Motion Analysis）
    
  • デジタルビデオカメラ（Panasonic製：AG-DVC30）
  • 高速度ステレオカメラ（ポイントグレイリサーチ製：Dragonfly Express）
• ソフト
  • データ分析用ソフトウェア（Mangold社製：Interact, DataView, Soundalyzer）
  • 3Dモデル作成用ソフトウェア（Autodesk社製：Maya）
  • 顔モデル作成用ソフトウェア（Singular Inversions社製：FaceGen）
  • アニメーション作成用ソフトウェア（Autodesk社製：MotionBuilder）
  • 音声解析ソフトウェア（KHL製：WaveSurfer）
  • 音声合成ソフトウェア（沖ソフトウェア製：SMARTTALK）
  • 統計ツール／言語（：Ｒ）
  • 形態素解析ツール（京都大学：JUMAN）
  • 日本語構造分析ツール（奈良先端科学技術大学院大学：Cabocha）