目標・実施内容

人は感情をさまざまな方法で表現するが、それらの表現手法は、文化に基づく点が大きい。その点から感情を推測する上では、文化に根ざした感情表現とその意味の関係が必要不可欠である。また感情認識、感情表現は、一般的なものが考えられる反面、人によって異なる点が大きい。我々は、ある特定の人物の感情認識や感情表現をモデルとして捉え、それを利用することを考える。特に本プロジェクトにおいては、宮澤賢治を対象とし、宮澤賢治のモデルを賢治スタイルとして構築する。賢治スタイルを構築するための情報源としては、賢治の作品、評伝、文学における研究成果、専門家の見識、さらには一般の人の捉え方などを対象とする。これらの中から、賢治スタイルを構築する機能の実現を目指す。
さらに感情表現のメディアとして、人の感情が出やすく、また比較的認識・合成技術の研究が進んでいる、表情、ジェスチャ、音声に着目する。これらを組み合わせることにより、次の３つの機能を実現を目指す。

賢治スタイルに基づき表情やジェスチャ、音声から感情を推測する機能
賢治スタイルに基づき感情も考慮して発話内容を推測し、行動を決定する機能
賢治スタイルに基づき発話内容を表情やジェスチャ、音声も含めて伝達する機能

さらに感応実験を通した評価を行い、本システムが高度なインタラクションを実現できるかを検証する。
上記のことを行うために、具体的には以下のことを行う。

「宮沢賢治の情報源に基づく賢治スタイル構築機構の開発および賢治スタイルの構築」：
本機構は、様々な情報源から賢治スタイルの構築を行う。構築手法としては、作品や評伝など文献を利用する手法と、専門家や一般の人の認識を利用する手法の二つの手法を中心に考える。さらに実際に利用することにより賢治スタイルの構築を試みる。

「表情・ジェスチャ認識機構の開発」：
本機構は、従来の認識機構に対し、認識時に利用するデータベースと賢治スタイルと対応づけることで、単なる表情やジェスチャの認識ではなく、その裏にある感情を推測する機能を実現する。

「音声からの感情認識機構の開発」：
本機構は、音声データから得た音声特徴と対応付けられた賢治スタイルを照合することで、音声から発話内容ではなく、その裏にある感情を推測する。

「感情を考慮した推論機構の開発」：
本機構は、複数の情報（ここでは表情、音声、ジェスチャ）から推測した感情を統合し、推測した感情に対するシステムの出力を決定する推論を行う。このとき賢治スタイルを活用することで、賢治の思考を再現する。

「表情・ジェスチャ合成機構の開発」：
本機構は、心理学的知見から感情と対応付けた顔のパーツとその動作量を定義し、特定の感情を、CGを用いた表情として表現する。パーツと動作量を最適化することにより、複数の感情が入り混じった表情など複雑な表情の再現を目指す。さらにジェスチャについても本手法を応用し、実現する。

「感情を込めた音声合成機構の開発」：
本機構については、スピーチや朗読などの人の発話方法に基づき、ピッチやトーン、ポーズなどの音声特徴を変更させることにより、感情を込めた音声の合成を行う。

Back