Qualification について

Qualification とは，エンタテインメントやアートを対象とした体験型システムの新たな評価方法です． エンタテインメントやアートのような嗜好性の強い分野においては万人受けする必要性はないことが往々にあり，統計的なアプローチの評価実験のみでは研究／作品の魅力や効果を十分に説明しきれないことも多くあります． 学術分野における知見の積み上げという観点では，意義の薄い実験に労力を割くよりはエンタテインメントやアートを構成する技術的な枠組みを明文化して，議論し蓄積していくことの方が有意義と考えます． そこで NICOGRAPH2020 では，体験を扱う「作品型」の研究を対象としてQualificationを実施します． Qualificationでは，エンタテインメントやアートに関する専門家，実務者を審査員として，作品に対する体験の評価を認定（Qualify）します． 認定に際しては，研究の狙いと結果の整合性，狙いに対する手法の妥当性が下記のXDAをもとに考慮されます． これにより，客観的な指標での評価が難しい研究についても，特許や実用新案のように「仕組み」と「心への働き」の関係を科学的に評価します． Qualificationによって認定された研究については，本学会論文誌の特集号において掲載推薦するとともに論文中の評価で審査結果を根拠としても良いことと致します．

XDA：eXperience Design Asset

作品型の研究を対象として，研究の意図・ねらいを eXperience Design Asset（XDA） という形式で明文化してもらいます． XDAでは，誰に，どのように，どのような心の動きを提供するのかを説明してもらいます． Qualification では，審査員がこのXDAを参照しながら，研究成果を体験し，研究のデザインが実現されているのかを評価します．また，XDA自体の内容についても，作品の本質が的確に言及されているのか審査されます． 今回は，必要に応じてXDAへのフィードバックを実施します． NICOGRAPH2020のXDAには，以下の項目を明文化してもらいます．

どのような体験者／鑑賞者を対象とするか
　主として対象とする体験者／鑑賞者の属性や置かれている状況等を説明してください．

どのように心の動きを実現するか
　上記の心の動きを実現する仕組み，過程，結果について説明してください． 具体的な記述例はECの事例 (EC2018年版) (EC2019年版) を参考にしてください．

どのような心の動きをもたらしたいか
　体験者/鑑賞者が作品を体験/鑑賞することで起こる情動を，キーワード的に記述してください．

数多く挙げるのではなく，作品の特徴であり本質であるものに絞ってください． 例えば，「驚く」という情動は，想定外や突発的な事象に対して感じるものであり新奇性がある多くの作品に共通しています． 「驚く」自体が本質的な体験ではなく，その先にある情動があるのならばそちらを挙げるべきです． あるいは「楽しい」という情動は漠然としており本質を表していません．どう楽しいのかを取り上げてください．

Qualificationの流れ

1. 論文提出時にXDAを併せて提出してください．
提出期限は各トラックにおける原稿提出期限と同じです． また，可能な限り，作品の内容が分かるビデオを提出，あるいはYouTube等へのリンクを記載してください． Conference trackの場合，査読結果に併せてXDAもフィードバックをします．
2. 要求に応じてカメラレディ提出時に修正版を提出してください．
Exhibition trackの場合もフィードバックします． 要求があれば修正版を提出してください．
3. 会議中にデモンストレーションを行ってください．
実演が困難な場合はビデオ等の手段で代用しても構いませんが，発表内容によっては（嗅覚や触覚など，映像だけでは伝わらない感覚を呈示するようなシステムなど）XDAの内容の確認に至らない場合があることはご留意ください． Qualification 申請が行われたシステムは会期中に審査員が体験・審査し，審査を行います．
4. 認定された発表には認定証を授与するとともに，大会Webページに掲載します．
Qualificationについては，どのような審査員がどのように評価したなどの経緯も公開し，研究/作品の評価の過程を共有します．

Qualificationの背景

従来の科学技術論文の枠組みでは，有用性を明らかにするために評価実験による客観的な結果が重視されてきました． しかし，エンタテインメントやアートといった体験を扱う研究分野においては実験による検証には限界があります． エンタテインメントやアートのような嗜好性の強い分野においては万人受けする必要性はないことが往々にしてあります． また，印象評定系の評価実験が実施されることが多いですが，実験協力者の母集団の偏りや新奇性に対するバイアスなどの問題は従来より指摘されています． 一方で，学術分野における知見の積み上げという観点では，意義の薄い実験に労力を割くよりはエンタテインメントやアートを構成する技術的な枠組みを明文化して，議論し蓄積していくことの方が有意義と考えます． このような従来の評価の枠組みの問題解決を目指した新たな評価の枠組みとして，Qualificationは提案されました． Qualificationは，2018年度より，情報処理学会エンタテインメントコンピューティングシンポジウム (EC) において試行されてきました． ECにおけるQualificationは，エンタテインメント性に関する主張の実効性を学会主催者側が認定して担保します． 具体的には，新たなエンタテインメントの実現を主題とする研究において，著者はどのような対象者に，どのような仕組みで，どのようなエンタテインメント性を奏するか，を EDA (Entertainment Design Asset) を用いて主張します． 当該分野のエキスパートから構成されるQualification委員会は，論文やビデオ，デモンストレーションでの体験を通じて，この主張の妥当性を確認します． そして，EDAでデザインされたエンタテインメントを提供する研究/作品として妥当であると認定された研究は，その有用性を「確認済み」として扱っています． ECではQualification認定済みの論文が論文誌特集号に投稿された際には，有用性については確認済みとして扱っています． ECでの経緯・結果の詳細は下記リンク先をご参照ください．