演奏情報と楽譜情報の対からの演奏表情規則の獲得とその応用

野池 賢二　乾 伸雄　野瀬 隆　小谷 善行

(東京農工大学大学院　工学研究科　電子情報工学専攻)

　楽譜情報に、人間の演奏から獲得した表情を付加する演奏表情規則を 適用することで表情豊かな演奏を生成する。本稿では、演奏表情規則を 演奏情報とそれに対応する楽譜情報の対から自律的に獲得することを目的とする。
　規則獲得の手がかりとして、 楽譜上の奏法に関する記号の情報と 楽曲の構造の情報を用いる。 手がかりを用いて抽出された演奏表情は、 あらかじめ用意した 6 種の関数で近似する。
　演奏情報と楽譜情報の多量の対から、演奏表情の抽出と、 近似関数の係数の修正を行ない、 演奏表情に対する適切な関数を決定する。
　獲得した規則の応用として、演奏に表情を付加する ことのほかに、演奏から、奏法に関する記号をも生成する 採譜システムが実現できることについても述べる。


An Acquiring Method of Expression Rules by Considering
the Pairs of Expressive Performance Information and Score Information,
and its Application

Kenzi NOIKE, Nobuo INUI, Takashi NOSE, Yoshiyuki KOTANI

(Tokyo University of Agriculture and Technology, Department of Computer Science)

　We aim at actualizing computer music performance more like a human by applying rules of the performance, which was obtained from the human performance.
　Creating such rules manually would be extravagant in view of how much amount of time and work would cost.
　This paper proposes autonomous acquisition of expression rules by considering pairs of expressing performance information and score information, corresponding to each other.
　As the key for acquiring the rules, we used symbolic information performing with expressions described on the score, and the structure information of musical pieces. After approximating the performance expressions by 6 functions, we carried out extracting and correcting the large quantity of the pairs so that a suitable function is selected.
　As an application of the acquired rules, we also mention about a transcription system which generates symbols to perform with expressions described on the score from human expressive performance.



１　はじめに

　ルールベースや事例ベースなどの方法によって表情豊かな演奏を生成する研究は、 数多く行われている[9][11][18][19][25]。
　われわれは、規則を適用することによって演奏に表情を付加する、ルールベースの 立場で研究を進めており、演奏に表情を付加する規則は人間の演奏による 演奏例から抽出している。この規則を演奏表情規則と呼んでいる。
　演奏表情規則を適用することによって演奏に表情を付加するシステムが生成する 演奏表情の質は、演奏表情規則の質と量によって決まる。良質で大量の規則を、 人間が演奏例を分析し、作成することは、労力的にも時間的にも現実的ではない。
　そこで、本研究では、人間によって表情豊かに演奏された演奏情報と、 それに対応する楽譜情報の対から、自律的に規則を獲得することを目的とする。
　演奏情報と楽譜情報の対から、演奏表情規則を獲得する研究は、 すでに過去に行われている[10][14][15][16][20][23]。 われわれも、これらの研究と同様に楽譜上に記されている 演奏への表情付けに関する記号の情報と、 楽曲の構造の情報を手がかりに演奏表情規則を獲得するが、 演奏表情を数種の関数で近似し、獲得を行い続けるうちに、演奏表情に 適した関数が残るような獲得を目指している。
　本稿では、その獲得方法と、可能性を確認するための小実験とその結果、 そして、獲得した演奏表情規則の応用について述べる。


２　演奏表情として扱う情報

　本研究では、人間が演奏した演奏情報から得られる情報のうち、 次の情報を演奏の表情として扱う。これらを演奏表情パラメータと呼ぶことにする。 　i 番目の音符が和音の場合、代表値として、もっとも音高が高い音の 表情パラメータを採用した。 これは、演奏情報の和音の部分を調べたところ、 和音の構成音のすべてが弾かれるのは、もっとも音高が高いときであることが 多かったからである。
　アーティキュレーションとして、打鍵時刻と離鍵時刻の情報を用いているが、 これだけでは、「離鍵していてもペダル操作によって音が鳴り続いている」 という状態を表せない。したがって、ダンパーペダル踏度を扱う必要があるが、 演奏情報を調べたところ、微妙なタイミングで操作されており、 音符の属性値として表すことに無理があることがわかったので、 本稿ではペダルの情報は扱わない。しかし、将来的には扱いたいと考えており、 現在、その扱い方を考慮中である。


３　演奏表情規則獲得方法

3.1　演奏表情パラメータ値列の切出し

　演奏情報と楽譜情報の対から演奏表情規則を獲得するために、 まず、規則化する演奏表情パラメータ値列(M(i), A(i), V(i) の値の列)を切り出す。 切り出す手がかりとして、楽譜情報に含まれる、楽譜上に記述されている 演奏への表情付けに関する記号の情報と、楽曲の構造の情報を用いる。


3.1.1　表情付けに関する記号による切出し

　楽譜情報に含まれる、表情付けに関する記号の位置を手がかりとして、 それに対応する部分の演奏表情パラメータ値列を切り出す。 演奏表情パラメータ値列の切出しのために、演奏への表情付けに関する記号を、 次の 2 種に大別する。
　範囲記号
楽譜上のある時間範囲に対して記されている、演奏への表情付けに関する記号 (たとえば、松葉の形のクレッシェンドなど)

　点記号
範囲記号以外の演奏への表情付けに関する記号 (時間領域が明示されていない記号)
　この大別にしたがい、それぞれの記号が演奏への表情付けに関わっている 可能性のある時間領域を次のようにし、その時間領域の M(i), A(i), V(i) の 値の列を、規則化する演奏表情パラメータ値列として切り出す。


3.1.2　楽曲の構造による切出し

　楽曲の構造の情報を手がかりとして、それに対応する部分の 演奏表情パラメータ値列を切り出す。
　現在のところ、構造の情報として、繰り返されるフレーズの 始まりと終りの位置を人手で楽譜情報に埋め込んで与えており、 それを 3.1.1 節で 述べた点記号と同様に扱い、規則化する演奏表情パラメータ値列を 切り出している。 今後は、すでに成果があがっている先行研究を参照し、 システムが自動的に楽曲の構造分析を行い、 規則化する演奏表情パラメータ値列を切り出すようにする予定である。


3.2　切り出した演奏表情パラメータ値列の関数近似による規則化

　楽譜上に記されている表情付けに関する記号の情報と、楽曲の構造の情報を手がかり として切り出した演奏表情パラメータ値列は、 あらかじめ用意した複数の関数の形に近似し、切り出すときに手がかりとした情報 とともに保存することで規則化する。 複数の関数の形に近似するのは、切り出した演奏表情パラメータ値列に 適した関数の形がわからないからである。 多量の演奏情報と楽譜情報の対から演奏表情規則を獲得し、 3.3 節で述べる関数の係数の修正を行っていくうちに、 適切な形の関数が残ることを期待している。
　4 節で述べる小実験では、手始めに、6 種の関数形を用意し、 獲得小実験を行った。


3.3　近似関数の係数の修正

　切り出すときに手がかりとした情報とともに保存し、規則化した近似関数の係数は、 別の位置に記述されている、同一の記号など、 同じ手がかりによって演奏表情パラメータ値列が切り出されたときに修正を行う。 修正は、今、規則化するべく近似した関数の係数と、すでに規則化されている 近似関数の係数との平均値を、新たに規則化する近似関数の係数とすることで 行う。
　修正前と修正後の係数の値の変動をみることで、 切り出した演奏表情パラメータ値列が 規則化するに値するかどうかを判断する。


４　演奏表情規則獲得小実験

4.1　実験目的

　本手法による演奏表情規則獲得の可能性を確認するために、 ごく簡単な獲得実験を行った。 この実験で調べることは、 である。


4.2　実験方法

　この実験では、楽譜上に記述されている演奏への表情付けに関わっている記号 であるフェルマータに着目した。 フェルマータは、3.1.1 節で述べた大別では点記号であり、 規則化するべき時間領域の判断がうまくいけば、記号が記される前の時間領域 が規則化するべき領域だと判断されるはずである。
　実験のための演奏情報として、市販されている YAMAHA ピアノ・プレーヤ用 ディスクの中の、同一演奏者による 2 曲を用いた。 演奏情報に対応する楽譜情報として、同じく YAMAHA から出版されている、 ピアノ・プレーヤ用ディスクに対応した楽譜を、計算機可読なように符号化して 用いた。
　この 2 曲中には、フェルマータが記されている位置が合計 6 か所あるが、1 か所は 曲末に記されているため、フェルマータの前 6 か所と後 5 か所の 演奏表情パラメータ値列が切り出される。 この実験では、切り出される時間領域の範囲は、16 拍に設定した。
　近似関数は、手始めとして、次の 6 種を用意した。 　変数 t は、楽譜上の時刻であり、それがとる値は、 たとえば、切り出した演奏表情パラメータ値列の範囲が楽譜上の時刻 tss から tse であるとすると、

　　0　<　t　<=　tse - tss

である。
　演奏表情パラメータ値列の関数への近似は、最小自乗法を用いて行う。


4.3　実験結果

　獲得小実験の結果として、各近似関数の係数変動の絶対値の最大値と最小値を 表１に示す。

表１　近似関数の係数変動
前後
近似関数 最小値 最大値 最小値 最大値
at+b 0.1235 0.2339 0.0643 0.3755
at2+bt+c 0.0003 0.0520 0.0256 0.1285
at3+bt2+ct+d 0.0013 0.0096 0.0024 0.0343
a exp(t)+b 0.0000 0.0000 0.0000 0.0000
a ln(t)+b 0.0300 1.7605 0.2728 2.1896
a/t+b 0.6010 4.6323 1.5916 4.1791

　表１を近似関数ごとにみると、 フェルマータが記される前の方が、後の方よりも変動が小さい。このことから、 フェルマータが記される前の時間領域が規則化される可能性が高く、 規則化するべき時間領域の判断ができたと考えられる。
　次に、各近似関数と演奏表情パラメータ値列との残差平方和の平均値を 表２に示す。

表２　各近似関数の残差平方和
近似関数 残差平方和
at+b 20126.3
at2+bt+c 7199.5
at3+bt2+ct+d 4064.8
a exp(t)+b 11190.2
a ln(t)+b 27122.8
a/t+b 36997.8

　表２をみると、もっとも残差平方和の小さい関数は 3 次関数であり、次いで、2 次関数、その次に指数関数となっている。 しかし、演奏表情パラメータ値列の近似関数として、3 次関数が適当とは 考えづらい。本稿では示していないが、近似関数と演奏表情パラメータ値列 をグラフ化し、重ねると、どちらかといえば指数関数の方が適当にみえる。 複数の関数で近似し、もっとも適当な関数の形が残るようにするためには、 何らかの別な評価基準が必要である。


５　評価

　ごく簡単な実験の結果から、近似関数の係数の変動をみることで、 規則化するべき時間領域を判断することができることがわかった。このことから、 本手法により、楽譜上に記述されている演奏への表情付けに関する記号の 意味をみることなく、演奏表情規則を生成できる可能性あることが示唆された。
　また、近似関数と演奏表情パラメータ値列との残差平方和をみることで 演奏表情に対して適切な形の関数を選ぶことを試みたが、 この評価基準では、うまく選べないことがわかった。
　しかし、本稿で行った実験は、ごく簡単な小実験であるので、この結果をもとに 本手法を評価することには無理がある。 また、近似関数として用意した関数の形は、とくに物理的な裏付けのある形 ではないので、これを考え直す必要がある。 これらの点から、用意する関数の形を吟味し、早急に、 大量の演奏情報と楽譜情報の対からの獲得実験を行い、 本手法の評価を行う予定である。

６　獲得した規則の応用

　本手法により獲得した演奏表情規則を応用するシステムとして、 表情付加システムと採譜システムを考えている。


6.1　表情付加システム

　獲得した演奏表情規則を応用するシステムとして、 まず、規則の自律獲得を行う動機でもあった表情付加システムがあげられる。 これは、楽譜情報を入力として与えると、 人間が演奏を行ったような表情豊かな演奏を生成するシステムであり、 獲得した規則がもっとも生かされるシステムである。


6.2　採譜システム

　次に、獲得した規則を応用するもうひとつのシステムとして、 音符だけではなく、楽譜上に記述されていたであろう演奏への表情付加に関する 記号をも含んだ楽譜を生成するシステムを考えている。 これは、採譜システムが推測した演奏表情パラメータ値列と 規則の近似関数とのマッチングを行い、うまくマッチしたときに、 そこに、規則を獲得したときの手がかりとした情報に相当する要因が 存在するであろうという考えに基づいて行う。 手がかりの情報が楽譜上に記述された演奏への表情付加に関する記号であれば、 その記号を楽譜中に生成することができる。
　ごく簡単な実験として、フェルマータの規則と、楽曲の構造上の理由で速度が 減速する部分の規則を持たせた採譜システムを作成し、採譜実験を行ったところ、 期待する位置すべてにフェルマータが生成されたが、期待しない位置 9 か所にも 誤生成された[31]。


７　まとめ

　演奏情報とそれに対応する楽譜情報の対から、 演奏表情規則を獲得する方法について述べた。 規則の獲得は、切り出した演奏表情パラメータ値列を 複数の関数の形に近似し、切り出し時に用いた手がかりと ともに保存することで行った。
　今後は、用意する関数の形を吟味し、意味のある形にする。 近似関数の形や係数に、演奏者の個性が現れるような形にすることを目指す。


参考文献

[1] Anders Friberg：
Generative Rules for Music Performance: A Formal Description of a Rule System, Computer Music Journal, Vol.15, No.2, pp. 56-71, 1991.
[2] Anders Friberg：
Performance Rules for Computer-Controlled Contemporary Keyboard Music, Computer Music Journal, Vol.15, No.2, pp. 49 - 55, 1991.
[3] Gerhard Widmer：
Understanding and Learning Musical Expression, Proceedings of the 1993 ICMC, pp. 268 - 275, 1993.
[4] Gerhard Widmer：
Qualitative Perception Modeling and intelligent Musical Learning, Computer Music Journal, Vol. 16, No. 2, pp. 51 - 68, 1992.
[5] Gerhard Widmer：
Modeling the Rational Basis of Musical Expression, Computer Music Journal, Vol. 19, No. 2, pp. 76 - 96, 1995.
[6] Robert West, Peter Howell, and Ian Cross：
Modelling Perceived Musical Structure, MUSICAL STRUCTURE AND COGNITION, ACADEMIC PRESS, pp. 21 - 52, 1985.
[7] 高見啓史, 片寄晴弘, 井口征士：
ピアノ演奏における演奏情報の抽出, 電子情報通信学会論文誌 D-II Vol. J72-D-II No. 6, pp. 917 - 926, 1989.
[8] 片寄晴弘, 井口征士：
知的採譜システム, 人工知能学会誌, Vol. 5, No. 1, pp. 59 - 66, 1990.
[9] 福岡俊之, 片寄晴弘, 井口征士：
音楽解釈システム MIS における自動演奏生成過程について, 情報処理学会第 40 回全国大会講演論文集, 6R-5, pp. 1585 -- 1586, 1990.
[10] 片寄晴弘, 福岡俊之, 井口征士：
音楽解釈システム MIS における演奏ルールの抽出について, 情報処理学会第 40 回全国大会講演論文集, 6R-6, pp. 1587 -- 1588, 1990.
[11] 片寄晴弘, 村尾忠廣：
音楽解釈システム MIS: イデオストラクチャの表現, 情報処理学会第 46 回全国大会講演論文集, 9C-1, pp. 2-317 -- 2-318, 1993.
[12] 玉城謙一, 片寄晴弘, 井口征士：
音楽表現の要因に関する一検討, 情報処理学会第 48 回全国大会講演論文集, 3T-6, pp. 1-373 -- 1-374, 1994.
[13] 片寄晴弘, 竹内好宏：
演奏解釈の音楽理論とその応用について, 情報処理学会音楽情報科学研究会研究報告, 94-MUS-7-3, pp. 15 - 22, 1994.
[14] 玉城謙一, 片寄晴弘, 井口征士：
演奏ルールの抽出と再現, 情報処理学会音楽情報科学研究会研究報告, 94-MUS-8-3, pp. 13 - 16, 1994.
[15] 青野裕司, 片寄晴弘, 井口征士：
重回帰分析を用いた演奏ルールの抽出, 情報処理学会音楽情報科学研究会研究報告, 95-MUS-11-1, pp. 1 - 6, 1995.
[16] 上符裕一, 青野裕司, 片寄晴弘, 井口征士：
演奏ルールの抽出について, 情報処理学会音楽情報科学研究会研究報告, 96-MUS-15-14, pp. 79 - 84, 1996.
[17] 片寄晴弘, 上符裕一, 松尾聡子, 井口征士：
音楽認知の計算モデル --- 二つのアプローチ ---, 情報処理学会音楽情報科学研究会研究報告, 98-MUS-25-9, pp. 51 - 58, 1998.
[18] 鈴木泰山, 徳永健伸, 田中穂積：
事例ベースの演奏表情生成手法に関する研究, 情報処理学会音楽情報科学研究会研究報告, 97-MUS-21-2, pp. 7 - 12, 1997.
[19] 鈴木泰山, 宮本朋範, 西田深志, 徳永健伸, 田中穂積：
Kagurame Phase-I --- 事例ベースの演奏表情生成システム ---, 情報処理学会音楽情報科学研究会研究報告, 98-MUS-24-11, pp. 61 - 68, 1998.
[20] 白川健一, 松本和紀, 小田康彦, 梶川嘉延, 野村康雄：
演奏者情報を加味したピアノの自動演奏システムの構築 --- ヴェロシティー 決定ルールの自動生成 ---, 情報処理学会第 49 回全国大会講演論文集, 1B-2, pp. 1-323 -- 1-324, 1995.
[21] 村上 豊, 岡西 正, 梶川嘉延, 野村康雄：
ニューラルネットワークによるピアノ演奏者の特徴を持った 自動演奏システムの構築 ---大局的な流れを考慮した演奏者の特徴抽出---, 情報処理学会第 54 回全国大会講演論文集, 7J-2, pp. 2-269 -- 2-270, 1997.
[22] 波多正臣, 岡西 正, 梶川嘉延, 野村康雄：
ニューラルネットワークを用いた演奏者が持つ大局的揺らぎに関する検討 情報処理学会第 55 回全国大会講演論文集, 1J-3, pp. 2−4 - 2−5, 1997.
[23] 白川健一, 小田安彦, 熊谷俊行, 梶川嘉延, 野村康雄：
演奏者情報を加味したピアノの自動演奏システムの構築 --- 音符属性に着目した 個人的解釈ルールの生成 ---, 情報処理学会音楽情報科学研究会研究報告, 95-MUS-10-1, pp. 1 - 6, 1995.
[24] 小田安彦, 白川健一, 村上 豊, 梶川嘉延, 野村康雄：
演奏者情報を加味したピアノの自動演奏システムの構築 --- ニューラル ネットワークによる局所部分に於ける演奏特徴の抽出 ---, 情報処理学会音楽情報科学研究会研究報告, 95-MUS-10-2, pp. 7 - 12, 1995.
[25] 五十嵐 滋, 彌富あかね, 小川大典, 清野桂子：
PSYCHE から: フレーズ表情の多角形、 音楽構造に基づく表情付け、 自動連弾システム, 情報処理学会音楽情報科学研究会研究報告, 95-MUS-9-1, pp. 1 - 6, 1995.
[26] 平賀瑠美, 五十嵐 滋, 松浦陽平：
統合演奏視覚化システム, 情報処理学会論文誌, Vol. 38, No. 11, pp. 2391 - 2397, 1997.
[27] 劉 剣利, 平賀瑠美, 五十嵐 滋：
DAPHNE: フレージングと表情付けのための叙情的音楽分析システム, 情報処理学会音楽情報科学研究会研究報告, 98-MUS-25-8, pp. 43 - 50, 1998.
[28] 平賀瑠美, 五十嵐 滋, 劉 剣利：
Daphne による音楽表現の形式化, 第 39 回プログラミングシンポジウム, pp. 129 - 136, 1998.
[29] 太田雅久, 田口友康：
ピアノ演奏における緩急法の分析, 甲南大学総合研究所 叢書 2, pp. 53-74, 1987.
[30] Kenzi NOIKE, Nobuo TAKIGUCHI, \\Takashi NOSE, Yoshiyuki KOTANI, Hirohiko NISIMURA：
Automatic Generation of Expressive Performance by using Music Structures, Proceedings of the 1993 ICMC, 2P-09, pp. 363 - 365, 1993.
[31] Kenzi NOIKE, Nobuo INUI, Takashi NOSE, Yoshiyuki KOTANI：
Generating Musical Symbols to Perform Expressively by approximate functions, Proceedings of the 1996 ICMC, pp. 344 - 345, 1996.
[32] 菅民郎：
多変量解析の実践(上), 現代数学社, 1993.