この記事では、「音楽と絵画に共通する法則を見つけ出し、両者を結び付ける」という研究や試みを行ってきた先人たちの業績を精査します。そして、どこまでを先人が解決し、どこからが私の発見なのか、その根拠を皆さんに提示いたします。
参考にした文献は、**先行研究の歴史を総括した一次資料**である『**ヨルグ・ジェワンスキー(Jörg Jewanski)著「カラーオルガン」**』と、アメリカ・カリフォルニア州のチャップマン大学で、2022年のプロジェクト・メタモルフォシスの一環として発表された論文およびプログラム『楽曲を絵画に変換するための動的なフレームワークの設計(Project Metamorphosis: Designing a Dynamic Framework for Converting Musical Compositions into Paintings)』です。
そのほかの海外文献も読み、先行研究の試作内容やプログラム、出力例を一次資料で検証したうえで、私の理論が何を解決したのかを明らかにします。
ニュートンから、坂本龍一と岩井俊雄のコラボレーションによるパフォーマンス、そしてDumb Typeの2022年の作品までの研究
(1)ニュートンはスペクトルと音階の対応表を作ったが、それ以上の考察には進まなかった。
1704年に刊行された『Opticks』で、色スペクトルと音階の比率関係を物理的に示そうとしたことが、研究の起点です。
ニュートンは、7色のスペクトルが「音楽の全音階を支えるものと同じ比率」に支配されることを示唆しました。
ニュートンは、光のスペクトルを7色(赤・橙・黄・緑・青・藍・紫)に区分し、これを音階の7音(D–E–F–G–A–B–C)に対応させました。
Nature誌の解説によると、ニュートンの対応関係は次のように整理できます。
D=赤(Red)
E=橙(Orange)
F=黄(Yellow)
G=緑(Green)
A=青(Blue)
B=藍(Indigo)
C=紫(Violet)
ニュートンは、スペクトルの比率を音階の比率(全音・半音など)に対応させようとし、「色の帯の長さは、弦の長さの比率と同じように分割できる」と述べています。
しかし、それ以上の考察には進めませんでした。
これは私の対応表とは異なり、赤=Cにはなっていませんね。
クリューガーが1743年に体系を整理し、神智学者ブラヴァツキーが1888年に著書『秘密教義』でその体系を採用
クリューガーは、ニュートンの音階と色の対応をほぼそのまま採用しつつ、音楽家にとって自然な「C=赤」から始まる並びに再配置したとされています。
これは、ニュートンの「D=赤」から始まる並びを「C=赤」に移し替えたもので、色の順序は同じです。
クリューガーの並び(1743年)
| 音 | 色 |
| - | ---------------- |
| C | 赤(Red) |
| D | 橙(Orange) |
| E | 黄(Yellow) |
| F | 黄緑(Yellow-green) |
| G | 緑(Green) |
| A | 青(Blue) |
| B | 紫(Violet) |
その理由は、当時の音楽理論の慣習に合わせたためです。音楽家はC音(ド)を音階の基準として扱います。ニュートンの「D=赤」は音楽家にとって扱いにくいため、クリューガーは体系を「音楽家向け」に調整したということです。
つまり、ニュートンの科学的な体系を、音楽家が使いやすい体系へと変換したわけです。
◆ここで、私の対応表と同じ考え方が歴史上に登場したわけですね?
★さらに、**神智学者ブラヴァツキー**が1888年に著書『秘密教義』でクリューガーの体系を採用しました。
神智学の宇宙論の中で、「宇宙の法則は数的比率と振動の調和にある」という思想を展開し、音と色の対応を「天球の調和」の象徴として扱いました。
1919年、マリオン(Edward Maryon)が光の波長を音のオクターブに変換し、赤は29オクターブ下でCになると主張
これは、ニュートン → クリューガー → ブラヴァツキー → マリオン(Marcotone)へと続く「音=色」の対応関係の歴史的系譜の中で、初めて「測定値である波長を使った科学的換算」を導入した体系です。
マリオン(Edward Maryon、1919~1924年)の主張は事実か?
マリオンの著書『Marcotone: The Science of Tone-Color』(1924年)には、「12音と12色の対応」「光と音はオクターブで連続する」「波長を音階に変換できる」という理論が明確に記述されています。
マリオンの理論の核心は、光の波長をオクターブ単位で下げていくと、音と同じように対応関係を考えられるという点です。
ここで、オクターブごとに周波数が変わり、音の高さが上がるにつれて、同じ色が明るくなるという考え方が示唆されました!
ここで、私の対応表とほぼ同じになりましたね?
● 赤の波長(例:0.68 μm=680 nm)
● 波長=速度/振動数
● 光の振動数をオクターブ単位で下げ続ける(2で割る操作を繰り返す)。
すると、約29オクターブ下で可聴域(20Hz~20kHz)に到達します。
カラーピアノ300年の歴史――なぜ「楽譜を絵画に完全翻訳する」装置は実現しなかったのか?
色と音階の対応表は、エドワード・マリオン(Edward Maryon)が1919年に確立しました。それでも、楽譜を絵画に翻訳しようとすると、なぜ必ず紫禁城や女性のヌード、桂林の風景、リゾートのビーチといった具象的なイメージが浮かび上がるのか。そして、私の理論を採用した「カラーピアノ」は、なぜこれまで実現されなかったのでしょうか。
その答えを、300年にわたる歴史と先行事例を振り返りながら考えてみます。
1. 300年間、装置ばかりが増えた理由
この点を、先ほど紹介した『ヨルグ・ジェワンスキー(Jörg Jewanski)著「カラーオルガン」』で確認してみましょう。
Bishop Color Organ、Rimington Color-Organ、Loring Musical Chromoscopeなど、歴史上、数多くのカラーピアノが登場しました。しかし、その多くは次のようなものでした。
「a purely visual stimulus that had no deeper aesthetic value — comparable to today's chains of lights at a fair.」
<和訳>
装置は、深い美的価値を持たない、純粋に視覚的な刺激にすぎないもの――今日の縁日の電飾チェーンのようなものばかりでした。
つまり、「縁日の電飾のような快さ」で終わっていたのです。
この分野の総括的な研究サイトも、共通する「大問題」を次のように定義しています。
「A major problem of all color organs introduced until now, was that they lacked the possibility to design forms artistically. The punctual light sources in these devices could be turned on and off and their size and intensity could be changed; however, it was not possible to produce forms that varied over time.」
<和訳>
これまでに登場したすべてのカラーオルガンに共通する大きな問題は、芸術的に形をデザインする可能性が欠けていたことです。これらの装置の点光源は、オン・オフしたり、大きさや強さを変えたりすることはできましたが、時間とともに変化する形を生み出すことはできませんでした。
点光源をオン・オフするだけでは、芸術的な「形」を生み出せなかったのです。ましてや、作曲者が思い描いた風景や人体を一目で表示することなど、到底できませんでした。これが、300年間解決できなかった根本的な課題でした。
2. 岩井俊雄と坂本龍一の試みも、同じ大問題を抱えていた
日本でも、先駆的な試みがありました。
★ 岩井俊雄《映像装置としてのピアノ》(1995年)
トラックボールで光の点を置き、その点が鍵盤に向かって流れ、鍵盤を叩くとスクリーンに図形が飛び出すというインタラクションです。点を時間とともに動かすことには成功しましたが、点の位置は観客の恣意や想像に委ねられており、「C=赤」という物理的な必然性はありません。
★ 岩井俊雄 × 坂本龍一《Music Plays Images x Images Play Music》(1997年)
二人が交互に光の点を置きながら即興するパフォーマンスです。音楽と映像が相互に生み出す美しさはありますが、点を置く場所もタイミングも感覚に依存しており、楽譜を物理法則に基づいて完全に翻訳しているわけではありません。
★ 坂本龍一 + Dumb Type《2022》
これは、ヴェネツィア・ビエンナーレ日本館に関連する作品です。津波ピアノや地震データを扱い、ポスト真実を問う自律的なライトアートとして重要です。
しかし、主調色が画面を支配するという規則も、和音を色彩和音として定義する規則も存在しません。
これら3作品に共通するのは、印象・感覚・恣意性・想像の介入が多く含まれている点です。どこに点を置くか、どのような形に見えるかを人間の感覚で補う必要があるため、「誰が見ても同じ紫禁城や人体として再現される」ということはありません。
3. Chapman大学の2022年の試作――何が表示され、何が問題だったのか?
近年の先行研究として、Chapman大学の論文が挙げられます。
再掲:アメリカ・カリフォルニア州のChapman(チャップマン)大学で、2022年のプロジェクト・メタモルフォシスの一環として発表された論文およびプログラム『楽曲を絵画に変換するための動的なフレームワークの設計(Project Metamorphosis: Designing a Dynamic Framework for Converting Musical Compositions into Paintings)』です。
「The authors present an automated, rule-based system for converting piano compositions into paintings. Using a color-note association scale presented by Edward Maryon in 1919, which correlates 12-tone scale with 12 hues of the color circle.」
<和訳>
著者たちは、ピアノ曲を絵画に変換する自動化された規則ベースのシステムを提示しています。1919年にエドワード・マリオンが提示した、12音と色相環の12色を対応させた色と音の関連スケールを使用しています。
その仕組みは、以下のとおりです。
- MIDI解析
Pythonのpretty_midiライブラリを使い、テンポ、タイムスタンプ、ベロシティ、キーを抽出します。ドビュッシーの《月の光》などの全音を、音量を色の濃さに反映させてプロットします。
- 色抽出
マリオンの対応表を使い、音高を12色相に変換します。オクターブごとに明度を25%ずつ変え、小さな四角形を左から右へ並べた色のマトリクスを生成します。
- Cell(ブラシストローク)のプログラム
1音につき1つのブラシを割り当てます。音の強さによって大きさを、音の長さによって進む距離を決め、Perlinノイズで動きをうねらせます。Processing言語で実装され、筆の透明度や厚みもパラメータ化されています。
- 画面分割と記号化
キャンバスを8つの重なり合う区画に分け、曲の進行に合わせて左から右へ描画位置を決めます。和音は「長三和音=縦線、短三和音=横線」といった記号に置き換え、アルペジオは渦巻きとして表現されます。
- 出力
画像を掲載しました。バッハの《プレリュード ハ長調》、ショパンの《ノクターン Op.9-2》、ドビュッシーの《月の光》などが対象です。完成した動画は、「音なしで音楽がイメージとして展開する動く絵画」と説明されています。
横田理論と比較したときの問題点
この試作は、「楽譜から絵画への自動変換」という枠組みでは先行しています。しかし、私が解決した大問題は、まだ解決されていません。
1. 主調=支配色がない
長調なら明るく、短調なら暗くするという機械的な規則はありますが、「ハ長調=赤が画面を支配する」といった主調色の概念がありません。
2. 和音の色彩版がない
C=赤・黄・緑、Dm=朱色・黄緑・青といった「色彩和音」として、色そのものをコード理論に結び付ける仕組みが欠落しています。縦線・横線という記号化で対応しているのです。マティスが「色が音楽の和音のように調和しなければならない」と気づいた、その先を完成させたのは私の理論が最初です。
3. 音色・高低・リズムの対応がない
「トランペット=黄」といった音色と色彩の対応や、「高低=明度」「低周波=暗い・高周波=白い」という対応、さらにリズムを縞模様として表現する規則がありません。
4. 具象画像が表示されない
生成される画像は、最後まで抽象的なピクセルとブラシストロークです。身体のシルエットや紫禁城、桂林のような具象的なイメージが一目で浮かび上がるという発見はありません。
5. 印象・感覚・恣意性が介入している
Perlinノイズによる揺らし、8分割、25%刻み、縦線・横線といった規則自体が、「こうするときれいに見える」という感覚的な選択に基づいており、物理的法則ではありません。
私の理論の革新性――点と点から、構造と構造への転換
私が行ったことは、ポアンカレが、それまで不可能と考えられていた複雑な立体を数式で表現することにもつながる位相幾何学(トポロジー)と、発想の面で共通しています。
それまで、音楽を絵画に翻訳することは不可能だと言われてきました。
その背景には、周波数などの構造と、人間に入力される器官およびその生理的なメカニズムが、似ても似つかず、まったく異なっているという思い込みがあったのではないでしょうか。
私は、その思い込みに対して、「絶対に可能だ! 必ず法則を見つけ出し、結合してみせる!」と考えました。
これは、ノーベル賞やフィールズ賞の受賞につながる研究にも、当てはまることではないでしょうか。
「解決することは不可能だ。これからの学者人生を無駄にするほど研究に消耗し、ドロップアウトするぞ!」と周囲から思われるような問題に挑むこともあるでしょう。
ポアンカレは、「数学とは異なるものを同じものとみなす技術である」と言いました。
こちらのページをご覧ください。
『正多面体クラブ』
さらに詳しくは、このサイトの『私が「音楽と絵画」を結合したことは、大数学者ポアンカレが「数学とは異なるものを同じと見なす技術である」と考え、幾何学と代数学を結合して位相幾何学を作ったのとまったく同じです。』というページをこちらからご覧ください!
* 主調音 = 主調色(画面の支配色)
* 和音 = 色彩和音
* 音色 = 各色、音高 = 明度、リズム = メロディの進行に伴う長短と空間のリズム
これにより、楽譜を規則どおりに描くだけで、誰が見ても、描き出されたものから人物のシルエットや紫禁城・桂林・リゾートビーチと波などを連想できる具象的な図になります。
スペクトル対応表そのものは、史上初の発見ではありませんでした。
しかし、「楽譜が具象的なイメージに完全に翻訳される」という物理的法則を、印象・感覚・恣意性・想像の介入なしに提示したのは、私の理論が最初です。
これが、岩井・坂本・Chapmanの3つの試みとの決定的な違いであり、300年続いた大問題を解決した価値だと考えています。
このシリーズの他のページはこちら!
●PartⅠ【音楽を絵画に翻訳する法則】を、ついに6年間の機密を解禁して公開しました。法則を実証するPython言語のプログラムはこちらです。【このページへ!】
●PartⅡ【音楽を絵画に翻訳する法則】色彩の和音が実際に使用されている絵画の例。梅原龍三郎の富士山!【このページへ!】
●PartⅣ【音楽を絵画に翻訳する法則】300年続いた「形が作れない問題」の象徴として――スペクトル対応表を採用したリミントンのカラーピアノ!【このページへ!】
●PartⅤ【音楽を絵画に翻訳する法則】なぜ「なんとなく描く」抽象画では足りないのか? 感覚・印象で描く抽象画の限界!【このページへ!】





