兒童音樂涂色作品的音色關聯分析與啟示

發布時間：2022-10-11 10:30

摘要 I

ABSTRACT II

圖目錄 VI

表目錄 IX

第一章緒論 1

一．問題提出 1

（一）“音樂與色彩”通感的重要意義 1

（二）音樂與色彩關聯在兒童領域內的研究缺乏 2

二．研究意義 2

（一）理論意義 2

（二）實踐意義 2

三．論文框架 3

第二章文獻綜述 4

一．音樂與色彩的相關研究 4

（一）“音樂-色彩”聯覺 4

（二）正常的跨通道關聯 6

（三）情緒在音樂與色彩關聯中的作用 7

二．音色關聯應用的相關研究 16

（一）早期音色關聯的應用 16

（二）設計領域中的應用 21

（三）在教育實踐中的應用 22

三．教育數據挖掘的相關研究 25

四．核心概念 27

（一）教育數據挖掘 27

（二）決策樹 28

（三）音樂涂色作品 29

（四）音色關聯 30

III

第三章研究方法與設計 31

一．研究問題 31

二．研究設計 31

三．研究方法 31

（一）測試法 31

（二）決策樹算法 33

四．研究對象 33

五．研究材料 34

（一）音樂畫板程序 34

（二）音樂材料 35

（三）畫稿材料 37

（四）顏色材料 38

第四章決策樹模型的建構 39

一．數據的收集 39

二．數據的準備 40

三．數據挖掘 60

第五章研究結果與分析 66

一．描述性統計 66

二．根據決策樹模型的數據結果與分析 69

（一）基于畫稿一的模型建構結果與分析 69

（二）基于畫稿三的模型建構結果與分析 74

（三）模型的驗證 77

第六章討論與教育啟示 78

一．討論 78

（一）音樂與色彩的關系 78

（二）兒童聽音樂涂色的動態過程 79

（三）背景色、畫稿形狀對色彩選擇的影響 80

（四）決策樹算法的運用 80

二．教育啟示 80

（一）顏色響應可作為兒童音樂體驗的教學手段 80

（二）基于藝術通感實施學前兒童綜合藝術教育課程 81

（三）基于藝術通感進行兒童教育產品的設計與開發 81

第七章研究結論與展望 83

一．研究結論 83

二．研究不足與展望 83

參考文獻 85

附錄一測試指導語 101

附錄二顏色刺激的 RGB 值 102

攻讀學位期間取得的研究成果 103

后記 104

圖目錄

圖1-1康定斯基《黃•紅•藍》 1

圖 1-2 Play a Kandinsky 1

圖 2-1 情緒中介作用 7

圖 2-2 情緒三維模型 1 0

圖 2-3 評價物理環境和諧與否的指標一 1 2

圖 2-4 評價物理環境和諧與否的指標二 1 2

圖 2-5 音樂線索理論模型 1 4

圖 2-6 音樂期待理論模型 1 4

圖 2-7 音樂情緒同步化機制模型 1 4

圖 2-8 多重機制理論模型 1 4

圖2-9朱塞佩•阿爾欽博爾多的彩色音樂設計方案 18

圖 2-10卡斯特爾的色彩樂器設計方案 1 8

圖 2-11 彩色音樂裝置 1 9

圖 2-12 繪畫音樂裝置 1 9

圖 2-13 里明頓彩色風琴 1 9

圖 2-14 彩色風琴鍵盤顏色 1 9

圖 2-15 三個世紀的音階-色譜對應關系方案 20

圖 2-16 決策樹結構 29

圖 3-1 測試過程 32

圖 3-2 測試界面（畫稿隱藏） 35

圖 3-3 測試界面 35

圖 3-4 數據回溯界面 35

圖 3-5 層次配色方案 38

圖 3-6 二十七色色譜 38

圖 3-7 Material Color 色譜 38

圖 4-1 被試涂色結果 43

圖 4-2 畫稿各區域編號 43

圖 4-3 涂色操作計算代碼 44

圖 4-4 各區域最終涂色代碼 44

圖 4-5 顏色使用頻次計算代碼 44

圖 4-6 HSV 顏色空間模型 44

圖 4-7 HSV 顏色空間十種顏色范圍 45

圖 4-8 圖片中顏色像素個數計算代碼 45

圖 4-9 顏色色調計算代碼 46

圖 4-10 畫稿冷暖中性色調顏色使用頻次計算代碼頻次 46

圖 4-11 首次涂色代碼 47

圖 4-12 最終涂色操作時間排序代碼 48

圖 4-13 最小生成樹算法 49

圖 4-14 涂色區域顏色計算代碼 49

圖 4-15 歐幾里得距離函數定義 49

圖 4-16 最小生成樹代碼 50

圖 4-17 練習畫稿各涂色區域 50

圖 4-18 D0 與 D2 的分界線 50

圖 4-19 背景色處理后的畫稿 51

圖 4-20 分界線寬度為 1 的畫稿 51

圖 4-21 畫稿修正規則 51

圖 4-22 分界線修正后的畫稿 51

圖 4-23 讀取區域和分界線坐標代碼 52

圖 4-24 計算畫稿分界線長度代碼 52

圖 4-25 color_dis_rgb()函數定義 53

圖 4-26 相鄰區域顏色差異計算代碼 53

圖 4-27 廣度優先搜索函數定義 55

圖 4-28 計算所有區域面積代碼 55

VII

圖 4-29 畫稿各涂色區域面積 55

圖 4-30 每種色調的區域總面積計算代碼 55

圖 4-31 畫稿一色調判斷代碼 56

圖 4-32 畫稿三色調判斷代碼 56

圖 4-33 每個像素 RGB 值的計算代碼 57

圖 4-34 整幅畫稿平均 RGB 值計算代碼 57

圖 4-35 涂色區域紅色、綠色、藍色均值計算代碼 57

圖 4-36 整張畫稿的 HSV 值計算代碼 59

圖 4-37 獲取原始數據基本信息代碼 59

圖 5-1 基于畫稿一的音樂類型決策樹分類模型 71

圖 5-2 基于畫稿三的音樂類型決策樹分類模型 71

圖 6-1 畫稿涂色結果 79

VIII

表目錄

表 2-1 代表性的情緒理論學家觀點 9

表 2-2 PAD 模型下各維度的代表性情緒 11

表 2-3 不同情緒類型的音樂特征 15

表 2-4 音樂與色彩對應的藝術要素 23

表 2-5 音樂與視覺藝術的共同要素 24

表 2-6 教育數據挖掘算法與應用 26

表 3-1 測試方案 32

表 3-2 測試人數性別分布情況 34

表 3-3 十種測試方案測試人數 34

表 3-4 測試音樂曲目 36

表 3-5 兒童音樂涂色畫稿 37

表 4-1 被試填涂某張畫稿的涂色數據 39

表 4-2 某畫稿各個區域最終涂色結果 40

表 4-3 四十個評價畫稿的數據指標 42

表 4-4 某被試畫稿三原始數據 42

表 4-5 被試畫稿三各涂色區域結果 46

表 4-6 被試畫稿三各區域顏色使用頻次 46

表 4-7 畫板顏色對應的色調 47

表 4-8 被試畫稿三冷暖中性色調顏色使用頻次 47

表 4-9 按時間排序的各涂色區域的最終涂色操作結果 48

表 4-10 區域中某點坐標 5 2

表 4-11 畫稿各相鄰區域分界線長度 53

表 4-12 畫稿三各涂色區域面積 5 6

表 4-13 被試畫稿三平均色調 5 7

表 4-14 被試畫稿三涂色區域平均亮度 5 8

表 4-15 被試畫稿三情緒 PAD 值 59

表 4-16 音樂類型與指標之間的顯著相關性 61

表 4-17 首次涂色為淺藍色與音樂類型的交叉表 61

表 4-18 首次涂色為紅色與音樂類型的交叉表 61

表 4-19 首次涂色為深紅色與音樂類型的交叉表 62

表 4-20 首次涂色為綠色與音樂類型的交叉表 62

表 4-21 首次涂色為黃色與音樂類型的交叉表 62

表 4-22 首次涂色為灰色與音樂類型的交叉表 62

表 4-23 首次涂色為深藍色與音樂類型的交叉表 63

表 4-24 首次涂色為深棕色與音樂類型的交叉表 63

表 4-25 首次涂色為黑色與音樂類型的交叉表 63

表 4-26 首次涂色為深橙色與音樂類型的交叉表 63

表 5-1 畫稿一和畫稿三的填涂數量 66

表 5-2 不同音樂類型下畫稿填涂數量 66

表 5-3 悲傷音樂下首次涂色顏色使用頻次 67

表 5-4 憤怒音樂下首次涂色顏色使用頻次 67

表 5-5 恐懼音樂下首次涂色顏色使用頻次 67

表 5-6 快樂音樂下首次涂色顏色使用頻次 67

表 5-7 平和音樂下首次涂色顏色使用頻次 67

表 5-8 悲傷音樂下畫稿顏色使用頻次 68

表 5-9 憤怒音樂下畫稿顏色使用頻次 68

表 5-10 恐懼音樂下畫稿顏色使用頻次 68

表 5-11 快樂音樂下畫稿顏色使用頻次 68

表 5-12 平和音樂下畫稿顏色使用頻次 68

一．問題提出

(一)“音樂與色彩”通感的重要意義

通感(Synaesthesia)表示一個感官或感覺區域的刺激引起另一個感官或感覺區域反應的心理現象1，如聽到音樂，腦海中可以產生視覺表象。不少藝術家都具有明顯的通感體驗，如康定斯基。目前谷歌和兩位實驗音樂家共同合作開發出一個“Play a Kandinsky"的互動工具，運用“音樂與色彩"通感讓人們真實地體驗康定斯基在創作其畫作《Yellow ?Red ?Blue》時聽到的聲音。通過機器學習的方式來模擬康定斯基的多感官感知，用一種沉浸式的方式給人們帶來獨特的審美體驗。

已有研究表明，通感與兒童藝術教育的關系尤為密切[朱智賢.心理學大詞典[M].北京師范大學岀版社,1989:392.] [ Leslie Cunliffe.Gombrich on Art:A Social-Constructivist Interpretation of His Work and Its Relevance to Education[J].The Journal of Aesthetic Education,2015,32(4):61-77.]。藝術通感中最為重要的是“音樂-色彩”通感。兒童音樂教育中，利用“音樂-色彩”通感，讓兒童運用色彩去感知音樂，幫助兒童理解音樂作品中的情感表達。兒童美術教育中，實施美術課程中融入音樂的相關知識來強化兒童的審美體驗與感受，幫助兒童更加直觀地理解美術作品的內涵與意境[王麗•藝術通感與兒童藝術教育研究[D]•南京師范大學,2007.

1]。“音樂-色彩”通感為兒童提供審美經驗，創造審美自由，促進兒童全面發展等方面具有重要價值。而關于其的內在發生機制，以及由此設計的感官互通教學環節背后的理論支撐研究較少。

（二）音樂與色彩關聯在兒童領域內的研究缺乏

音樂作為一門聽覺藝術，繪畫作為一門視覺藝術，一直被一些音樂家和科學家認為兩者之間具有相互關聯之處。一部分聯覺理論學家認為情緒在音樂和色彩之間起中介作用12345，即音樂激發的情緒與色彩激發的情緒相一致。而我國從情緒中介作用的角度出發對兩者關聯機制的研究較少，同時在兒童領域內的相關研究更是較為缺乏。

綜上，音樂與色彩的關聯受到人的情緒感受的影響，同時在兒童教育中具有重要的意義與價值，但其關聯在兒童教育領域層面較少地被考慮到。故本研究試圖探討音樂與色彩之間在兒童教育領域的關聯。

二．研究意義

（一）理論意義

從情緒中介作用角度出發對音樂和色彩關聯機制進行研究，可豐富兒童音樂與色彩關系的實證研究，為兒童音樂產品的色彩設計、音樂噴泉、音樂軟件界面等設計提供理論支撐以及豐富兒童藝術綜合教育、藝術通感教育等方面的理論研究。

（二）實踐意義

對情緒在音樂與色彩關聯現象和機制進行研究也具有重要的實踐意義，如在藝術治療領域，往往通過音樂繪畫等的藝術方式來調節個體情緒，從而幫助藝術治療更好地實施。探討兩者的關聯機制可為藝術治療提供一些有效的證據，為促進藝術治療的效果提供一些可能。色彩和音樂作為在日常生活中較為常見的刺激，研究音樂與色彩關聯機制可以為兒童教育的設計帶來啟示，如設計兒童教具和設

1Marks LE.On colored-hearing synesthesia: Cross-modal translations of sensory dimensions[J].Psychol ogical Bulletin,1975,82(3):303—331.

2Bresin R.What is the color of that music performance?[C]//Proceedings of the International Comput er Music Conference,2005:367—370.

3Barbiere JM, Vidal A, Zellner DA.The color of music: Correspondence through emotion[J].Empirica l Studies of the Arts,2007,25(2):193—208.

4Odbert HS, Karwoski TF, Eckerson AB .Studies in synesthetic thinking. I. Musical and verbal asso ciations of color and mood[J].The Journal of General Psychology,1942,26(l):l53—173.

5Palmer, S. E., Schloss, K. B., Xu, Z., & Prado-Leon, L. R. Music-color associations are mediated by emotion[C]//Proceedings of the National Academy of Sciences of the United States of America, 2013, 110(22):8836—8841.

計兒童教育繪本。此外，音色關聯機制也能指導工業設計，比如可以根據當前播放音樂對噴泉顏色進行設計，也可以根據音樂對音樂軟件的界面顏色進行設計。

三．論文框架

本研究以情緒在音色關聯中的中介作用為理論基礎，通過兒童的音樂涂色作品，試圖探討不同情緒類型的音樂與兒童畫稿涂色之間的關系。本研究的撰寫有以下六個章節：

第一章是緒論部分，主要從問題提岀、研究意義等方面進行介紹。第二章對文獻綜述部分，主要從“音樂與色彩的相關研究”、“音色關聯應用的相關研究”和“教育數據挖掘的相關研究”三個方面進行分析與總結，以及核心概念的界定。

第三章研究方法與設計部分，著重介紹了研究問題、研究設計、研究方法、研究對象和研究材料五個方面。

第四章決策樹模型的建構，詳細介紹了評價音樂涂色作品的數據指標編碼框架的構建，并通過具體畫稿舉例說明指標的建構。

第五章研究結果與分析部分，介紹了被試涂色結果的描述性統計分析和根據決策樹模型的數據結果與分析。

第六章討論與啟示部分，著重討論音樂與色彩的關系、兒童聽音樂涂色的動態過程等方面，并試圖根據研究結果提岀了在設計領域和教育領域方面的啟示。

第七章研究結論與展望部分，總結研究的重要結論，提岀在研究過程、研究設計等方面的研究不足，并進一步指岀未來研究可進行的方向。

第二章文獻綜述

一．音樂與色彩的相關研究

音樂作為一門聽覺藝術，繪畫作為一門視覺藝術，一直被一些音樂家認為兩者之間具有相互關聯之處。美國音樂家馬利翁曾提到： “聲音是聽得見的色彩，色彩是看得見的聲音”。而從物理學的角度來看，音樂與色彩也有著天然的聯系。早在 17 世紀笛卡爾從光的理論中提出人對色光(顏色)的加工與對聲音的加工之間有著共通之處。18 世紀科學家達爾文用彩色玻璃反射的光線與豎琴的琴聲相連接，使音樂由聽覺向視覺效果轉化。物理學家牛頓試圖通過科學的方式確定光色與音樂之間的對應關系，將彩虹七色與七聲音階對應起來1。

(一)“音樂-色彩”聯覺

1．音色聯覺的特征

聯覺一詞最早由法國神經生理學家Vulpian提出，被描述為“感官的組合” 這是一種自動發生的現象，一般來說隨著時間的推移具有相當大的一致性和穩定性,在大約4%的人群中表現出來23456o “音色聯覺”或“彩色聽覺”(music-colour synaesthsia)這一總括性術語已被應用于說明由聽覺聲音引發的色彩體驗。音色聯覺有幾種不同的類型，不僅包括對色彩的體驗，還包括對紋理、形狀和空間景象的體驗7。Peacock (1985)進一步將“誘媒”分成四種類型，分別與構圖風格、音色、調性或音高相關 o

聯覺者常常會體驗到這些不同類型的感覺組合。對于具體條件的特殊感受通常導致不同的聯覺者對音樂誘媒相連的顏色與意象的感知不盡相同：一位聯覺者

1黃建.音樂與色彩的聯想關系一一音與色的“通感”效應及實施方法(上)[J].音響技術,2010(11):6 9-79.

2Cytowic, R. E. Synesthesia and mapping of subjective sensory dimensions[J].Neurology, 1989(39):84 9-850.

3Cytowic, R. E. Synesthesia: A union of the senses(2nd ed.)[M].New York: Springer Verlag, 2002.

4Marks LE.On colored-hearing synesthesia: Cross-modal translations of sensory dimensions[J].Psychol ogical Bulletin,1975,82(3):303-331.

5Motluk, A.The sweet smell of purple[J].New Scientist,1994:32-37.

6Vernon, P. E.Synaesthesia in music[J].Psyche,1930,10(2):2-39.

7Eagleman,D.M.,Goodale,M.A. Why color synesthesia involves more than color[J].Trends in Cognitiv e Sciences,2009,13(7):288-292.

8Peacock, K. Synesthetic perception: Alexander Scriabin's color hearing[J].Music Perception,1985,2 (4):483-506.

可能認為B小調是透過窗玻璃陽光的顏色，而另一位聯覺者感受到的是海綠色。聯覺者 GS 是 Mills 等人(2003)研究中的對象，其表現給岀了不同類型音樂色彩聯覺的例子1。 GS 報告說，除了顏色，她還可以感受到形狀、質地甚至運動。重金屬音樂能夠已發大塊深色的反應。雖沒有絕對音高，但能感受到高音伴隨較淺的顏色，低音伴隨著較深的顏色。不同的樂器或樂器的組合會產生不同的顏色和圖案，同樣的音符和相同的音高在不同的樂器上演奏時會產生不同的顏色。

2．音色聯覺的測定方法

“單詞-顏色”聯覺真實性測試(TOG)方法的出現確立了一致性作為區分真實聯覺與非真實聯覺的主要標準[ Mills, C. B., Boteler, E. H., & Larcombe, G. K.“Seeing things in my head”: A synesthete's images for music and notes[J].Perception,2003, 32(11):1359—1376.] [ Baron-Cohen, S., Wyke, M. A., & Binnie, C. Hearing words and seeing colours: An experimental investigation of a case of synaesthesia[J].Perception, 1987,16(6):761-767.]。根據這一原理， Eagleman 等人為不同的類型的聯覺提供可量化的聯覺測試系統(the Synaesthesia Battery)。在實驗過程中，每個實驗刺激被隨機呈現 3 次后通過測量 RGB 顏色空間的幾何距離來分析所選擇顏色的任何變化，計算出每位被試的總的顏色變化分數。得分低于 1 分的被試被認為是聯覺者[ Eagleman, D. M., Kagan, A. D., Nelson, S. S., Sagaram, D., & Sarma, A. K. A standardized test battery for the study of synesthesia[J].Journal of Neuroscience Methods, 2007,159(1):139-145.]。該系統已成功用于驗證“字形-色彩”聯覺[ Rothen, N., Seth, A. K., Witzel, C., & Ward, J. Diagnosing synaesthesia with online colour picker s: Maximising sensitivity and specificity[J].Journal of Neuroscience Methods,2013,215(1):156-160.]，還陸續開發了“音高-色彩”聯覺、“和弦-色彩”聯覺和“樂器-色彩”聯覺測試[ Zamm, A., Schlaug, G., Eagleman, D. M., & Loui, P.Pathways to seeing music: Enhanced structura l connectivity in colored-music synesthesia[J].NeuroImage, 2013,74:359-366.]。然而，測試系統的單獨使用會導致某些類型的“音樂-色彩”聯覺被完全排除在外。從音樂中獲得的聯覺不僅僅是由聲音來調節的。音高、節奏、情感內容等的變化都可能會明顯影響音樂選段的紋理、色調、飽和度和運動等聯覺，使得感受到的色彩在整個過程中產生不一致。

Simner(2012)提出了一致性方法面臨的挑戰[ Simner, J. Defining synaesthesia[J].British Journal of Psychology, 2012,103:1-15.]。Kadosh和Terhune(2012)同意并評論一致性測試的失敗原因[ Roi Cohen Kadosh,Devin B. Terhune. Redefining synaesthesia?[J].British Journal of Psychology,201 2,103:20-23.

5]。實驗結果排除了那些通過行為測試如 Stroop 干擾(Stroop, 1935)同樣表現良好的聯覺體驗。例如，一個聯覺者看到綠色的“7”和紅色的“6”可能會發現，如果紅色墨水中的“7”或綠色墨水中的“6”與他們的聯覺顏色不一致，那么他們可能會更難識別出“7”或“6”123。正如Elias等人(2003)所研究那樣， Stroop 干擾本身不足以證實聯覺的存在，可能證明了習得聯想的存在。在此研究中，控制組已經習得十字繡圖案八年了，某些顏色和數字之間已經形成了聯想。在圖形-色彩聯覺者和控制組中都發現了顯著的Stroop干擾效應，但卻無法對二者進行明確區分4。

(二)正常的跨通道關聯

近年來，隨著實驗心理學的發展，一些國外學者通過實驗發現了視覺和聽覺之間存在著跨模態的映射規律，此種機制更普遍地存在于正常人群中5。 Ward (2013)中雖然聯覺者在其聽音樂的過程中經歷的視覺或空間現象具有其獨特性，但非聯覺者在跨模態聯想方面也具有一定的共性6。通常來說，在一般人群中，高音調與高架空位置和較小尺寸相關，低音調與較低空間和更大尺寸相關78910oWard 等人(2006a)的研究中發現，聯覺者與非聯覺者在音高與亮度匹配方面似乎使用了類似的音高映射，盡管兩組人在顏色選擇的自動性、一致性等方面存在差異 21o Tsiounta等人(2013)的研究中也發現，非聯覺者好像使用類似的心理過程將顏色和音樂進行聯系，并在概念上做出類似的配對。研究還調查了不同文化和背景下的非聯覺者在顏色和音樂之間的映射關系，被試聽20種不同類型的音樂(20 種不同的電影和電視原聲音樂)，并被要求從托盤中選出一種他們認為與他們聽

1Mills, C. B., Boteler, E. H., & Oliver, G. K. Digit synaesthesia: A case study using a Stroop-type test[J].Cognitive Neuropsychology, 1999,16(2):181-191.

2Dixon, M.J., Smilek, D., Cudahy, C. & Merikle, P.M. Five plus two equals yellow[J].Nature,2000, 406(6794):365.

3Mattingley, J.B., Rich, A.N., Yelland, G. and Bradshaw, J.L. Unconscious priming eliminates autom atic binding of colour and alphanumeric form in synaesthesia[J].Nature,2001,410:580-2.

4Elias, L. J., Saucier, D. M., Hardie, C., & Sarty, G. E. Dissociating semantic and perceptual comp onents of synaesthesia: Behavioural and functional neuroanatomical investigations[J].Cognitive Brain Resear ch,2003,16(2):232-237.

5Gemma A. Calvert.Crossmodal Processing in the Human Brain: Insights from Functional Neuroimag ing Studies[J].Cerebral Cortex,2001,11(12):1110-1123.

6. Rothen, N., Seth, A. K., Witzel, C., & Ward, J. Diagnosing synaesthesia with online colour picker s: Maximising sensitivity and specificity[J].Journal of Neuroscience Methods,2013,215(1):156-160.

7Marks L E, Hammeal R J, Bornstein M H, et al. Perceiving similarity and comprehending metaph or[J].Monographs of the Society for Research in Child Development, 1987: i-100.

8Marks L E. Cross-Modal Interactions[J].The handbook of multisensory processes, 2004: 85.

9Gallace A, Spence C. Multisensory synesthetic interactions in the speeded classification of visual si ze[J]. Perception & psychophysics, 2006,68(7): 1191-1203.

10Walker P, Bremner J G, Mason U, et al. Preverbal infants' sensitivity to synaesthetic cross-modalit y correspondences[J].Psychological Science, 2010,21(1): 21-25.

11Ward J, Huckstep B, Tsakanikos E. Sound-colour synaesthesia: To what extent does it use cross-m odal mechanisms common to us all?[J].Cortex,2006,42(2): 264-280.

到的音樂主題最相關的顏色。最后結果顯示，音樂和色彩在非聯覺者中具有一定程度的共同關聯1。

(三)情緒在音樂與色彩關聯中的作用

除了正常的跨通道關聯，還有一個比較合理的假設，即情緒中介作用。情緒中介作用即顏色和音樂通過共同的情感聯系在一起。人們在聽音樂時，他們會有情緒反應，然后選擇具有相似情緒內容的顏色。音色關聯是基于二者激發的相似情緒234。

Odbert (1942)的研究發現人們為音樂選擇的情感基調與什么顏色適合什么音樂之間具有一致性[Tsiounta M, Staniland M, Patera M. Why is classical music yellow: A colour and sound association study[C]//AIC 2013-12th Congress of the International Colour Association. 2013.] [ Marks, L. E. On colored-hearing synesthesia: Cross-modal translations of sensory dimensions[J].Psyc hological Bulletin, 1975,82(3):303-331.] [ Bresin R. What is the color of that music performance?[C]//ICMC.2005.] [ Barbiere JM, Vidal A, Zellner DA.The color of music: Correspondence through emotion[J].Empirica l Studies of the Arts,2007,25(2):193-208.] [ Odbert HS, Karwoski TF, Eckerson AB .Studies in synesthetic thinking. I. Musical and verbal asso ciations of color and mood[J].The Journal of General Psychology,1942,26(1):153-173.]。人們為情感形容詞選擇的顏色與他們為引發這些情感的音樂選擇的顏色相同。Barbiere (2007)是對Odbert等人研究的延伸，研究音樂與色彩的對應是否源于兩種刺激引起的情緒。結果發現音樂與色彩的對應通過兩種刺激所共有的潛在情感發生的。Karen B. Schloss (2008)顏色和音樂似乎都與特定的情緒相關。在進行色彩與音樂的關聯時，個人似乎會評估音樂喚起的情緒，然后確定最適合這些情緒的顏色(即使任務說明中并未提及情感) [Schloss K B, Lawler P, Palmer S E. The color of music[J].Stress,2008,2(r2):95.]，見下圖 2-

1。

圖 2-1 情緒中介作用

Schloss(2010)的研究表明快速、大調音樂和亮色相關聯。被試會選擇情緒體驗相似的音樂和顏色刺激進行匹配，尤其是在高興和悲傷維度上的相關程度最高[ Tsang T, Schloss K B. Associations between color and music are mediated by emotion and influen ced by tempo[J]. The Yale Review of Undergraduate Research in Psychology, 2010, 82.

1Palmer, S. E., Schloss, K. B., Xu, Z., & Prado-Leon, L. R. Music-color associations are mediated by emotion[J].Proceedings of the National Academy of Sciences of the United States of America, 2013,11 0(22):8836-8841.

2Lindborg P,Friberg AK. Colour Association with Music Is Mediated by Emotion: Evidence from an Experiment Using a CIE Lab Interface and Interviews[J].Plos One,2015,10(12):1-26.

3Izard, C. E. The face of emotion[M]. New York: Appleton-Century-Crofts,1971.

4Oately,K.,&Johnson-Laird,P.N. Towards a cognitive theory of emotions[J].Cognition & Emotion, 198 7,1:29-50.

5Plutchik,R. The emotions: Facts, theories, and a new model[M].New Vbrk: Random House,1962.

6Plutchik, R. A general psychoevolutionary theory of emotion[J].Theories of emotion,1980,3-33.

7Tomkins,S.S. Affect,imagery, consciousness: Vol. I.The positive affects[M].New York: Springer Publi shing,1962.

8Tomkins, S.S. Affect,imagery, consciousness: Vol. II.The negative affects[M].New York: Springer Pu blishing,1963.

9Tomkins, S. S. Affect theory[J].Approaches to emotion,1984:163-195.

10Russell J A, Mehrabian A. Evidence for a three-factor theory of emotions[J].Journal of research in Personality, 1977,11(3): 273-294.

11Valdez P, Mehrabian A. Effects of color on emotions[J].sJournal of experimental psychology: Gene ral, 1994,123(4): 394.

12Osgood,C.E. Studies on the generality of affective meaning systems[J].AmericanPsychologist,1960,1 7:10-28.

8]。Plamer(2013)進一步研究發現：大調模式下較快的音樂通常與更飽和、更淺、更黃的顏色相關，因為兩者在情緒表現上更加高興和具有更高喚醒度；而小調模式中較慢的音樂通常與更不飽和(更灰暗)、更暗、更藍的顏色相關，因為兩者在情緒上表現為憂傷和低喚醒度】。Lindborg (2015)憤怒的音樂往往與大而暗的赤褐色相關；柔和的音樂常與小而輕的紫羅蘭色相關；快樂的音樂常被賦予大而非常輕的橙色；恐懼和悲傷音樂常與中等大小的灰色相關聯，顏色可以被用來作為一種方法，識別明確界定的離散情緒2。已有研究設計主要是要求被試聽完音樂之后直接選擇一種與音樂最相關的顏色，或者按與音樂一致性程度對顏色進行排序。且主要通過傳統的心理學數據分析方法對音樂與色彩之間建立聯系，并未嘗試模型構建的方法在音樂與色彩之間構建關系。

1．情緒理論的相關研究情緒是一個較為復雜的心理學術語。關于其基本結構，已有研究主要有兩種理論觀點：一種理論觀點認為情緒是由一些基本情緒(basic emotion)所構成的其他的情緒是在基本情緒的基礎之上建立起來的，即情緒的離散分類觀點 3456789。另一種理論觀點認為類似光譜一樣，情緒與情緒之間并非具有較為明顯的分界線，相互獨立存在，而是在某一維度或幾個維度上是不斷連續變化的，即情緒的維度觀點101112。

(1)情緒的離散分類觀點盡管情緒的離散分類理論認為情緒是由一些基本情緒所構成的，但對于有多少情緒是基本情緒，哪些情緒屬于基本情緒，以及它們為什么是基本情緒等等問題，情緒理論家并未有一致的看法1。表 2-1 總結了一些較有代表性的情緒理論學家提出的觀點，其中較為經典的是 Ekam 提出的六種基本情緒的觀點

(憤怒、厭惡、恐懼、喜悅、悲傷、驚訝)和 Izard 提出的差異情緒理論

(differential emotions theory)。黃希庭在其《心理學導論》中提到的四種基本情緒：快樂(happiness)、憤怒(anger)、恐懼(fear)、悲傷(sorrow) [ Andrew Ortony,Terence Turner.What is Basic about Basic Emotions?[J].Psychological Review,1990,9 7(3):315-331.] [黃希庭，鄭涌•心理學導論(第三版)[M].北京:人民教育岀版社,2015.]。

表 2-1 代表性的情緒理論學家觀點

提出者基本情緒

James(1884) 恐懼、悲傷、愛、憤怒

McDougall(1926) 憤怒、厭惡、興奮、恐懼、服從、平和、驚奇

Watson(1930) 恐懼、憤怒、愛

Arnold(1960) 憤怒、厭惡、勇敢、沮喪、渴望、絕

望、恐懼、憎恨、希望、愛、悲傷

Mowrer(1960) 痛苦、快樂

Izard(1971) 憤怒、輕蔑、厭惡、苦惱、恐懼、內

疚、興趣、喜悅、羞愧、驚訝

Plutchik(1980) 接受、憤怒、期待、厭惡、喜悅、恐懼、悲傷、驚訝

Gray(1982) 憤怒、恐懼、焦慮、快樂

Ekam、 Friesen&Ellsworth(1982) 憤怒、厭惡、恐懼、喜悅、悲傷、驚訝

Tomkins(1984) 憤怒、興趣、輕蔑、厭惡、苦惱、恐

懼、喜悅、羞愧、驚訝

Weiner&Graham(1984) 快樂、悲傷

Frijda(1986) 渴望、快樂、興趣、驚奇、悲傷

Oatley&Johnson-Laird(1987) 憤怒、厭惡、焦慮、快樂、悲傷

2)情緒的維度觀點

在情緒維度的相關理論中，具有代表性的理論主要是情緒二維理論和情緒三維理論。

Schlosberg (1952)提出了情緒二維空間內循環序的觀點，具有愉快-不愉快和覺醒-睡眠兩個維度，任何情感詞匯都可以被定義為愉快和喚醒成分的某種組合[ Schlosberg,H. The description of facial expressions in terms of two dimensions[J].Journal of Experi mental Psychology,1952,44:229-237.

9]。 Russell 進一步對其提出的情緒二維理論進行完善，構建出復雜的情感模型即以愉快和喚醒為軸的圓環結構模型，各種情緒兩極分布在兩個維度上，并有一定的取值1。除此之外，也有其他情緒理論家提出較具有代表性的情緒二維理論模型，如 Watson 等人提出的積極激活-消極激活模型，是將上述圓環結構模型的 45度旋轉形成的[ Russell,J.A. A circumflex model of affect[J].Journal of Personality and Social Psychology,1980,39:11 61-1178.] [ Watson,D.,&Tellegen,A. Toward a consensual structure of mood[J].Psychological Bulletin,1985,98:219 -235.]。與積極激活-消極激活模型相比，Thayer等人(1978)提出的能量喚醒-緊張喚醒模型，兩者在結構上是相似的，但包含的情緒范圍要更廣。雖然各個情緒理論家在對情緒基本維度的理解上并不統一，但都贊同圓環結構的模型[ Thayer,R.E. Toward a psychological theory of multidimensional activation[J].Motivation and Emotio n,1978,2:1-34.]。

1896 年馮特就在其著作《心理學綱要》中提到了情緒三維理論即愉快

(pleasurable)-不愉快(unpleasurable)、興奮(exciting)-壓抑(depressing)、緊張(straining)-放松(relaxing)o每種情緒與都兩個因素有關，一個因素是組成感覺的質量和強度，另一個因素是這些感覺接連發生的速度。對情緒面部表情的研究一致得出情緒的兩個維度即愉悅度-不愉悅度(pleasantness-unpleasantness) 和興奮度(level of arousal) [ Wundt W. Outlines of Psychology[M].The Monist,1896.]。Schlosberg (1954)嘗試根據情緒的面部表情(P- U、A-R)和情緒激活理論，構建形狀類似于蒙塞爾色立體的情緒三維模型圖[ Schlosberg,H. Three dimensions of emotion[J].Psychological Review,1954,61:81-88.], 見圖 2-2。

圖 2-2 情緒三維模型

Osgood 等人(1957)將評價(evaluation)> 活躍(activity)和效能(potency)

確定為意義的三個維度[ Osgood C E, Suci G J, Tannenbaum P H. The measurement of meaning[M].University of Illinois p

10]oMehrabian( 1974)認為快樂-不快樂(pleasure-displeasure, 評價的情感對應物）、覺醒-非覺醒（arousal-nonarousal，刺激活動的情感關聯）和支配-順從（dominance-submissivenss，相反的刺激效能）三個維度可以提供對情緒的一般描述，表明人們的感覺狀態1。最終Mehrabian（1977）提出了情緒Pleasure- Arousal-Dominance （PAD）模型，是三個獨立因素和兩極維度的組合，用來評估人類對物理環境的體驗及其感知質量。 P 指的是愉悅程度，反映情緒狀態的積極傾向或消極傾向。 A 指的是喚醒激活程度，反映在情緒狀態下生理和心理喚醒激活水平的差異。 D 指的是優勢度，用來當做反映個體對外在的環境和他人控制力和影響力的指標。其中每個維度都有兩極： +P 表示快樂， -P 表示不快樂， +A 表示覺醒， -A 表示非覺醒， +D 表示支配， -D 表示順從，即可得到 2P*2A*2D 的情感類別[ress, 1957.] [ Mehrabian A, Russell J A. The basic emotional impact of environments[J].Perceptual and motor ski lls, 1974, 38(1): 283-301.] [ Russell J A, Mehrabian A. Evidence for a three-factor theory of emotions[J].Journal of research in Personality, 1977, 11(3): 273-294.]，見下表 2-2。

表2-2 PAD模型下各維度的代表性情緒維度代表性情緒

+P+A+D admired, bold, creative, powerful, vigorous

+P+A-D amazed, awed, fascinated, impressed,infatuated

+P-A+D comfortable, leisurely, relaxed, satisfied,unperturbed

+P-A-D consoled, docile, protected, sleepy,tranquilized

-P+A+D antagonistic, belligerent, cruel, hateful, hostile

-P+A-D bewildered, distressed, humiliated, in pain,upset

-P-A+D disdainful,indifferent,selfish-uninterested,uncaring,unconcerned -P-A-D bored, depressed, dull, lonely, sad

目前該理論已經在環境心理學及其他一些領域中廣泛應用，對開發情緒詞庫和建立情緒誘發材料庫等方面具有重要的影響[楊寧•基于改進PAD情感模型的表情識別研究[D].西南大學,2012.] [ Bradley M M, Lang P J. Affective norms for English words (ANEW): Instruction manual and affective ratings[R]. Technical report C-1, the center for research in psychophysiology, University of Florida, 1999.] [張聰聰.音樂和顏色的情緒性關聯[D]•華東師范大學,2014.

11]。美國精神衛生研究所情緒與注意研究中心通過測試者在誘發情緒材料的愉悅程度、喚醒激活程度和優勢程度的評分，開發了國際情緒圖片庫、英語情緒詞匯系統、國際情緒數字聲音系統和英語情緒文本系統45。

人們的愉悅程度（Pleasure）和喚醒程度（Arousal）可以作為評價物理環境是否和諧的指標1，見圖2-3。如圖所示中心（灰色方塊）代表人們和諧體驗的條件。外側區域顯示不和諧區域，而中間區域表示過渡區。非常低的愉悅度會引起不和諧的感覺；然而太多的愉快也會導致不和諧的感覺；常低程度的覺醒使人感到昏昏欲睡，而非常高程度的覺醒使人高度激動。個體對支配（Dominance）和喚醒程度（Arousal）的判斷可以與物理環境的有序程度和變化聯系起來[ Bakker I, Van der Voordt T, Vink P, et al. Pleasure, arousal, dominance: Mehrabian and Russell revisited[J]. Current Psychology, 2014, 33(3): 405-421.] [ Bakker I, de Boon J, Ooijevaar O. Zorg voor mens en omgeving: het zintuig als maatstaf[M]. Aedes-Actiz Kenniscentrum Wonen-Zorg, 2012.],見圖2-4。圖中顯示了與和諧與不和諧體驗相關的有序度（橫軸）和變化度（縱軸），外部區域表示了不和諧的區域:太低程度的秩序意味著混亂，而太多的秩序意味著僵化[ Schneider W. Sinn und Un-Sinn: Umwelt sinnlich erlebbar gestalten in Architektur und Design[M]. Bau- Verlag, 1987.

12]。低程度的變化引起遲鈍，高程度意味著過度刺激。中間的區域表示過渡區。

圖 2-3 評價物理環境和諧與否的指標一

圖 2-4 評價物理環境和諧與否的指標二

2．情緒與音樂

音樂能夠產生生理上的喚醒，在心理學研究中，音樂常常被用作情緒誘導劑 12。即使當我們聽一段來自另一種文化或另一種語言的音樂時，我們也可以理解它的情感意義[ Clark, D. M., & Teasdale, J. D. Constraints on the effects of mood on memory[J].Journal of Perso nality and Social Psychology,1985,48:1595-1608.] [ Parrott, W. G., & Sabini, J. Mood and memory under natural conditions: Evidence for mood incon gruent recall[J].Journal of Personality and Social Psychology,1990,59:321-336.] [ Balkwill, L-L., & Thompson, W. F. A cross-cultural investigation of the perception of emotion in music: Psychophysical and cultural cues[J].Music Perception,1999,17:43-64.]。音樂情緒主要包含兩個角度：一個角度是聽者對音樂作品想要表達情緒的感知(emotion perceived)，快樂情緒最能被聽者準確識別和感受，悲傷情緒次之，憤怒和恐懼的情緒識別和感受相對較難[周欣,鄭瑩燦，周嘉新,吳佳怡，鄭茂平.情緒音樂影像庫的初步編制與評定[J].心理學初探,2021,41(1):4 1-50.]；另一個角度是聽者在音樂的刺激下，個體對音樂的情緒反應(emotion felt)。一般來說，感知音樂作品表達的情緒與個體對音樂的情緒反應是非常相似的，兩者之間具有正相關關系。音樂或許天生就有既可以識別又能引發情緒的品質[ Kari Kallinen, Niklas Ravaja. Emotion perceived and emotion felt: same and different[J].Musicae S cientiae,2006,10(2):191-213.]。

當前關于音樂誘發情緒的機制研究提出幾種機制模型分別是音樂線索理論模型[ Juslin, P. N., & Sloboda, J. A.The past, present, and future of music and emotion research[J].Hand book of music and emotion: Theory, research, applications,2010:933-955.] [ Huron, D. Sweet Anticipation[M].Cambridge: MA: MIT Press,2006.]、音樂期待理論模型(Imagination-Tension-Prediction-Response-Appraisal) 7、音樂情緒同步化機制模型[ Molnar-Szakacs I, Overy K. Music and mirror neurons: from motion to'e'motion[J].Social cognitive and affective neuroscience, 2006,1(3):235-241.]和多重機制理論模型[ Juslin, P. N., & Vast^all, D. Emotional responses to music: The need to consider underlying mech anisms[J].Behavioral and Brain Sciences, 2008,31:559-575.]。但關于其機制研究還在以下幾方面存在不一致的意見：音樂誘發情緒是否需要認知參與其中。音樂誘發情緒的過程主要是在一般領域還是在特殊領域中進行的。音樂誘發情緒的機制是單一的機制所導致的還是由多種機制相互影響的[馬諧，白學軍，陶云.音樂與情緒誘發的機制模型[J].心理科學進展,2013,21(4):643-652.

13]。

圖2-5音樂線索理論模型圖2-6音樂期待理論模型

許多研究中的普遍發現：大調通常與積極情緒相關聯，小調通常與消極情緒相關聯1234。快速的音樂與正向積極情緒相關，慢速的音樂與負向消極情緒相關

56。在Quinto (2014)的研究中發現，悲傷、恐懼、憤怒和快樂情緒的音樂在調式、節奏、音程變化等方面既有相同之處又有所區別7，見下表2-3。

1黃衛平•樂曲節拍、速度和調式對大學生情緒影響的實證分析J].當代教育論壇(管理研究),2011(03): 83-85.

2蔡岳建，潘孝富，莊鐘春曉.音樂的速度與調式對大學生情緒影響的實證研究[J].心理科學,2007,30(1):1 96-198.

3周欣,鄭瑩燦，周嘉新,吳佳怡，鄭茂平.情緒音樂影像庫的初步編制與評定[J].心理學初探,2021,41(1):4 1-50.

4Hunter P G, Schellenberg E G, Schimmack U. Mixed affective responses to music with conflicting cues[J].Cognition & Emotion, 2008,22(2):327-352.

5Ilie G, Thompson W F. A comparison of acoustic cues in music and speech for three dimensions of affect[J].Music Perception,2006,23(4):319-330.

6Bruner G C. Music, mood, and marketing[J]. Journal of marketing,1990,54(4):94-104.

7Quinto,A.,Thompson,W.F.,Taylor,A. The contributions of compositional structure and performance ex pression to the communication of emotion in music[J].Psychology of Music,2014,42(4):503-524.

表 2-3 不同情緒類型的音樂特征

音樂類型調式

大調小調節奏

快慢音程變化音強強度平均音高

大小大小高低

悲傷 V V V V V

恐懼 V V V V V

憤怒 V V V V

快樂 V V V V V

3．情緒與顏色

與音樂類似，某些顏色也與某些情緒相關1。許多研究中一個普遍發現是，顏色越亮越有可能與積極的情緒相關；而顏色越暗越有可能與消極的情緒相關23。除了有一些普遍的規律外，跨文化研究結果也顯示出了顏色與情緒的聯結也受文化背景的影響。Jonauskaite (2016)的研究中，相比于希臘的測試者會較多地將一些消極詞匯(恐懼、難過、傷心)與紫色聯系起來，而中國的測試者會較多地將其與白色聯系起來[ Collier, G. L. Affective synesthesia: Extracting emotion space from simple perceptual stimuli[J].Mot ivation and Emotion,1996,20:1-32.] [ Boyatzis, C. J., & Varghese, R. Children's emotional associations with colors[J].The Journal of Gen etic Psychology, 1994,155:77-85.] [ Hemphill, M. A note on adults' color-emotion associations[J].The Journal of Genetic Psychology,199 6,157:275-280.] [ Jonauskaite D, Mohr C, Antonietti J P, et al. Most and least preferred colours differ according to object context: new insights from an unrestricted colour range[J]. PloS one,2016,11(3): e0152194.]。

一些研究也發現了更具體的顏色與情緒對應關系。韋克斯納的研究中形容詞 “高興的、快樂的”與黃色聯系起來，而形容詞“悲傷的、難過的”更容易與黑色聯系起來[ Wexner,L.B. The degree to which colors (hues) are associated with mood-tones[J].The Journal of Applied Psychology,1954,38:432-435.]。Cimbalo (1978)對兒童和大學生研究特定顏色與情緒“快樂”“悲傷”之間的關聯，黃色、橙色和綠色被指定為快樂的顏色，紅色、棕色和黑色被指定為悲傷的顏色[ Cimbalo, R. S., Beck, K. L., & Sendziak, D. S. Emotionally toned pictures and color selection for children and college students[J].The Journal of Genetic Psychology,1978,133:303-304.

15]。Boyatzis和Varghese ( 1994)在一項關于兒童與顏色的情感聯系的調查中發現，淺色(如黃色、藍色)與積極情緒(如快樂、強烈)有關，深色(如黑色、灰色)與消極情緒(如悲傷、憤怒)有關。Palmer (2013)要求美國和墨西哥被試對顏色與面部表情匹配，面部的情緒評分與選擇的顏色的情緒評分之間的相關性較高，且不受文化背景的影響。中性/平靜的面部表情與稍冷的不飽和的中度淺色(如低飽和度的藍色和綠色)配對；悲傷的面部表情與較深、不飽和的冷色（如深藍色、深綠色）配對；快樂的面部表情與淺色、高飽和度的暖色（如鮮艷的和柔和的黃色、橙色、紅色）配對；憤怒的面部表情與深色、略帶飽和的紅色（如暗紅色）配對1。國內學者黃希庭用部分限制聯想法曾對我國 6646 名大學生、工人和農民的紅、橙、黃、綠、藍、紫、黑七種顏色的情緒反應進行調查。紅色可表示興奮、喜悅情緒；橙色可表示愉快、興奮情緒；黃色可表示愉快、舒適情緒；綠色可表示舒適、愉快情緒；藍色可表示沉靜、舒適情緒；紫色可表示厭惡、憂郁情緒；黑色可表示悲哀、厭惡、恐懼情緒[ Palmer, S. E., Schloss, K. B., Xu, Z., & Prado-Leon, L. R. Music-color associations are mediated by emotion[J].Proceedings of the National Academy of Sciences of the United States of America,2013,110 （22）:8836-8841.] [黃希庭，黃巍，李小融.關于中國人顏色情調的研究J].心理科學,1991,74（6）:1-7.] [ Linton, H. Color in architecture: Design methods for buildings, interiors and urban spaces[M].New York: McGraw Hill,1999.] [ Saito, M. Comparative studies on color preference in Japan and other Asian regions, with special e mphasis on the preference for white[J].Color Research and Application,1996,21（1）:35-49.] [ Davey, P. True colors: The glorious polychromy of the past suggests a strong historical need for c olor, despite current reductive fashions[J].The Architectural Review, 1998,204:34-36.] [ Mahnke F. Color, environment, human response[M].New York: Van Nostrand Reinhold,1996.] [ Boyatzis, C. J., & Varghese, R.Children's emotional associations with colors[J].Journal of Genetic P sychology, 1994,155:77-85.] [ Hemphill, M. A note on adults' color-emotion associations[J].The Journal of Genetic Psychology, 19 96,157:275-280.] [ Terwogt, M. M., & Hoeksma, J. B. Colors and emotions: Preferences and combinations[J].The Jour nal of General Psychology, 1995,122（1）:5-17.]。

有些顏色可能與幾種不同的情緒有關，有些情緒與多種顏色有關34。如紅色既有積極的印象（積極、堅強、熱情），也有消極的印象（血腥、憤怒、侵略性）。綠色也有正面的印象（清新、安靜、自然）和負面的印象（疲勞和內疚） 56。但許多研究未能使用標準化的顏色符號系統中的顏色樣本789，還有一些則是對顏色的口頭標簽（如“紅色”、“藍色”），并非根據實際的顏色刺激做出反應[ Hupka, R. B., Zaleski, Z., Otto, J., Reidl, L., & Tarabrina, N. V. The colors of anger, envy, fear, and jealousy: A Cross-cultural study[J].Journal of Cross-Cultural Psychology,1997,28（2）:156-171.] [史淑媛，楊伊生，李雅寧,蘇日娜，朱軍帥.顏色與情緒關系的研究回顧與展望[J].社會科學前沿,202

1,10（5）:1224-1230.

16]。目前的顏色與情緒的研究，大多從行為研究層面證明了顏色與情緒相關聯現象的存在，而缺少探索其內部機制的認知神經科學研究，同時還缺少探究顏色對情緒啟動效應的跨文化研究11。

二．音色關聯應用的相關研究

（一）早期音色關聯的應用

聯覺（又稱通感）來源于希臘語“Synaesthesia”，含義是“同時的感受”，用來表示一個感官或者感覺區域的刺激引起另一個感官或者感覺區域反應的心理現象1。在此觀念的影響下，人們開始嘗試將視覺藝術與聽覺藝術兩種不同形式的藝術創作進行相互聯系，形成視聽聯覺藝術。視覺中最先被人們發現并認為合適與聲音建立通感的是顏色。西方對視聽聯覺的研究已有幾百年的歷史。在漫長的歷史發展中，人們對其的研究主要有兩方面：一方面的研究認為視覺與聲音之間存在客觀的、合乎理性的對應關系；另一方面的研究認為視覺與聲音之間是依靠直覺的情緒和感覺的想象隱喻來建立起聯系的。從 16 世紀畫家 Guiseppe Arcimbolde最早提出的彩色音樂(color music)設計方案到20世紀光影技術、抽象電影中涉及到的視覺音樂(visual music)，西方不斷嘗試進行各種關于視聽聯覺的藝術實驗[朱智賢.心理學大詞典[M].北京師范大學岀版社,1989:392.] [朱文濤.從“色彩音樂”到“視覺音樂”：西方視聽通感的觀念源流與其早期藝術實驗[J].南京藝術學院學報(美術與設計),2017(05):96-106.]。

1．聲音與顏色間存在客觀的對應關系

西方強調聲音與顏色間存在客觀的對應關系最早源于基督神學思想，而后隨著自然科學發展，彩色音樂開始從物理特性從光色與樂音角度來構建對應關系，并通過技術來實現樂器演奏的同時出現對應的光色。

在早期的記譜法中，約11世紀，紅色和黃色的線條分別表示音高“F”和音高 “C”的顏色，顏色的使用將特定的音調固定在特定的音符上[ Michael Poast. Color Music: Visual Color Notation for Musical Expression[J].Leonardo,2000,33(3):2 15-221.]。16世紀，Guiseppe Arcimbolde 根據畢達哥拉斯的和諧音程比例最早提出色彩音樂方案：他試圖將由白色到灰色的色階與十二平均律劃分的高低音階對應起來，其中白色表示低音，深色表示高音，五個八度分別對應紅、藍、綠、黃、灰五個不同的顏色，見圖 2- 9。 18 世紀最早將彩色音樂設計方案落實到實踐開發出音樂工具的是法國耶穌神父路易•伯特蘭•卡斯特爾，他設計出一款名叫“clavecin oculaire ”的色彩樂器。在其《古樂之光》中提到聽覺感知的極限包括 12 個八度，通過 12 個八度的大鍵琴來實現他的色彩系統[ Kenneth Peacock. Instruments to Perform Color-Music: Two Centuries of Technological Experimenta tion[J].Leonardo,1988,21(4):397-406.

17]，見圖 2-10。

圖2-9朱塞佩•阿爾欽博爾多的彩色音樂設計方案

c —Blue F-sharp 一Orange

C-sharp —eladon (blue?green) G —Rtd

D 一Green A-flat 一Crimson

E-flat —live green A —Violet

E —Yellow B-ilat —Agate

F —Apricot (yellowrange) B —Indigo

圖2-10卡斯特爾的色彩樂器設計方案

卡斯特爾神父有趣的實驗對19世紀上半葉其他理論和工具的發展有很大的影響。如Jameson在他的小冊子《彩色音樂》中詳細描述他的音樂裝置。昏暗房間的墻壁上有著反光的錫板， 12 個圓孔展示了裝滿各種顏色液體的玻璃容器，可濾除從墻后投射的光線。可移動的蓋子由七個八度鍵盤激活，每個蓋子都被提升到特定高度，具體高度取決于選擇的八度。1869-1873年，弗雷德里克•卡斯特納在英國建造了另一件有趣的樂器，這種樂器主要是通過電力來控制氣體，還被認為能發出類似人聲、鋼琴或交響樂的聲音1，見圖 2-11。 1877年在美國， Bain bridge Bishop設計的一臺"繪畫音樂”裝置(painting music)，一個由杠桿和百葉窗組成的系統允許在風琴上演奏音樂的同時，在小屏幕上混合彩色燈光，見圖 2 -12。 1893 年，倫敦皇后學院美術教授 Alexander Wallace Rimington 將自己的設備命名為“彩色風琴” (color-organ)，該名稱已成為所有設計用于投射彩色光設

備的通用術語。彩色風琴高達10英尺，使用了14盞弧光燈和許多涂有苯胺染料的濾光片以及一個能夠提供150安培電流的電源。五倍頻程的鍵盤類似于普通的風琴，設置擋塊以控制顏色感知的三個變量：色相、亮度和飽和度[ Popper F. Origins and development of kinetic art[M].New York Graphic Society,1968.] [ Rimington, Alexander Wallace.Colour-Music The Art Of Mobile Colour[M].Hutchinson, London,191 2.

18]，見圖 2-13 和圖 2-14。

然而在幾百年的視覺藝術實驗中，不同的人提出音階與顏色的對應關系上并非具有一致性，直接的簡單映射似乎不太令人滿意1。有色彩理論學家談到顏色的本質和聲音的本質之間存在顯著差異，音階被劃分為具有重復性質的八度音階，其中顏色只有一個光譜。當耳朵可以從和弦中挑選音符時，眼睛無法區分顏色混

合中的各種頻率[ Collopy F. A Hypothesis Driven Approach to Designing a Visual Music Instrument[J].2018.] [ Jones T D. The Art of Light and Color: Featuring Mobile Color Expression, Lumia, Kinetic Light- -with Instructions for the Creation of Dramatic Color and Light Instruments[M].Van Nostrand Reinhold, 1 972.

19]。

圖 2-15 三個世紀的音階-色譜對應關系方案

2．聲音與顏色之間依靠直覺的情緒和感覺的想象隱喻建立聯系

由社會變革帶來的精神危機讓人們開始對機械唯物主義進行反思，一種推崇反理性主義的觀念逐漸在社會中流行起來。自由地探索內心世界為視聽通感藝術開啟了另一種創作方式，使得彩色音樂(color music)向視覺音樂(visual music) 逐步發展。

瓦西里•康定斯基提到任何表現形式都是來自抽象的強烈要求，而不是受客觀世界面貌的約束。至于想象就是對于存在關系的一種主觀透視，必須尋求一種新的形式象征符號與色彩的和諧。其著作《論藝術的精神》一書中根據音樂、色彩、情緒的關系提出了綜合藝術通感理念：不同的色彩會傳達出不同的視覺感受，或歡快或悲傷。鋼琴讓人感覺自然、清爽，可用綠色來表示；提琴類的樂器給人纏綿的感覺，顏色與藍色系對應；小號的音色嘹亮，給人熱情的感覺，與熱烈的紅色相對應1。斯克里亞賓的音樂作品中體現了康定斯基提出的綜合藝術通感理念，其音樂作品《普羅米修斯：火之詩》表演中用到的名叫Chromola的彩色音樂裝置，是一個帶有15個鍵的鍵盤操作可投射出12種不同顏色的機器。這個彩色音樂裝置并非為展示顏色和聲音之間的特殊關聯而制造，而是專門為《普羅米修斯》表演的。此音樂作品表演之后，由音樂主導與視覺間的結構化關系逐漸弱化，視覺表達則變得更為自由[ [俄]瓦西里•康定斯基著，呂澎譯•論藝術里的精神[M].上海:上海人民美術岀版社,2014.] [ Mathew Luckiesh.Color and Its Applications, 2nd Ed[M].New York,1921.

20]。其中最為著名的實驗性彩色音樂裝置是Clavilux。這個裝置在1922年由托馬斯•威爾弗雷德開發，他完全否定了假定光與聲是一致的理論。最初以一種純粹抽象的方式使用光，但后來受康定斯基幾何圖案補充了顏色的非客觀使用理論的影響，認為形式和運動必不可少，通過濾鏡將移動的幾何形狀投影到屏幕上。

運用20世紀開始流行的電影技術‘abstract flim (抽象電影)，一種采用抽象的形式語言創造出來的無敘事的電影，將視覺音樂發展到了一個新的高度。 Leopold Survage在其抽象電影《彩色韻律(Colored Rhythm)》，將音樂和視覺形式相分離，稱彩色韻律不是音樂的對應呈現，而是一種獨立的藝術形式。 Walther Ruttmann 在其 opus 1(1921)的作品中，將動態的形狀、聲音與色彩相互融合對應，這種對應并非像彩色音樂中那樣傳統的音色客觀對應，而是更多的融入了主觀形式，試圖建立一種音樂、運動與形式之間相互交織的體驗效果，為音樂美學的發展產生重大影響1。

(二)設計領域中的應用

1．工業設計

音色關聯在工業設計上一大應用就是音樂噴泉，費宇泉首先識別出音樂噴泉的樂段情感，和相應的基本程序庫匹配，然后分析燈光顏色的一些情感表達，比如說用紅色代表熱血，紫色代表歡快，黑色代表悲傷，從而設計出音樂噴泉[ Michael Betancourt. The History of Motion Graphics: from Avant-Garde to Industry in The United States[M].Wildside Press,2013.] [費宇泉•基于音樂特征識別的音樂噴泉研究[D]•長沙理工大學，2017.]。楊建華等人結合變頻器和可編程控制器設計了一個音樂噴泉控制系統，其中可編程控制器使得燈光顏色隨著音樂節奏的變化而變化[楊建華•基于PLC和變頻器的音樂噴泉設計J].黑龍江科技信息,2015(14):124.]。蔡彬等人以工控機為核心構建了燈光噴泉，并使用計算機控制處理系統來處理燈光的變化[蔡彬•可編程控制器在音樂燈光噴泉中的應用J].農機化研究,2005(4):209-210.]。

除了音樂噴泉外，音色關聯在其他工業產品也有體現，比如王樂等人設計了無線智能的一個 LED 系統，系統首先預提取音頻特征，然后根據無線控制來對指令發送時間進行動態調整[王樂,陳科明，綦航•無線智能LED系統中的音樂特效設計J]•杭州電子科技大學學報,2017,37(3):15-1 9.

21]。彭文雄等人設計了一個音樂彩燈控制器，他們首先基于帶通濾波器把音樂信號劃分三個頻段，然后根據精密整流器得到直流電平。然后把得到的直流電平與階梯波對比，并控制可控硅的導通時間來調節燈泡的亮度1。

2．音樂產品色彩設計

近年來，大量音樂播放設備、CD Player等大量涌現，不同的色彩設計也越來越引入注目。本布里奇獲得第一個彩色琴專利，此專利設計了一個音樂和投射光結合起來的裝置[彭文雄，侯世英，卓婭•音樂彩燈控制器的設計與實現J].電氣電子教學學報,2012,34(S1):135-138.] [趙瑞瑞•基于音頻FFT的色彩音樂系統的研究與設計[D].哈爾濱理工大學,2017.]。EoIk-Soo等人(2014)發現教室LED燈會影響學生學習效率和心情，并建議選擇合適的燈光顏色和音樂[ EoIk-Soo，Choi，Keum-Yeon．Study on the Effects of Learning by Changing the Color-Temperatur e LED Lamp[J].International Journal of Multimedia and Ubiquitous Engineering,2014,9(3):309-315．]。張嘉朗等人(2017)分析了音樂播放器應用的色彩設計，例如他們指岀網易云音樂菜單欄把紅色作為底色裝飾，進度條用灰色和紅色區分；而蝦米音樂的大部分區域都是白色和淺灰色，橙色只是用來表示播放的進度[張嘉朗•淺析國內音樂播放應用圖形用戶界面的設計特征[J]•藝術科技,2017(7): 280-280.]。劉芳等人(2009)在音樂產品設計討論了曲調式色彩設計的應用，例如為了體現活潑的風格，應該對手機外殼采用小巧輕薄的設計[劉芳•為產品涂上和諧的色彩[D]•合肥工業大學，2009.]。馬萁澤(2018)基于音樂與繪畫的共同要素如音色-色彩、線條-旋律等方面的對應關系，設計岀智能編曲的兒童繪板，使兒童的繪畫作品可以轉化為可聽的音樂，獲得不一樣的審美體驗[馬萁澤.基于藝術通感理論的智能編曲兒童繪板設計與實現[D]•哈爾濱工業大學,2018.]。

(三)在教育實踐中的應用在藝術教育領域中，藝術通感并非是孤立存在的心理現象，而是與認知、感覺、想象、情感等相聯系在一起的。其外在表現是將不同感覺(視覺、聽覺、味覺、嗅覺等)進行聯通、轉換和綜合，發揮心靈的作用從而達到超越感官局限實現生存背景共鳴的效果[王麗.藝術通感與兒童藝術教育研究[D]•南京師范大學,2007.]。

藝術通感的主要渠道是視聽通感，而視聽通感的核心構念是“音樂—色彩” 通感。在音樂教育中，已有研究表明相比于傳統的鋼琴教學方法，運用視覺語言表征音樂的方法更有助于讓兒童理解音樂術語和音樂的結構化含義[ Roels J M, Van Petegem P. The integration of visual expression in music education for children[J]. British journal of music Education, 2014, 31(3): 297-317.

22]。王麗(2009) 的研究中提到“音樂—色彩”通感可應用于音樂的各門課中提升學生的音樂素養。如在音樂鑒賞課中，通感喚起學生多感官通道感知音樂，幫助學生更好地理解音樂作品所表達的情感，了解作品中的音樂形象；通感在音樂創作課中的作用在于能夠幫助學生掌握音樂創作的方法，提升對音樂作品的理解，更好地完成音樂創作1。陳炎秋(2020)提到音樂可視化教學是指在音樂教學中設計一些音樂活動如：游戲、聲勢表演、體態律動等，讓學生有“可視”的音樂感受。小學音樂可視化教學主要可以分為三種呈現形式：圖示圖譜、情境教學、音像結合。例如音樂圖譜是采用顏色、圖畫、線條、符號等方式將音樂作品中抽象的音樂要素展現出來，形成一種富有創造性的視覺圖像[王麗.“聯覺”在中小學音樂教學中的作用及其能力培養[D].曲阜師范大學,2009.] [陳炎秋.小學音樂"可視化"教學研究與實踐[D].河北師范大學,2020..]。在美術教育中，杜依濃(2012)提到學生可以通過音樂中音高旋律的變化及氣勢的渲染，能夠較為直接地做出情感判斷，再根據音樂的情感傳達引導學生對美術作品的內涵與審美意蘊更直觀地體會與思考。提出將音樂融入美術教育的途徑，見下表[杜依濃.音樂融入美術教育教學的創新型探索[D].首都師范大學,2012.

23]。

表 2-4 音樂與色彩對應的藝術要素

音樂色彩解釋

音色色彩旋律、節奏等音樂元素在音色的配合之下，能使人通過通感形成的色彩與光亮度聯想到畫面色彩的冷暖與情感傾向。

音階即為一個音高體系，就是以全音、半音以及其他音程順次排列的一串音。如牛頓曾將七色光譜與音階中的各個音相對應。

音階色彩

和聲色彩和聲的色彩概念是指各種和弦結構、和聲位置、組織寫法與和聲進行等所具有的色彩效果。和聲可以根據和弦結構及其進行的差異表現色彩的明朗、晦暗、響亮等色彩質感以及濃、淡、清、濁等色彩屬性。

音樂諸色彩的音色的色彩調性、冷暖變化能夠影響人的情感、情緒。音

元素情感樂傳達的情感性與色彩情感之間的對應關系。

Wendell Hanna (2014)介紹了瑞吉歐藝術教育基于音樂與視覺藝術的共同

要素進行視覺藝術與音樂的融通的方法。從線條與旋律、顏色與音色、紋理與質

感、色彩明暗與節奏力度、空間感與韻律感、形狀與樂章、形式與和聲幾個方面進行教學1，見下表 2-5。

表 2-5 音樂與視覺藝術的共同要素

視覺藝術音樂可能的探索方式

線旋律用繩子、管道在圖畫中創造不同的線條，并在樂器上演奏出上升和下降的旋律輪廓。

顏色音色選擇樂器音色來代表特定的顏色。將顏料混合在一起后玩出新的顏色組合，描述各種顏色/聲音的組合如何讓他們感到有趣。

紋理質感聽和諧的音樂，在各種藝術品中創造出它流暢的質感；聽復調音樂,并在藝術作品中創造出粗糙的質感。

色彩明暗節奏/力

度顏料越暗，唱歌/演奏的聲音越大。顏料越淺，唱歌就越輕柔。隨著快節奏和慢節奏的音樂移動，并畫出他們的動作。暗色可能表示緩慢沉重的移動，而亮色表示較快。

空間旋律選擇一幅畫，然后像戲劇中的場景一樣重新創作。以

不同的節奏在“圖畫”的不同部分移動。

形狀樂章創造視覺形狀，然后在每個形狀內畫出簡短的旋律輪廓。一個重復的“固定音型”被選作樂曲的“背景”，按順序編排和演奏旋律輪廓形狀。

形式和聲創造“叢林”植物和動物藝術品，并選擇特定的工具

來代表每個對象。隨著每件藝術品及其相關聲音的加

入，一首“叢林交響曲”就誕生了。

髙溦(2013)提岀要改變教學形式，尋找一些適合兒童欣賞的作品，教會兒童欣

賞音樂作品的方法，啟發兒童邊聽邊想，并將想象內容展現在畫面上，表達自己

的情感感受[ Hanna W. A Reggio-inspired music atelier: Opening the door between visual arts and music[J]. Early Childhood Education Journal, 2014, 42(4): 287-294.] [髙溦.探索進行音樂繪畫的教學方法[J].讀寫算:教研版,2013(2).

24]。意大利音樂教育家卡羅•德弗雷迪從四個方面提出藝術通感的培

育：一是要培養兒童打開耳朵聆聽的習慣。讓兒童安靜下來之后認真聆聽一分鐘內聽到的聲音并將其畫出來，挑選樂器將“畫出”的聲音變現出來。二是要運用美術作品強化兒童對音樂的聽覺感受。三是運用電影藝術等手段，將音樂與場景畫面、情感聯系起來。音頻效果不僅與動態畫面的視覺相對應，還可以與故事情節相對應，進一步加深兒童對音樂節奏韻律的理解。四是采取共同“畫圖”的形式，展示聆聽音樂的成果1 Pramling(2 012)以傾聽、打鼓、制作聲音三個活動為例展示了如何促使兒童將音樂與繪畫以及運動聯系起來以促進通感能力的發展。以制作聲音為例，首先她讓兒童想出與“春天”有關的詞語，然后用聲音表現詞語，如春風、花粉等，接著讓兒童選擇樂器去表現聲音。再比如在傾聽活動中，她讓學生在傾聽音樂后畫出聯想的事物以及感受[郭蘭蘭，馬芮基于藝術通感的兒童音樂教育實踐范例J].藝術教育,2017(14):105-106.] [ Wallerstedt C, Pramling N. Conceptualising early childhood arts education: The cultivation of synesthetic transduction skills[J]. International Journal of Early Childhood, 2012, 44(2): 127-139.]。

三．教育數據挖掘的相關研究

數據挖掘(data mining，簡稱DM)是從大量數據中發現有趣的模式和知識的過程[ Han J, Kamber M, Pei J. Data Mining: Concepts and[J]. Techniques (3rd ed), Morgan Kauffman, 2 011.]。教育數據挖掘(educational data mining,簡稱EDM)是數據挖掘在教育數據中的應用[ Romero C，Ventura S.Educational data mining：a survey from 1995 to 2005[J].Expert Systems wit h Applications,2007,33(1):135-146.]。教育數據挖掘主要運用計算機科學、統計學等多學科理論與技術方法，解決教育研究和教學中遇到的各類問題[周慶，牟超，楊丹•教育數據挖掘研究進展綜述[J].軟件學報,2015,26(11):3026-3042.]。

我國教育數據挖掘的發展大致可以分為三個階段，即萌芽階段、興起階段和快速發展階段。第一階段是萌芽階段， Coursera、 Mooc 等教育平臺不斷發展，教育數據挖掘研究規模持續壯大。例如李婷(2010)等人對國外內教育數據挖掘現狀以及研究趨勢進行了詳細闡述[李婷，傅鋼善.國內外教育數據挖掘研究現狀及趨勢分析J].現代教育技術,2010,20(10):21-25.] [葛道凱•E—Learning數據挖掘：模式與應用[J]?中國高教研究,2012(3):8-14?

25]，葛道凱(2012)等人詳盡地敘述了關于 E- Learning數據挖掘的國內外研究進展，并用格語法分析方法分析了 E-Learning數據挖掘的關鍵要素和過程7。Romero C (2007)等人對1995-2005年的教育數據挖掘研究進行總結。第二階段是興起階段，大數據時代在 2013 年來臨。作為大數據的一個子集，教育大數據開始被教育領域專家越來越關注。如徐鵬(2013) 等人對美國發布的《通過教育數據挖掘以及學習分析加強教學和學習》進行解讀，認為進入了“學校受數據驅動，教育受分析變革”大數據時代1。陳池(2014)等人設計大數據模型，這個模型面向在線教育領域，同時也提供了思路給在線教育領域大數據研究2。第三個階段是快速發展階段，教育數據挖掘在 2015年引起了空前熱度。楊現民(2015)等人對當前我國教育數據存在的問題以及挑戰，提出了政策建議3。柴艷妹(2018)等人從 5 個方向對數據挖掘技術介紹了研究成果 4。于方(2018)等人提出“把用戶作為中心”的教育數據挖掘應用研究框架，并介紹了近來10年的教育數據挖掘現狀5。Bakhshinategh B (2018)等人回顧了教育數據挖掘在2010到2017年的發展，并將應用場景分為好幾個類別并對每一個類別進行介紹6。

教育數據挖掘應用方向主要有個性化學習服務研究、學生學習效果研究、學生輟學研究和學生行為研究幾個方面，不同應用場景中數據挖掘技術的算法也不盡相同7，見下表。

表 2-6 教育數據挖掘算法與應用

方法機制常見算法應用

分類與回歸預測數據對象所屬類

別或它的取值決策樹、貝葉斯、

支持向量機、線性

回歸、邏輯回歸等學生成績預測、學

習風格預測、判斷

學生是否輟學

聚類將一組數據對象集合分成由類似的對象組成的多個類的過程 K-means 等關鍵詞聚類分析、

學生分組

1徐鵬，王以寧,劉艷華.大數據視角分析學習變革一美國《通過教育數據挖掘和學習分析促進教與學》報告解讀及啟示[J]?遠程教育雜志,2013(6):11-17?

2陳池，王宇鵬,李超,等.面向在線教育領域的大數據研究及應用[J]?計算機研究與發展,2014(S1):67-7 4.

3楊現民，王榴卉,唐斯斯.教育大數據的應用模式與政策建議[J]?電化教育研究,2015(9):54-61.

4柴艷妹，雷陳芳.基于數據挖掘技術的在線學習行為研究綜述[J]?計算機應用研究,2018(5):1287-129 3.

5于方,劉延申•“以用戶為中心”的教育數據挖掘應用研究[J]?電化教育研究,2018,39(11):69-77.

6 Bakhshinategh B，Zaiane O R，ElAtia S，et al.Educational data mining applications and tasks：a survey of the last 10 years[J].Education and Information Technologies,2018,23(1):537-553.

7李宇帆，張會福,劉上力，唐兵.教育數據挖掘研究進展[J].計算機工程與應用,2019,55(14):15-23.

關聯規則發現數據對象之間的 Apriori 算法、 FP- 課程推薦、關聯分

關聯或相關性樹頻集算法析

推薦系統將可能受喜好的資源協同過濾、基于內個性化學習資源

推薦給使用者容的推薦、混合推推薦

薦

四．核心概念

（一）教育數據挖掘

近年來，教育數據挖掘越來越受不同領域研究人員的關注，這一方面得益于工具性的教育軟件和全國學生信息數據庫的增加建立了反映學生學習方式的大型數據庫；另一方面互聯網技術在教育領域的使用創造了一種新的環境（基于網絡的教育），期間大量關于教與學的互動信息源源不斷產生。所有這些信息都成為教育數據的金礦。

數據挖掘通常有以下步驟：數據清理，數據整合，數據選擇，數據轉換，數據挖掘，模型評估，知識展示。前四個步驟都屬于數據預處理。教育數據挖掘過程與一般數據挖掘過程無太大區別，包括數據預處理、數據挖掘、模型評估三個方面[ Romero,C. ,Ventura,S. ,Pechenizkiy,M.Handbook of educational data mining[M]. CRC press, 2010.

27]。

數據預處理涉及到的主要步驟即數據清理、數據整合、數據選擇、數據轉換。

現實中收集到的數據會包含一些不完整、雜亂且不一致的數據，數據清理過程試圖填充缺失值，在識別異常值的同時消除噪聲，并糾正數據中的不一致。數據整合有助于減少和避免結果數據中的冗余和不一致，提高后續數據挖掘的準確性和速度。數據選擇后的縮減數據集對數據挖掘更加有效，且會產生相同的分析結果。數據轉換是將數據轉換成適合數據挖掘算法的格式。

數據挖掘是整個過程的中心環節，其主要目的是從先前預處理的數據中建立模型。一般來說，數據挖掘的任務可分為兩類：描述性任務和預測性任務。描述性任務描述目標數據集中數據的屬性；預測性任務對當前數據進行歸納，以便進行預測。數據挖掘的方法有可視化、回歸、分類、聚類、關聯規則挖掘、序列模式挖掘、文本挖掘等等。

模型評估是數據挖掘的最后一個環節。數據挖掘系統有可能生成很多模型或規則，但并非所有的模型都有用、合理。如果建立的模型不能有效地解決問題，就需要調整優化模型甚至有可能重新選取特征指標建立模型。有一些常見的客觀模型指標來評估模型的合理性，如關聯規則的支持度與置信度，分類模型的識別率（accuracy）＞敏感度（recall）、特效性（specificity）等等J

（二）決策樹

決策樹算法是一種較為常見的分類數據挖掘方法，它以樹的形式來表示一組分類規則。決策樹算法有很多優勢：以樹狀結構的形式表示直觀，容易理解和解釋。可以處理混合變量，具有較高的代表性和準確率[ Han J, Kamber M, Pei J. Data Mining: Concepts and[J].Techniques (3rd ed), Morgan Kauffman, 20 11.] [ Garcia E, Romero C, Ventura S, et al. A collaborative educational association rule mining tool[J]. The Internet and Higher Education,2011,14(2):77-88.

28]。

決策樹是由“用來判別對象的屬性”和“不同的分類集合”所組成。構成決策樹的過程是一個遞歸選擇判別對象屬性的過程，每次劃分先選擇一個最優的特征，根據這個特征將訓練數據集進行分割，使得分割的各個數據子集有一個在當下條件下最好的分類。決策樹的樹狀結構包括樹的分支和樹的節點，其中樹最頂端的節點叫做根節點，樹的葉節點（終端節點）代表分類的結果，用橢圓表示；樹的非葉節點（內部節點）代表屬性的判斷，用矩形表示；樹的分支代表屬性判斷的結果輸出。決策樹結構如下圖所示， C 和 D 是不同的判別特征，其中 C 是根節點， D 是內部節點。 c1、 c2、 d1、 d2 是判斷的條件， e1、 e2、 e3 是分類的結果，樹的葉節點。

圖 2-16 決策樹結構

構建決策樹的關鍵在于最優特征的選擇。在決策樹的構建過程中，我們總是希望通過每一次的劃分之后，決策樹分支節點所包含的樣本盡可能都屬于同一類別，即樣本集合的“純度”越來越高。信息熵(Entropy)是衡量樣本集合純度的一個重要指標，表示為信息的期望值。信息熵越高，表明混合的數據越多，包含的信息也就越多，所衡量的隨機變量的不確定性越高。熵的定義如下：

H = ―〉 p(xi)log2p(xi)

i=1

信息的增益(Information gain)用作表示數據集劃分前后信息的變化情況, 即前后信息熵的差值。通過計算每個屬性劃分數據集所獲得的信息增益確定最優特征，最優特征指的是獲得最大信息增益的特征。常見算法有ID3算法、C4.5算法和CART算法(Peter Harrington,2013)】。決策樹模型的生成過程有以下幾個步驟：收集數據、數據的準備、決策樹模型構建、決策樹剪枝、確定分類規則、驗證決策樹模型。

(三)音樂涂色作品

音樂涂色作品指的是測試兒童在Surface Pro7電腦音樂畫板測試程序中通過

手指點按屏幕觸屏選擇顏色完成固定測試方案下的涂色畫稿。

1Harrington P. Machine learning in action[M]. Simon and Schuster, 2012.

四）音色關聯

音樂與顏色關聯指的是人們在知覺過程中往往會將音樂與顏色相聯系起來，顏色與音樂在人的心理上產生相互聯想的情況。具體可表現為聽到音樂，使人聯想到某種顏色1。音樂與顏色關聯的假設分為兩種，一種是音樂與顏色直接關聯（“音樂 - 顏色”聯覺和跨通道關聯），另一種是情緒中介關聯。目前有關“音樂 - 顏色”聯覺的相關研究主要研究的是聯覺者的個別現象，同時“音樂-顏色”聯覺者是小部分群體較為罕見，聯覺者的聯覺體驗具有個體差異性。故本研究將音色關聯與“音樂-顏色”聯覺相區別，明確研究的是音樂與顏色之間較為普遍的關聯規律。而跨通道關聯主要是在音樂的音符屬性和顏色的屬性之間建立一種對應關系。但音樂是一系列音符的有機結合，不僅僅具有音符的特征屬性，還有具有較高層次的整體屬性，如調式、節奏等等。基于音符的物理屬性與顏色的基本屬性建立的對應關系，就容易忽視音樂的整體性，很難去解釋某段音樂旋律與某種顏色聯系起來的現象。故本研究以情緒中介理論，試圖探討音樂與顏色之間較為普遍的規律。

（五）通感

希臘語“Synaesthesia”，意思是“同時的感受”，又被譯為“通感”或“聯覺”。在心理學的領域范疇內，一般采用的“聯覺”概念，指的是一個感官或感覺區域的刺激引起另一個感官或感覺區域反應的心理現象[ Palmer, S. E., Schloss, K. B., Xu, Z., & Prado-Leon, L. R. Music-color associations are mediated by emotion[J].Proceedings of the National Academy of Sciences of the United States of America, 2013,11 0(22):8836—8841.] [朱智賢•心理學大詞典[M]?北京師范大學岀版社,1989:392.]。“通感”一詞的概念是錢鐘書先生 20 世紀 60 年代初發表的《通感》一文提出的，同時也標志著通感作為一種審美理論和藝術理論正式誕生[錢鐘書•舊文四篇[M]•上海古籍岀版社,1979:52-59.

30]。由于本研究涉及到“Synaesthesia”內涵偏向于對其感官互通的性質的研究，并在此基礎上嘗試提出兒童藝術教育方面的相關啟示建議，因此在本研究中更偏向于使用“通感”這一概念。

第三章研究方法與設計

一．研究問題

研究問題 1：如何挖掘兒童音樂涂色作品中的音色關聯？

研究問題 2：顏色哪些屬性與音樂類型相關?

研究問題 3：不同情緒類型的音樂對應的顏色特征是怎么樣的？

二．研究設計

本研究根據音樂畫板測試程序得到學生涂色作品的原始數據，在對原始數據整理合并的基礎上從顏色屬性的角度構建評價畫稿數據指標編碼框架。然后將構建好的評價畫稿數據指標編碼框架對畫稿一和畫稿三原始數據進行處理。最后根據相關性分析結果、模型建構探索等方法篩選出有效指標，運用教育數據挖掘中的決策樹算法，構建決策樹模型探討顏色屬性與音樂情緒之間的關系。

三．研究方法

(一)測試法

測試音樂共10首樂曲，涂色畫稿共5張。采取平衡設計(the counterbalanced design)的方法，是一種使被試變量和順序變量可能發生的誤差大約平衡，最終互相抵消的設計[裴娣娜.教育研究方法導論[M]•安徽教育出版社,1995.

31]。測試環節中畫稿與音樂匹配關系共十種方案，見表3-1。其中

練習環節中畫稿和音樂是固定不變的。每種測試方案中確保十首音樂都存在，每張畫稿重復岀現兩次且同一張畫稿匹配不同情緒類型的音樂。每名被試隨機選擇一種測試方案進行測試。

表 3-1 測試方案

方案號 1 2 3 4 5 6 7 8 9 10

畫稿音樂

練習 0 水族館

1 A1 C2 C1 E2 E1 C2 B1 E2 D1 B2

2 B1 D2 D1 A2 A1 D2 C1 A2 E1 C2

3 C1 E2 E1 B2 B1 E2 D1 B2 A1 D2

4 D1 A2 A1 C2 C1 A2 E1 C2 B1 E2

測試 5 E1 B2 B1 D2 D1 B2 A1 D2 C1 A2

1 B2 B1 D2 D1 A2 A1 D2 C1 A2 E1

2 C2 C1 E2 E1 B2 B1 E2 D1 B2 A1

3 D2 D1 A2 A1 C2 C1 A2 E1 C2 B1

4 E2 E1 B2 B1 D2 D1 B2 A1 D2 C1

5 A2 A1 C2 C1 E2 E1 C2 B1 E2 D1

A：悲傷 B：憤怒 C：恐懼 D ：快樂 E：平和

測試流程：測試中所呈現的畫面和音樂刺激以及被試反應的收集由 Surface

Pro7 控制完成。設備顯示屏為 12.3 英寸，分辨率為 2736*1824 像素。被試坐在小桌前，與顯示儀器保持 0.5 米左右距離，通過手指點按屏幕觸屏選擇顏色完成

畫稿涂色。

圖 3-1 測試過程

每名被試有名專業的測評員，均是受過專業測試培訓的華東師范大學研究生，

與被試兒童進行一對一的電腦軟件程序測試。測評員填寫完被試基本信息并選擇測試方案后，對被試進行涂色操作流程和測試任務的介紹。正式測試環節之前設置練習環節，方便被試熟悉電腦觸屏涂色操作，測試界面和各種功能按鈕的使用。要求被試在音樂完整播放一遍，畫稿出現在屏幕顯示器之后，根據對音樂的感受對畫稿進行涂色。每名被試共需完成十一張畫稿涂色。

（二）決策樹算法

本研究采用的是CART算法，屬于決策樹算法的一種。CART算法是由布雷曼等人在1984年提出的一種分類回歸樹算法，它在C4.5、ID3的基礎上進行優化，不同于前兩者，它采用二元切分的方法。CART算法每次將輸入數據分為兩部分，一部分進入左子樹，另一部分進入右子樹。該算法采用基尼指數（gini）作為最優劃分特征的依據。基尼指數的含義和信息熵含義類似，但是它描述的是純度1。其中，基尼指數計算方式如下：

四．研究對象

預研究選取的研究對象為某幼兒園 5-6 歲大班幼兒，發現此年齡段幼兒在熟練使用 Surface 電腦進行觸屏填涂五張以上畫稿的操作任務中表現出具有一定難度。本研究測試方案中填涂畫稿數量多，填涂所需時間至少為半小時，時間較長。填涂過程中所需要的專注力需更加持久，因此需要比幼兒園大班幼兒年齡更大一些的兒童。本研究中的涂色操作任務需要被試對音樂中蘊含的情緒具有一定的理解與感知，根據著名音樂家戈登的音樂學習理論，即音樂環境等因素很難影響 9 歲以后兒童的音樂能力。 9歲之后兒童逐漸形成了較為穩定的音樂能力[鞠靜.基于決策樹算法的高校圖書館圖書采訪決策模型研究[D].河北大學,2021.] [ Gordon E E. All about audiation and music aptitudes: Edwin E. Gordon discusses using audiation and music aptitudes as teaching tools to allow students to reach their full music potential[J].Music Educat ors Journal,1999,86(2):41-44.]。加之受疫情的影響，最終根據方便取樣原則選擇上海兩所小學的二年級學生進行測試，對兩所小學二年級班級隨機進行選擇，共用兩個學期測試了 396 名二年級學生。

測試基本情況見下表。

表 3-2 測試人數性別分布情況

性別人數

男生 176

女生 220

表 3-3 十種測試方案測試人數

方案 1 2 3 4 5 6 7 8 9 10

男 19 16 19 25 24 12 14 11 19 17

女 21 27 20 22 25 23 23 25 18 16

總數 40 43 39 47 49 35 37 36 37 33

五．研究材料

（一）音樂畫板程序

音樂畫板程序從開發到研究測試正式使用經過多次調試修改。音樂畫板程序開發后通過對某幼兒園大班二十四名幼兒的預研究實驗設計（探討音樂有無、作畫時間、畫稿形狀對兒童色彩選擇的影響以及兒童根據音樂選擇色彩的穩定性），對音樂畫板程序進行調試修改，即增加數據回溯功能、涂色畫稿隱藏功能、音樂暫停功能和畫板顏色選擇數量，同時優化過程性數據。

音樂畫板程序共包括兩部分，第一部分是測試程序。共有基本信息錄入環節、練習環節和正式測試環節三個環節，即自動保存被試每張填涂畫稿每個區域的截圖以及作畫過程中所有過程性數據（顏色選擇、顏色修改、作畫時長等等）。測試界面見圖 3-2 和圖 3-3，左上方主要為音樂播放功能：測試音樂延遲三秒播放，播放一遍后點擊按鈕即可循環播放，再次點擊音樂暫停。中間是畫稿填涂區域：音樂播放一遍過程中，暫時將涂色畫稿隱藏。待一遍播放完成后，涂色畫稿自動呈現在測試界面。右側是畫稿提交和當前點選顏色顯示功能：選中底部色塊，右邊的空白顏料桶即會變成相應顏色，更換顏色只需重新選擇色塊；畫稿涂色結束后點擊提交按鈕，確認提交當前涂色畫稿進入到下一個測試界面。底部是填涂畫稿可供選擇的二十七種顏色。

音樂畫板程序的第二部分是數據回溯程序，即根據被試原始數據，可按時間

1:1 回溯被試所有作畫過程，見圖 3-4。

Aquarium

圖 3-4 數據回溯界面

二）音樂材料

按照不同的標準和維度可將音樂進行分類。音樂本身包含著豐富的情緒信息，

這些情緒信息不僅能被人們識別，還能誘發個體不同的情緒體驗1。在音樂情緒理論中，馮特提出三維理論即快-不愉快、激動-平靜、緊張-松弛[ Kari Kallinen, Niklas Ravaja. Emotion perceived and emotion felt: same and different[J].Musicae S cientiae,2006,10（2）:191-213.] [ Wundt W. Outlines of Psychology[M].The Monist,1896.]；伊扎德提出情緒有愉快度、緊張度、激動度、確信度四維理論[ Kaoru Hirota.Emotion space modelling for social robots[J].Engineering Applications of Artificial Int

elligence,2021（100）:1-14.]；黃希庭提到了喜、怒、哀、懼四種基本情緒[黃希庭，鄭涌.心理學導論（第三版）[M].北京:人民教育岀版社,2015.

35]。本研究從音樂與繪畫聯結的緊密性考慮，從情緒情感的角度出發嘗試劃分音樂的維度。結合音樂情緒的相關理論取向，以及心理學提供的情緒分類，最終將音樂情緒維度劃分為五個：憤怒、快樂、悲傷、恐懼、平和。

請三位音樂專家參照 Q 分類1的方法，根據先前商定的五大類(憤怒、快樂、悲傷、恐懼、平和)，且每大類下面根據強度分為高、中、低三檔，對一百八十首音樂逐個播放先前篩選、剪輯的音樂片段，進行現場投票。最后權衡音樂特征的顯著性、音質效果等因素，共篩選出六十一首(悲傷十二首，憤怒五首，恐懼九首，快樂二十一首，平和十四首)，然后從每類中再選取兩首最能代表此種情

緒類型且適合兒童的音樂，共十首作為測試音樂，見表 3-4。

表 3-4 測試音樂曲目

音樂情緒類型音樂名稱序號

悲傷 Hummel gets the rocks A1

Sinfonia concertante for Violin Viola and Orchestra in E flat K.364 A2

憤怒 Symphony No. 5 in C Minor, Op. 67：1. Allegro con brio. B1

Symphony No. 5 in C Minor, Op. 67：1. Allegro con brio. B2

恐懼 Klaus Schulze C1

Symphony No.5 in C Sharp Minor： C2

快樂 Brandenburg Concerto No. 3 in G Major, BWV 1048： Allegro D1

Menuet D major D2

平和 Suite bergamasque,L75:Clair de lune E1

Nocturne No. 2 in E Flat Major, Op. 9, No. 2 E2

測試音樂 A1 是 Hans Zimmer 為電影《勇闖奪命島》所做的配樂，音樂低沉又緩慢，描繪一幅慘烈的戰爭畫面。舒緩悲涼的音樂讓人頓感情緒悲傷[ Emin Tamer Yenen, Mustafa Kemal Yontem. Teachers' Professional Development Needs: A Q Meth od Analysis[J]. Discourse and Communication for Sustainable Education, 2020,11(2):159-176.] [許近.電影《勇闖奪命島》中背景音樂的藝術表現J]•劍南文學(經典教苑),2013(04):176.]。測試音樂 A2 選自莫扎特的《降 E 大調交響曲》第二樂章的開頭部分，此樂章為紀念作曲家母親的去世，而為其母所做的一首安魂曲。開始部分像是對母親逝去憂傷的陳述，感情基調較為沉重，而后跟隨著旋律的發展進行轉調[王芳.莫扎特《降E大調交響協奏曲》中提琴獨奏聲部的演奏分析[J]•北方音樂,2013(09):18.]。測試音樂 B1 和 B2 皆選自貝多芬《命運交響曲》的第一樂章，其中B1為第一樂章開始的37秒，B2 為第一樂章中間部分的 40 秒；第一樂章象征著向悲慘命運抗爭的前夜，傳達出面對命運的不公，不放棄不認輸的精神，必將能夠戰勝黑暗，迎來光明的堅定信念[夏夢雅•貝多芬《命運交響曲》賞析J] •黃河之聲,2018(15):53.

36]。測試音樂 C1 是 Les gustavo kuerten 所做的電子音樂，節選的片段部分音樂

節奏快，音強強度大，通過各種不和諧的音程來表達恐懼的氣氛。測試音樂 C2 選自馬勒《升 C 小調第五交響曲》的第二樂章，此樂章中演奏樂器眾多，有圓號、長笛、大管、單雙簧管和銅管，不同音響拼接，聲音尖銳、粗獷而凝重，象征著生活中的不幸與苦難1。測試音樂D1選自巴赫《勃蘭登堡G大調協奏曲第 3 號》的第一樂章，音樂主題典雅明麗，富有動感，洋溢著歡快的氣氛。測試音樂D2選自莫扎特《D大調小步舞曲》，小提琴樂曲輕盈典雅，旋律流暢而明快。測試音樂 E1 選自德彪西《月光》，樂曲中運用四五度和弦，使聲音有空靈之感，表現出朦朧月光下幽靜清冷的氛圍效果[沈璇.深沉的悲痛熱切的追求一一馬勒的《升c小調第五交響曲》賞析[J].音樂愛好者,1986(02):18 -19.] [馬承華.德彪西《月光》的曲式和聲特點及旋律分析[J]•北方音樂,2017,37(13):112.]。測試音樂 E2 選自肖邦《降 E 大調夜曲》，旋律柔和優美，回旋曲式節奏輕快平和[龍志科.肖邦《降E大調夜曲》的音樂解讀與教學設計[D].湖南科技大學,2019.

37]。

(三)畫稿材料

由設計學院師生創作的六張較為抽象的填色畫稿，分為兩個層次：有三幅畫稿是無色畫稿，畫稿所有空白區域均可涂色，還有三張背景色的畫稿，每張畫稿有四至六處空白區域可進行涂色。其中畫稿零用于練習環節，畫稿一至五用于正式測試環節。

表 3-5 兒童音樂涂色畫稿

四)顏色材料

在預研究中畫板顏色參照了 Simmer (2008)評估兒童聯覺中的13種顏色電子調色板：純黑、純白、灰色、淺綠、深綠、淺藍、深藍、紫色、橙色、粉色、棕色、純紅、純黃[ Simner, J., Harrold, J., Creed, H., Monro, L., & Foulkes, L. Early detection of markers for synaesthesia in childhood populations[J]. Brain, 2009,132(1):57-64.

38]。結合幼兒在預研究中反映顏色可選范圍過少的情況，考慮增加畫板顏色種類。

在對音樂畫板設計配色方案時，尋求設計學院專家建議充分考慮顏色的色調關系，選擇亮調、中間色調、暗調的不同層次顏色。根據 Material Color (來源于 http://www.materialui.co/colors),選擇 100、500、900 三個梯度的顏色分層，進行色彩選擇的規范精準化。最終確定27色色譜作為音樂畫板顏色，每種顏色的 RGB 值詳見附錄二。在音樂畫板程序中每張測試畫稿下的 27 色隨機排列出現。

圖3-5層次配色方案圖3-6二十七色色譜

圖 3-7 Material Color

第四章決策樹模型的建構

依據教育數據挖掘的基本步驟，構建決策樹模型的過程包括以下四個部分：數據收集、數據準備、數據挖掘和數據分析。數據分析部分將在下一章節研究結果與分析中展開敘述。

一．數據的收集

被試在音樂畫板程序完成畫稿填涂任務收集數據，并被保存在以被試姓名命名的 CSV 文件中。每名被試的 CSV 文件中包括十一張畫稿從開始填涂到填涂結束的每一步操作記錄，見表 4-1。

表 4-1 被試填涂某張畫稿的涂色數據

image audio click lable color hex draw time music time

0 Aquarium Start 0 31.63

Music Restart 0.97 31.63

Color #015798 22.93 21.99

D0 #015798 26.39 25.45

Color #F5F5F5 40.07 7.54

D1 #F5F5F5 42.35 9.81

Color #D7CC8 45.06 12.52

D3 #D7CC8 46.89 14.35

Color #F44336 53.2 20.66

D2 #F44336 55.77 23.23

Color #FFF9C4 61.65 29.11

D1 #FFF9C4 63.26 30.72

End #FFF9C4 102.27 6.52

上述數據為某被試在某方案下練習畫稿的全部涂色數據，“image”表示畫稿

39 號, 0表示練習稿，“audio"表示樂曲號，Aquarium表示樂曲的名稱。點擊標簽、

顏色值、涂色時間與音樂播放時間一一對應，例如：第一行數據可解釋為：開始涂色，顏色為空，作畫時間為0秒，此時音樂播放到31.63s。第二行數據可解釋為：點選音樂播放按鈕，顏色為空，點選音樂播放按鈕的時間為開始涂色后的第 0.97s，此時音樂播放到第31.63s。第三行數據可解釋為：點選顏色，顏色值為

“#015798”,點選顏色的時間為開始涂色后的第22.93s，此時音樂播放到第21.99s。 (值得注意的是，數據的第三行，“music time"從“31.63”變為“21.99"，代表此時音樂開始第一遍循環)第四行數據可解釋為：在畫稿的 D0 區域填入顏色，顏色值為“#015798"，填入顏色的時間為開始涂色后的第26.39s，此時音樂播放到第 25.45s。

二．數據的準備

數據的準備主要是在對畫稿一和畫稿三原始數據整理的基礎上，構建評價畫涂色作品的數據指標編碼框架。

畫稿一和畫稿三原始數據整理：由于原始數據是被試每一步操作的步驟性數

據，因此需要整理出每名被試每幅畫稿各個涂色區域的最終涂色結果，見表 4-2。

此研究主要選擇畫稿一和畫稿三的所有測試數據進行分析。涂色區域最終涂色結

果是針對更改顏色的涂色區域而言的。在原始數據中，如果某涂色區域只出現一次，選擇的顏色即為最終涂色結果。若某涂色區域重復出現多次，最后一次填涂的顏色即為最終涂色結果。

表 4-2 某畫稿各個區域最終涂色結果

D0 D1 D2 D3 D4 D5 D6

#B3E5FC #B3E5FC #01579B #01579B #1A237E #795548 #BF360C

評價畫稿的數據指標編碼框架構建：已有研究如Plamer(2013)的研究發現大調模式下較快的音樂通常與更飽和、更淺、更黃的顏色相關，研究結果音樂與色相、明度和飽和度相關，因此主要從顏色的三個基本屬性來構建評價畫稿的數據

40 指標。

Patricia Valdez和Albert Mehrabian ( 1994)發現對顏色的情緒反應很大因素是受顏色的亮度和飽和度影響，并通過多元回歸分析探索顏色的亮度和飽和度對情緒狀態(愉悅、喚醒和支配)的三個相關指標的影響，得出以下三個公式： Pleasure=0.69Brightness+0.22Saturation；Arousal=-0.31Brightness+0.60Saturation； Dominance=-0.76Brightness+0.32Saturation[ Palmer, S. E., Schloss, K. B., Xu, Z., & Prado-Leon, L. R. Music-color associations are mediated by emotion[J].Proceedings of the National Academy of Sciences of the United States of America, 2013,11 0(22):8836-8841.] [ Patricia Valdez, Albert Mehrabian. Effects of Color on Emotions[J]. Journal ofExperimental Psychology: General,1994,123(4):394-409.]，故在指標構建過程中考慮通過一幅畫的亮度與飽和度計算情緒PAD值。受情緒的無意識啟動，聽到音樂后首次選擇的顏色可能最能代表音樂表達的情緒感受。另外，不同情緒的音樂帶來的感受不同，已有研究發現快樂情緒最能被聽者準確識別和感受，悲傷情緒次之，憤怒和恐懼的情緒識別和感受相對較難。兒童在識別感受各種情緒上所需要的時間不同，就可能導致不同情緒類型的音樂下作畫時間的不同。一般來說，同種顏色在圖形中的聚集程度越高，往往越能成為該圖形重點突出的顏色或者畫面的中心。涂色區域中顏色的使用越相似，涂色作品越顯得和諧統一[胡國生.色彩的感性因素量化與交互設計方法[D].浙江大學,2014.

41]。聽不同類型的音樂產生的情緒反應可能會體現在涂色區域的顏色差異程度上，故選取了涂色區域顏色差異這個指標來作為評價畫稿的一個屬性。在此基礎上，為了得到不同區域的空間位置信息，選取了相鄰區域顏色差異這個指標作為畫稿屬性。

同時參考一些色彩理論、名畫的自動識別以及圖畫的自動編碼系統相關研究，經過多次修改調整確定了四十個評價畫稿的數據指標，見表4-3。構建的數據編碼框架中的數據包括結果性數據和過程性數據。其中結果性數據包括畫稿顏色使用頻次、首次選擇的顏色、首次選定顏色的色調、涂色區域顏色差異、相鄰區域顏色差異、涂色區域主色調、畫稿平均色調、涂色區域平均亮度、畫稿情緒PAD 值。過程性數據是作畫時長。

表 4-3 四十個評價畫稿的數據指標

維度具體指標

畫稿顏色使用頻次（指標1-3）首次涂色（指標 4-30）首次選定顏色的色調（指標 31）涂色區域顏色差異（指標 32）

顏色的基本屬性色相相鄰區域顏色差異（指標 33）涂色區域主色調（指標 34）畫稿平均色調（指標 35）

亮度涂色區域平均亮度（指標 36）

飽和度畫稿情緒 PAD 值（指標 37-39）

過程性數據時間作畫時長（指標40）

構建的各個指標包括四部分：操作定義、計算方式、計算代碼和具體畫稿舉

例。

表 4-4 某被試畫稿三原始數據

D2 Start 0 38.95

Music Restart 0.3 38.95

Color #01579B 15.56 15.35

D1 #01579B 16.28 16.07

Color #9C27B0 18.5 18.3

Color #4A148C 21.08 20.87

D1 #4A148C 22.82 22.62

Color #BF360C 29.16 28.96

Color #F44336 30.01 29.81

D4 #F44336 30.78 30.57

Color #FF5722 33.12 32.92

D5 #FF5722 33.98 33.77

Color #3F51B5 38.21 38

D5 #3F51B5 39.46 0.39

Color #3F51B5 48.03 8.97

D2 #3F51B5 49.02 9.95

Color #03A9F4 52.08 13.02

D0 #03A9F4 53.79 14.73

Color #FFEB3B 63.38 24.32

D3 #FFEB3B 64.08 25.02

Color #FFCCBC 72.95 33.88

D4 #FFCCBC 73.76 34.7

Color #C8E6C9 81.66 3.74

D5 #C8E6C9 83.44 5.53

End #C8E6C9 89.15 11.24

(指標 1-3)畫稿顏色使用頻次

(1)操作定義：畫稿冷暖中性色調使用頻次，畫稿所有涂色區域最終選定的顏色的色調使用頻次。畫稿所有涂色區域最終選定的顏色即一幅畫稿最終呈現出的所有涂色區域顏色。

(2)計算方法：根據原始數據確定每幅畫稿各區域最終填涂顏色；統計每幅畫稿各區域二十七種顏色使用頻次；確定各顏色的所屬色調；將顏色使用頻次累加到所對應的色調的總頻次中，確定一幅畫稿冷暖中性色調顏色使用頻次。

(3)具體計算代碼：第一步根據原始數據確定每幅畫稿各個涂色區域的最終填涂顏色，首先對畫稿各個涂色區域進行分組，其次記錄該涂色區域中每次涂色操作，最后確定每個涂色區域最終涂色操作。

第二步音樂畫板中共有二十七種不同的顏色，統計每幅畫稿每個涂色區域二十七種顏色使用頻次。

#最終的顏色種類數

ret['colortypecntkeep'] = len(color_type_unt_keep)

#涂色前后詬色種乘數玉化

ret['colortypechangecnt"] = ret["color—type—OTt—keep*] if '#FFFFFF' in colortypecntkeep:

#未涂色區域數

ret['nocolorcnt'] = len(color_type_cnt_keep['#FFFFFF'])

else:

ret['no_color_cnt'] = 0

for color in color_list:

#最終每種顏電師使用坎數

if color in colortypecntkeep:

ret['color_type_cnt_keep_' + color] =len(color_type_cnt_keep[color]) else:

ret['color_type_cnt_keep_' + color] = 0

圖 4-5 顏色使用頻次計算代碼

第三步確定每種顏色的所屬色調：判斷已有的二十七種顏色 RGB 是否能對應到 HSV 顏色空間的十種顏色中，依據冷暖中性色調分類，確定每種顏色的所屬色調。HSV(Hue, Saturation, Value)是根據顏色的直觀特性由A. R. Smith在1978 年創建的一種顏色空間，也稱六角錐體模型(Hexcone Model)。H參數表示色彩信息，即所處的光譜顏色的位置。該參數用一角度量來表示，紅、綠、藍分別相隔 120 度。互補色分別相差 180 度。 S 表示所選顏色的純度和該顏色最大的純度之間的比率，范圍從 0 到 1。 V 表示色彩的明亮程度，范圍從 0 到 1。 HSV 模型中的 V 軸對應于 RGB 顏色空間中的主對角線。

Hue

圖 4-6 HSV 顏色空間模型

將 HSV 顏色空間沿著錐形體的軸線展開劃分為黑、白、灰、紅、橙、黃、

綠、青、藍、紫 10 種顏色范圍。每種顏色的 H、 S、 V 的最大最小值范圍如下。

黑灰白纟橙黃綠主冃皿紫

hmin 0 0 0 0 156 0 156 11 26 35 78 100 125

hmax 180 180 180 10 180 10 180 25 34 77 99 124 155

smin 0 0 0 43 43 31 43 31 43 31 43 31 43 31 43 31

smax 255 43 30 255 255 255 255 255 255 255 255 255 255 255 255 255 255

vmin 0 46 221 46 221 46 221 46 221 46 221 46 221 46 221 46 221

vmax 46 220 255 220 255 220 255 220 255 220 255 220 255 220 255 220 255

圖4-7 HSV顏色空間十種顏色范圍

把二十七種顏色的 RGB 值分別匯總到 R,G,B 三列數組中，依次抽取出每種

顏色，并填充100*100的圖片。然后計算出圖片中HSV顏色空間的10種顏色的

像素個數，判斷二十七種顏色分別屬于HSV顏色空間十種顏色范圍的哪一種。

圖 4-8 圖片中顏色像素個數計算代碼

根據冷暖中性色調分類，將 HSV 顏色空間的 10 種顏色分為：紅色、橙色、黃色（暖色調）；綠色、藍色、紫色、青色（冷色調）；黑色、白色、灰色（中性色調）oflag就表示當前顏色屬于哪種色調，flag=1表示暖色調，2表示冷色調， 3 表示中性色調。

Warm = Yellov/Count + RedCount + OrangeCount

Cool = VioletCount + BlueCount + GreenCount + CyanCount Neural = BlackCount + GrayCount + WhiteCount current = Warm

flag = 1

if Cool > current:

current = Cool

flag = 2

if Neural > current:

current = Neural

flag = 3

圖 4-9 顏色色調計算代碼

第四步將 27 種顏色使用頻次累加到所對應的色調的總頻次中，從而確定一幅畫稿冷暖中性色調的使用頻次。 ans_list_1、ans_list_2 和 ans_list_3 分別表示暖色調、冷色調、中性色調的頻次。

df=pd.read_csv('v4_result_287_english.csv')header=Nonejencoding='unicode_escape') ans_list_l =[]

ans_list_2 =[]

ans_list_3 =[]

■For i in tqdm(df.values):

ent = [0, 0, 0, 0]

for j in range(27): idx = i[j + 19] flag = hue_rgb(r[idx]t g[idx], cnt[flag] = ent[flag] + 1 ans_list_l.append(cn) ans_list_2.append(cnt[2]) ans_list_3.append(ent[3])

圖 4-10 畫稿冷暖中性色調顏色使用頻次計算代碼

(4)具體畫稿舉例：由上圖得知畫稿D0區域涂了中等程度的淺藍色，D1 區域涂了深紫色， D2 區域涂了中等程度的藍色， D3 區域涂了中等程度的黃色，

D4 區域涂了淺橙色， D5 區域涂了淺綠色。

表4-5被試畫稿三各涂色區域結果

D0 D1 D2 D3 D4 D5

#03A9F4 #4A148C #3F51B5 #FFEB3B #FFCCBC #C8E6C9

根據二十七種顏色的編號得知，在被試畫稿三各區域涂色中顏色 5、7、12、 13、15、20 各使用一次。其中顏色 5、12、13、20 為冷色調，顏色 7、15 為暖色調。因此，被試畫稿三涂色區域主要使用暖色調顏色和冷色調顏色，其中暖色調

顏色的使用頻次是 2，冷色調顏色的使用頻次是 4。

表 4-6 被試畫稿三各區域顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 0 0 0 0 1 0 1 0 0 0 0 1 1 0

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 1 0 0 0 0 1 0 0 0 0 0 0 0

表 4-7 畫板顏色對應的色調

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

顏色范圍紅紫藍綠黃紅灰白紅紫藍綠

色調暖冷冷冷冷暖暖中中暖冷冷冷冷

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

顏色范圍黃紅紅灰紅紫藍藍橙紅紅黑

八、、

色調暖暖暖中暖冷冷冷冷暖暖暖中

表 4-8 被試畫稿三冷暖中性色調顏色使用頻次

色調暖色調冷色調中性色調

頻次 2 4 0

（指標 4-30）首次涂色

（1）操作定義：首次涂色即所有區域的所有涂色操作中，按時間排序最早的填涂顏色。

（2）計算方法：第一步讀取每名被試每張畫稿的原始數據，確定每個涂色區域下的所有涂色操作。第二步找出最早的那次涂色，即首次選定顏色。

（3）具體計算代碼：

ret [1 f irst_color' ] = group[3] [paint_rec[O] [1] [0] ] # ft涂色操作頃色

圖 4-11 首次涂色代碼

（4）具體畫稿舉例：從被試畫稿三的原始數據中獲取被試完成該畫稿涂色的首次選擇顏色為深藍色。

（指標31）首次選定顏色的色調

（1）操作定義：首次選定顏色即所有區域不再修改的最后一次涂色操作中，按時間排序最早的區域填涂顏色。根據冷暖中性色調分類，確定首次選定顏色的所屬色調。

（2）計算方法：讀取每名被試每張畫稿的原始數據，確定每個涂色區域下的所有涂色操作；確定每個涂色區域的最后一次涂色操作，若某個區域沒有涂色操作，說明這個區域沒有涂色；將每個區域最后一次涂色操作按時間排序，找出最早的那次涂色，即首次選定顏色；根據27種顏色對應的色調，確定首次選定

顏色的色調。

（3）具體計算代碼：每次涂色操作代碼和每個區域的最終涂色操作代碼與指標 1 部分相同。

last_color_pos. sort（） #最終涂色操作排序

圖 4-12 最終涂色操作時間排序代碼

（4）具體畫稿舉例：根據原始數據確定每個區域涂色操作。其中涂色區域

D1、D3、D4、D5經過顏色修改。確定每個區域最終涂色操作，畫稿D0區域的最終涂色是中等程度的淺藍色，D1區域的最終涂色是深紫色，D2區域的最終涂色是中等程度的藍色，D3區域的最終涂色是中等程度的黃色，D4區域的最終涂色是淺橙色， D5 區域的最終涂色是淺綠色。將每個涂色區域的最后一次涂色操作按照時間排序，所以首次選定的顏色是深紫色。根據27種顏色色調分類，首次選定顏色的色調為冷色調。

表 4-9 按時間排序的各涂色區域的最終涂色操作結果

區域 D1 D2 D0 D3 D4 D5

顏色 #4A148C #3F51B5 #03A9F4 #FFEB3B #FFCCBC #C8E6C9

時間 22.82s 49.02s 53.79s 64.08s 73.76s 83.44s

（指標32）涂色區域顏色差異

（1）操作定義：所有涂色區域之間最小空間距離之和。

（2）計算方法：將各涂色區域最終結果存儲在data中。在指標1的計算方法中，將得到的每個涂色區域最后的顏色并保存在data中；計算每張畫稿涂色區域中兩兩顏色之間的歐幾里得距離，并產生最小生成樹算法可使用的數據格式；使用最小生成樹算法處理每張畫稿。對顏色對進行排序，每次選出距離最近的顏色對。

（ 3 ）具體計算代碼：畫稿的所有涂色區域個數是大于兩個的，若隨機選定一個初始區域，計算剩下的區域和初始區域的顏色差異并相加，所得的和作為所有涂色區域的顏色差異。此種方法下，選定不同的初始區域會得到不同的最終結果。避免此種情況，選用最小生成樹算法，即最小的距離總和下聯通所有涂色的區域，最終取值是唯一的。

最小生成樹：在一給定的無向圖 G = (V, E) 中， (u, v) 表示連接頂點 u 與頂點 v 的邊(即)，而 w(u, v) 表示此邊的權重，若存在 T 為 E 的子集(即)且為無循環圖，使得的 w(T) 最小，則此 T 為 G 的最小生成樹。

圖 4-13 最小生成樹算法

第一步將各涂色區域最終結果存儲在 data 中，代碼中的 area_10_list， area_0_list， area_1_list， area_2_list， area_3_list， area_4_list， area_5_list， area_6_list

分別代表：涂色區域個數N、涂色區域0顏色、涂色區域1顏色、…、涂色區域

6 顏色。

area_10_list.append(ent) 表示涂了幾個區域|

area_9_list. append (after_color*_index [0 ])

area_l_list.append(after_color_index[1])

area_2_list. append (af ter_color*_index [ 2 ])

area_3_list.append(after_color_±ndex[3])

area _j4-_list. append (after_color_index [4])

area_5_list.append(after_color_index[5])

area_6_list.append(after_color_±ndex[6])

data_frame = {'area_10_lis: pd.Series(area_10_list)j 'area_0_list 'area_l_listr : pd.Seriesfarea l list), 'area_2_list' 'area_3_lis: pd.Series(area_3_list)'area_4_lis 'area_5_list' : pd.Series(area_5_list)j 'area_6_list' data = pd.DataFrame(data_frame)

圖 4-14 涂色區域顏色計算代碼

第二步計算每張畫稿涂色區域中兩兩顏色之間的歐幾里得距離，并產生最小生成樹算法可使用的數據格式。

212計JI任倉兩種顏色的歐幾里得頤

213def cal(catel, cate2):

214a = sqrt(r[catel]-r[cate2])**2+(g[catel]-g[cate2])**2+(b[catel]-b[cate2])**2)

215return Decimal(a).quantize(Decimal("0.001"), rounding="ROUND_HALF_UP,')

圖 4-15 歐幾里得距離函數定義

第三步使用最小生成樹算法處理每張畫稿，對于一張畫稿，讀入這張畫稿的

數據，存儲下每個顏色和其他顏色的距離。對顏色對進行排序，每次選出距離最

近的顏色對，然后用并查集判斷這兩種顏色是否已經聯通，若已經聯通，就繼續

遍歷后面的邊，若沒有聯通，就在并查集中記錄下這兩種顏色，最后總的距離加

上這兩個顏色對的距離。

（2）計算方法：第一步對原始畫稿進行分界線處理即去除有色底稿的背景色，同時將畫稿的分界線寬度修正調整為 1，使得畫稿分界線圓滑且連續。第二步標記每個涂色區域中某個點的位置坐標，每段分界線的起點與終點的位置坐標。第三步計算每段分界線長度。第四步計算整幅畫稿所有相鄰區域分界線總長度。

第五步計算每對相鄰區域的兩種顏色 RGB 空間距離。第六步計算整幅畫稿相鄰區域顏色差異。

(3)具體計算代碼：第一步對原始畫稿進行分界線處理，原始畫稿放大后所有的邊界線過寬不夠清晰，需手動對所有原始畫稿邊界線進行清晰處理。用 python 程序對畫稿圖片進行初步處理，將線的寬度基本改成 1。方法：首先掃描每行像素，對于連續一段不是背景色的像素，找中間位置的一個像素點標記保留。然后掃描每列像素，對于連續一段不是背景色的像素，如果其中包含了行掃描標記的保留點，忽略這段連續像素；否則找中間位置的一個像素點標記保留。最后

將所有標記保留的像素點涂色成黑色，其它點涂色成白色。

修正畫稿的所有分界線。分界線滿足寬度為 1，連續，且除了分界線交叉點

外一個黑色像素周圍 8 個像素只能有兩個黑色像素，將這條線向兩個方向延長。

第二步標記每個涂色區域中某個點的位置坐標，每段分界線的起點與終點的位置坐標。以練習畫稿為例，如下表所示。其中x表示寬度坐標，y表示高度坐標。兩點確定一線，分界線的起點為第一個和第二個像素點，分界線的終點為倒數第一個和第二個像素點。

表4-10區域中某點坐標

畫稿編號區域名稱區域編號某點寬度坐標X 某點高度坐標Y

0 D0 0 141 137

0 D1 1 367 68

0 D2 2 398 303

0 D3 3 121 394

0 D4 4 461 570

第三步計算每段分界線長度。

第四步計算整幅畫稿所有相鄰區域分界線總長度，假設有k條分界線，長度為Xi，X2，…,xk，分界線總長度為X = Xi+X2+- + Xk。

第五步計算每對相鄰區域的兩種顏色 RGB 空間距離，首先將顏色 RGB 值

16 進制轉化為 10 進制，然后根據 RGB 空間距離計算公式得出。假設分界線

xt（i = 1,2, 兩側區域顏色為（兀,少,仏）和（Ri，Gi，Bj,每對相鄰區域的兩種顏

色差異為d： = J（兀—R［）2 + （g： — G）2 + （bi — B［）2，就是兩種顏色在RGB空間上的距離。

106 #兩個RGB顏色計算距離

107 def color_dis_rgb( color_l? color_2):

return ((get_red(color_l) - get_red(color_2)) ** 2

+ (get_green(tolor_l)? get_green(color_2)) ** 2

+ (get_blue(color_l) - get_blue(color_2)) ** 2) ** 0.5

圖 4-25 color_dis_rgb()函數定義

第六步計算整幅畫稿相鄰區域顏色差異。整幅畫稿的相鄰區域顏色差異計算

方法為1(X1d1+X1d1 + - + Xkdk),就是按分界線長度加權平均每一對相鄰區

域的顏色差異，來表示整體的相鄰顏色差異程度。

ret['color_edge_diff'] = 0

edge_sum = 0

for i in img edge[ret['img_id']]:

edge_sum += float(i[5])

key_name_l = 'block_color_keep_I* + str(i[0]) + + str(i[2])

if key_name_l in ret:

color_l = ret[key_name_l]

else:

color_l = img_area[ret['img_id']][，X,+str(i[2])][4]

key_name_2 = * block_color_keep_I* + str(i[0]) + 'D' + str(i[3]) if key_name_2 in ret:

color_2 = ret[key_name_2]

else:

color_2 = img_area[ret['img_id']][，X'+str(i[3])][4]

ret['color_edge_diff'] += float(i[5]) * color_dis_rgb(color_l, color_2) ret['color_edge_diff'] /= edge_sum

圖 4-26 相鄰區域顏色差異計算代碼

4)具體畫稿舉例：畫稿三共有 42 條分界線，見下表 4-11。

表 4-11 畫稿各相鄰區域分界線長度

因此，分界線總長度為 7018.811035，距離*長度累計為 1447380.279，整幅

畫稿相鄰顏色差異為 206.2144532。

（指標 34）涂色區域主色調

（1）操作定義：在涂色區域面積中，冷暖中性三種色調占比面積最大的色調。

（2）計算方法：第一步用廣度優先搜索算法計算畫稿各涂色區域面積。第二步分別保存畫稿一和畫稿三各涂色區域面積，根據 27 種顏色色調，計算所有涂色區域冷暖中性色調像素個數。第三步判斷三種色調何種色調的像素總數最多，即為涂色區域的主色調。

（3）具體計算代碼：第一步用程序統計每個區域所在的白色區域像素數。

區域面積比例=區域像素數/白色總像素數。找到每個區域中的某一個像素坐標作

為起點，使用廣度優先搜索方法向上下左右4個方向找連續區域，計算面積，遇

到黑色像素或邊界停止搜索。

第二步計算所有涂色區域冷暖中性色調像素個數。 area_1_cnt 為一個數

組，例如：數組中第2個值表示畫稿一第2個區域的涂色面積，area_3_cnt為一個數組，例如：數組中第2個值表示畫稿3第2個區域的涂色面積。畫稿一各個區域最終涂色，設置所有涂色區域暖色調的像素個數是cnt[1]，冷色調的像素個數是cnt[2]，中性色調的像素個數是cnt[3]，根據指標1中的涂色計算出來了 27 種顏色每種顏色對應的色調，把區域面積加入到對應的色調中。

圖4-29畫稿各涂色區域面積圖4-30每種色調的區域總面積計算代碼

第三步判斷涂色區域的主色調。畫稿一和畫稿三涂色區域的個數不同，各涂色區域面積不同。

（4）具體畫稿舉例：用廣度優先搜索算法計算出畫稿三各涂色區域面積，結果如下。

表 4-12 畫稿三各涂色區域面積

編號 D0 D1 D2 D3 D4 D5 X6

像素面積 12570 62274 6990 8300 9313 12183 19843

編號 X7 X8 X9 X10 X11 X12 X13

像素面積 23599 41510 4782 13456 6934 2230 9427

編號 X14 X15 X16 X17 X18 X19 X20

像素面積 30133 15542 22295 20044 16538 11167 9901

由于畫稿 D0 區域的最終涂色是中等程度的淺藍色， D1 區域的最終涂色是深紫色， D2 區域的最終涂色是中等程度的藍色， D5 區域的最終涂色是淺綠色，都屬于冷色調；D3區域的最終涂色是中等程度的黃色，D4區域的最終涂色是淺橙色，屬于暖色調。暖色調總像素面積為 17613，而冷色調總像素面積為 94017。冷色調總像素面積大于暖色調總像素面積。因此，被試畫稿主色調為冷色調。

（指標 35）畫稿平均色調

（1）操作定義：整幅畫稿所有像素平均 RGB 值所對應的色調。

（2）計算方法：第一步獲取每張畫稿每個像素的 RGB 值，將所有像素的 RGB 總值除以畫稿總面積得到整幅畫稿所有像素平均 RGB 值。第二步運用指標 1 中的方法判斷 RGB 值對應的色調。

（3）具體計算代碼：第一步計算整幅畫稿所有像素平均 RGB 值。

for file_name in tqdm(file_names): features =[] picPath = os.path.joinCpath^ file_name) img = cv2.imread(picPath) b, g, r = cv2.split(img) R, G, B = np.mean(r), np.mean(g), np.mean(b)

圖4- 33每個像素RGB值的計算代碼圖4-34整幅畫稿平均RGB值計算代碼

(4)具體畫稿舉例：根據代碼計算出被試畫稿三整幅畫稿所有像素平均

RGB 值為(133.71,111.35,123.53)。由畫稿的平均 RGB 值得出其對應的顏色為灰

色。灰色屬于中性色調，因此畫稿平均色調為中性色調。

表4-13被試畫稿三平均色調

畫稿平均RGB值畫稿平均RGB對應顏色畫稿平均色調

(133.71,111.35,123.53) 灰色中性色調

(指標 36 )涂色區域平均亮度

(1)操作定義：涂色區域所有像素的亮度和除以涂色區域總面積。

(2)計算方法：第一步計算涂色區域的平均 RGB 值。第二步根據亮度公式，計算涂色區域平均亮度。梁麗(2016)的研究中提到單個像素的亮度計算公式為： Y = 0.299R + 0.587G + 0.114B[梁麗.一種Android開發中的圖像數據流量控制與緩存技術研究[J].電子設計工程,2016,24(17):164-1 66.

57]。

(3)具體計算代碼：第一步獲取涂色區域的平均 RGB 值。對于所有涂色區域，用 RGB 值中紅色、綠色、藍色的數值(在 0~255 之間)，按區域面積加權，

計算平均值。假設畫稿有n個涂色區域，面積分別為Si、S2、…、S”，顏色分別為(Ri, G], Bi)、(R2, G2, B2)……、(Rn，Gn，Bn)。涂色區域總面積 X = Si + S2+- +

S”。涂色區域紅色均值：R =〒(S]Ri + S2R2+…+ S”Rn),涂色區域綠色均值：

G = £(SiGi + S2G2+ ••• + SnGn),涂色區域藍色均值：B = 2(SiBi + S2B2+ ••• + A A

ret[ * red_avg^_colorr ] = 0 ret[* green_avg_color']=( ret[* blue_avg^color'] = 0

for pos in range(ret['img_block_num']): block_name = block_id2name(ret['img_id'], pos) if len(block_rec[pos]) 1= 0:

block_pix_sz = int(img—arealretrimLicT ] ][block_name[2: ] ] [2])

ret['red ava color'] += get_red(group[3][block_rec[pos][-1][0]]) * block_pix_sz

ret['green—avg^color"] += get_green(group[3][block_rec[pos][-1][0]]) * block_pix_sz ret['blue avg color'] += get_blue(group[3][block_rec[pos][-1][0]]) * block_pix_sz

ret['red avg color'] /= img_info[ret['img_id']][&] #涂fe區域紅色均值 ret [' green_avg_color' ] /= img_info[ret [' img_id' ]][6] #涂E E綠色度均值 ret['blue_avg_color*' ] /= img_ir»fo[ret['img_id' ]][6] #涂色區域藍色均值

圖 4-35 涂色區域紅色、綠色、藍色均值計算代碼

（4）具體畫稿舉例：計算出涂色區域的平均RGB值為（107.626,94.853,15

8.917）。根據研究中的亮度計算公式得出涂色區域平均亮度為105.975。

表 4-14 被試畫稿三涂色區域平均亮度

涂色紅色均值涂色綠色均值涂色藍色均值平均亮度

107.626 94.853 158.917 105.975

（指標 37-39 ）畫稿情緒 PAD 值

（1） PAD情緒理論定義：Mehrabian （1994）提出PAD情緒理論，其中P 表示愉悅度（pleasure-displeasure），用來代表情緒狀態的積極或消極方向；A表示喚醒度（arousal-nonarousal）,用來代表情緒狀態下生理活動和心理喚醒水平的高低差異；D表示優勢度（dominance-submissiveness），用來代表個體對他人和外界環境的控制力和影響力。根據每個維度的高低兩極組合，情緒可分為8類分別是+P+A+D （如高興）、-P-A-D （如悲傷）、+P+A-D （如驚訝）、-P-A+D （如不感興趣）、+P-A+D （如滿足）、-P+A-D （如恐懼）、+P-A-D （如受保護的）、-P+A+D

（如憤怒）。在一幅畫中通過亮度和飽和度的組合來表達PAD情緒，P、A、D的范圍在（-1， +1），公式如下： Pleasure = 0.69 Brightness + 0.22 Saturation， Arousal = - 0.31 Brightness + 0.6 Saturation，Dominance = - 0.76 Brightness + 0.32 Saturation[of Color on Emotions[J]. Journal ofExperimental Psycholog

y: General,1994,123(4):394-409.

58]。

（2）計算方法：第一步調用pythonCV2庫得到整張畫稿的HSV值，在HSV 顏色模型中，H表示色相，S表示飽和度，V表示明度也稱亮度。即可得到整幅畫稿的亮度值和飽和度值。第二步根據Mehrabian （1994）中情緒PAD的計算公式得出 P、 A、 D 的值。

（3）具體計算代碼：第一步運用pythonCV2庫計算整幅畫稿的HSV值。

圖 4-36 整張畫稿的 HSV 值計算代碼

(4)具體畫稿舉例:調用pythonCV2庫得到整幅畫稿的HSV值分別是97.72、

169.15、 182.86。根據畫稿情緒 PAD 計算公式得出 PAD 值分別為 0.641、 0.176、

-0.333。

表 4-15 被試畫稿三情緒 PAD 值

畫稿H 畫稿 S 畫稿V P A D

97.72 169.15 182.86 0.641 0.176 -0.333

(指標 40)作畫時長

(1)操作定義：被試從開始首次涂色操作到完成畫稿最后一個區域涂色操作的時長。

(2)計算方法：整理原始數據中每張畫稿作畫時長的記錄數據。

(3)具體計算代碼：在每名被試的原始 csv 文件中獲取每張畫稿作畫時長的記錄數據。

184蓿分析一張畫稿的一次涂色數據，group是愉入的csv實驗數據

185#file_name是原始數據的csv文件名，dir_num®方案號，group_id罡涂色次數的編號

186希將返回的結果append到group這個list的贏后

187def analyze one(group, file name, dir num, group id):

188ret?{} #這次實驗的數if特征

189ret[ 'name' ] - file_name[:file_name.find(#姓名

190ret['id'] ■ order_dic[ret['name']] * 10 + group_id *ID

191ret[ 'dir_num' ] - dir_num #方案號

192ret[' img_id' ] - int(group[0][0]) #?稿號

193#畫稿類型

194ret['have_pre_color_type'] ■，無色底稿’if ret['img_id'] < 3 else，有色底稿’

195ret[ 'music_type']?if retf'img id' ] -■ 0 else group[0][l][0]宿樂類型

196#音樂類型境號

197ret['music_id'] - group[0][l] - 'Aquarium* if ret['img id'] ■- 0 else group[0][l][l]

198ret['total_draw_time'] ■ float(group[0][2][:-1]) #涂色總時何

199operator_num - len(group[l]) - 1 岸記錄獨作總數

200while operator_num >■ 0 and group[l][operator_num] ■■ '' and group[2][operator_num] ■■''

201and group[3][operator_num] — '' and group[4][operator_num] -» ''

202and group[5][operator_num] ― '' and group[0][operator_num] -■'':

203operator_num -- 1

204ret['img_block_num' ] - img_block_num[int(ret[ "im^id' ])] #畫稿涂色區域數

圖 4-37 獲取原始數據基本信息代碼

(4)具體畫稿舉例：從被試畫稿三的原始數據中獲取被試完成該畫稿涂色的作畫時長為89.15s，原始數據中“End”對應的時間即為作畫時長。

三．數據挖掘

在決策樹模型的數據挖掘過程中，主要包括以下環節：篩選有效特征屬性、建構決策樹模型和對建構的決策樹模型驗證。

1. 篩選有效特征屬性

篩選出對判斷音樂類型有幫助的關鍵特征屬性，即從構建的四十個評價畫稿的數據指標中篩選出與音樂類型關聯程度較高的指標，這個屬性特征選擇的過程對構建決策樹模型來說是至關重要的。四十個評價畫稿的數據指標看做判斷音樂類型的特征屬性X值，音樂類型可看做Y值。確定屬性特征可通過相關性分析、人工判斷、對決策樹模型建構探索等等方法進行篩選剔除。在相關性分析中，相關系數作為判斷變量與變量之間關聯程度的重要衡量指標。相關關系雖不能直接等同于因果關系，卻可以為了解變量與變量之間的關系提供有效的信息。決策樹模型中各指標特征重要程度系數也是衡量指標是否對構建決策樹模型起作用的關鍵因素。在對決策樹模型建構的探索過程中，將特征重要程度系數過于低的指標剔除，從而提高決策樹模型的準確率。

根據相關性分析的結果，“首次選定顏色的色調”、“涂色區域顏色差異”、“涂色區域主色調”、“畫稿平均色調”、“畫稿情緒PAD值”、“首次選定顏色時長” 六個指標與音樂類型未達到顯著相關，將此六個指標剔除。“暖色調顏色使用頻次”、“冷色調顏色使用頻次”、“中性色調顏色使用頻次”、“相鄰區域顏色差異”、 “涂色區域平均亮度”、“作畫時長”與音樂類型之間具有顯著相關性，均為弱相關。根據卡方檢驗結果，在“首次涂色”中有十七種顏色與音樂類型之間相互獨立，將此十七個指標剔除。通過人工判斷，“作畫時長”可能受被試個人特質和被試對屏幕觸屏操作熟練程度的影響，作畫時間的長短并非完全受音樂類型的影響，故將其剔除。此外，通過決策樹模型構建探索，發現“相鄰區域顏色差異”

這一指標的特征重要程度系數較低，故將其剔除。因此最終用于決策樹模型分析

的屬性特征包括“暖色調使用頻次”、“冷色調使用頻次”、“中性色調使用頻次”、

“涂色區域平均亮度”和“首次涂色”中的十種顏色，共計十四個指標。

表 4-16 音樂類型與指標之間的顯著相關性

暖色調顏色使用頻次冷色調顏色使用頻次中性色調顏色使用頻次相鄰區域顏色差異涂色區域平均亮度作畫時長

音樂相關系數 Sig.( -0.08** 0.14** -0.09** -0.08** 0.23** 0.07**

類型

0.002 0.000 0.000 0.002 0.000 0.005

雙尾)

表 4-17 首次涂色為淺藍色與音樂類型的交叉表

首次涂色為淺藍色總計 x2 P

是否

悲傷 21(22.83%) 300(20.11%) 321 20.27%)

憤怒 7(7.61%) 311(20.84%) 318( 20.08%)

音樂恐懼 6(6.52%) 308(20.64%) 314( 19.82%)

19.76%) 43.243 0.000

類型快樂 18(19.57%) 295(19.77%) 313(

平和 40(43.48%) 278(18.63%) 318( 20.08%)

總計 92 1492 1584

表 4-18 首次涂色為紅色與音樂類型的交叉表

首次涂色為紅色總計 x2 P

是否

悲傷 21(20.19%) 300(20.27%) 321 (20.27%)

憤怒 34(32.69%) 284(19.19%) 318(20.08%)

音樂恐懼 15(14.42%) 299(20.20%) 314(19.82%) **

類型快樂 22(21.15%) 291(19.66%) 313(19.76%) 14.614 0.006**

平和 12( 11.54%) 306(20.68%) 318(20.08%)

總計 104 1480 1584

表 4-19 首次涂色為深紅色與音樂類型的交叉表

首次涂色為深紅色總計 x2 P

是否

悲傷 18(15.25%) 303(20.67%) 321 (20.27%)

憤怒 40(33.90%) 278(18.96%) 318( 20.08%)

音樂恐懼 30(25.42%) 284(19.37%) 314( 19.82%)

22.792 0.000**

19.76%) 22.792 0.000

類型快樂 17(14.41%) 296(20.19%) 313(

平和 13( 11.02%) 305(20.80%) 318( 20.08%)

總計 118 1466 1584

表 4-20 首次涂色為綠色與音樂類型的交叉表

首次涂色為綠色總計 x2 P

是否

悲傷 16(16.33%) 305(20.52%) 321 (20.27%)

憤怒 15(15.31%) 303(20.39%) 318(20.08%)

音樂恐懼 12(12.24%) 302(20.32%) 314(19.82%) *

類型快樂 25(25.51%) 288(19.38%) 313(19.76%) 12.535 0.014*

平和 30(30.61%) 288(19.38%) 318(20.08%)

總計 98 1486 1584

表 4-21 首次涂色為黃色與音樂類型的交叉表

首次涂色為黃色總計 x2 P

是否

悲傷 22(16.54%) 299(20.61%) 321 (20.27%)

憤怒 17(12.78%) 301(20.74%) 318(20.08%)

音樂恐懼 29(21.80%) 285(19.64%) 314(19.82%) **

類型快樂 41(30.83%) 272(18.75%) 313(19.76%) 14.426 0.006**

平和 24(18.05%) 294(20.26%) 318(20.08%)

總計 133 1451 1584

表 4-22 首次涂色為灰色與音樂類型的交叉表

首次涂色為灰色總計 x2 P

是否

悲傷 16(36.36%) 305(19.81%) 321 20.27%)

憤怒 10(22.73%) 308(20.00%) 318( 20.08%)

音樂恐懼 11(25.00%) 303(19.68%) 314( 1199..8726%%)) 13.571 0.009**

類型快樂 2(4.55%) 311(20.19%) 313(

平和 5(11.36%) 313(20.32%) 318( 20.08%)

總計 44 1540 1584

表 4-23 首次涂色為深藍色與音樂類型的交叉表

首次涂色為深藍色總計 x2 P

是否

悲傷 16(26.67%) 305(20.01%) 321 (20.27%)

憤怒 10(16.67%) 308(20.21%) 318( 20.08%)

音樂恐懼 20(33.33%) 294(19.29%) 314( 1199..8726%%)) 17.774 0.001**

類型快樂 1 (1.67%) 312(20.47%) 313(

平和 13(21.67%) 305(20.01%) 318( 20.08%)

總計 60 1524 1584

表 4-24 首次涂色為深棕色與音樂類型的交叉表

首次涂色為深棕色總計 x2 P

是否

悲傷 1 (4.35%) 320(20.50%) 321 (20.27%)

憤怒 7(30.43%) 311(19.92%) 318(20.08%)

音樂恐懼 9(39.13%) 305(19.54%) 314(19.82%) *

類型快樂 5(21.74%) 308(19.73%) 313(19.76%) 11.476 0.022*

平和 1(4.35%) 317(20.31%) 318(20.08%)

總計 23 1561 1584

表 4-25 首次涂色為黑色與音樂類型的交叉表

首次涂色為黑色總計 x2 P

是否

悲傷 20(28.57%) 301(19.88%) 321 20.27%)

憤怒 8(11.43%) 310(20.48%) 318( 20.08%)

音樂恐懼 34(48.57%) 280(18.49%) 314( 19.82%)

19.76%) 50.731 0.000

類型快樂 3(4.29%) 310(20.48%) 313(

平和 5(7.14%) 313(20.67%) 318( 20.08%)

總計 70 1514 1584

表 4-26 首次涂色為深橙色與音樂類型的交叉表

首次涂色為深橙色總計 x2 P

是否

悲傷 14(24.56%) 307(20.10%) 321 20.27%)

憤怒 19(33.33%) 299(19.58%) 318( 20.08%)

音樂恐懼 11(19.30%) 303(19.84%) 314( 19.82%) 11.217 0.024*

19.76%) 11.217 0.024

類型快樂 9(15.79%) 304(19.91%) 313(

平和 4(7.02%) 314(20.56%) 318( 20.08%)

總計 57 1527 1584

2.決策樹模型建構過程

選擇“暖色調使用頻次”、“冷色調使用頻次”、“中性色調使用頻次”、“涂色區域平均亮度”和“首次涂色”中的十種顏色，共十四個屬性特征作為X值，音樂類型作為因變量 Y 值。根據 Anaconda3 軟件的 Pycharm 編譯器來寫 python3 代碼。 Anaconda 是開源的 python 包管理器， Scikit-learn 是 python 的機器學習庫。在 pycharm 編輯器中調用 sklearn 0.23.2 的“DecisionTreeClassifier”（即決策樹分類器）來根據屬性特征對音樂情緒類型構建和學習決策樹模型。

研究在 Python 軟件中進行語言的輸入與結果分析，整個建構過程主要包括調用 python 工具包、數據的讀入、模型建構、建構的模型可視化結果和保存四個步驟，詳細步驟如下：

①調用 python 工具包：從 sklearn.tree 中調用 DecisionTreeClassifier,export_g raphviz,調用 pydotplus、csv、os、pickle、random> xlrd。

②數據讀入過程：在pycharm中運用Python語言，寫入相應代碼對所有畫稿一和畫稿三的數據分別進行數據讀取寫入和數據提取。在這個過程中會分別把畫稿一和畫稿三數據的一部分樣本數據劃分為訓練集，另一部分樣本數據劃分為測試集，以此驗證所構建決策樹模型的準確率。對訓練集和測試集進行劃分方法一般來說有兩種，一種劃分方法是對訓練集和測試集進行樣本數量的指定，另一種劃分方法是按照比例對訓練集和測試集進行劃分，訓練集和測試集劃分的比例可以依據樣本數量的多少自行設置。一般來說訓練集的樣本數量多，測試集的樣本數量少。本研究將畫稿一和畫稿三的數據分開，分別進行決策樹模型的建構。畫稿一和畫稿三的樣本數據大概800張，數據量較小，在測試集和訓練集劃分比例上采用了 9:1、 9.5:0.5、 9.8:0.2 三種劃分比例方法。模型構建的過程中發現， 9.8:0.2的劃分比例中，模型的準確率更高，更能有效地對音樂情緒類型進行分類。

③模型建構：決策樹模型通過基尼指數和信息增益選擇分裂屬性。決策樹采取貪婪的思想分裂，其在生長的過程中容易出現過度擬合的現象。防止決策樹模型出現過度擬合現象，需要設置最大樹深度。對畫稿一和畫稿三構建的模型最大樹深度設置為 4。

④模型的可視化結果：決策樹模型的可視化主要是通過用Sklearn自帶的 export_graphviz 函數將訓練好的決策樹模型轉換成 Graphviz 格式，用 pydotplus 2.0.2 中的 graph_from_dot_data 將決策樹存儲成圖片格式。決策樹模型構建的特征屬性即為上面確定的十四個指標，預測的目標特征屬性分類與 Y 值的類型水平相同，分為 5 類。

第五章研究結果與分析

一．描述性統計

被試共 396 名學生，每名學生在測試過程從十種測試方案選擇一種，每種測試方案中需填涂兩次畫稿一和兩次畫稿三，因此將畫稿一和畫稿三的測試數據作為分析數據，其中畫稿一填涂數量為 792 張，畫稿三的填涂數量為 792 張，共 1584 張畫稿涂色作品。在 1584 張畫稿涂色作品中，聽悲傷的音樂完成畫稿填涂共 321 張，聽憤怒的音樂完成畫稿填涂共 318 張，聽恐懼的音樂完成畫稿填涂共 314 張，聽快樂的音樂完成畫稿填涂共 313 張，聽平和的音樂完成畫稿填涂共 318 張。

表 5-1 畫稿一和畫稿三的填涂數量

畫稿編號畫稿填涂數量（張）

畫稿一 792

畫稿三 792

總計 1584

表 5-2 不同音樂類型下畫稿填涂數量

音樂類型畫稿填涂數量（張）

悲傷 321

憤怒 318

恐懼 314

快樂 313

平和 318

總計 1584

五種音樂類型（悲傷、憤怒、恐懼、快樂和平和）下首次涂色的二十七種顏

色使用頻次如下表所示。其中悲傷音樂下首次涂色使用頻次最多的顏色為黃色和淺藍色，使用頻次均為 20 次；憤怒音樂下首次涂色使用頻次最多的顏色為深紅，使用頻次為 42 次；恐懼音樂下首次涂色使用頻次最多的顏色為深紅，使用頻次為 32 次；快樂音樂下首次涂色使用頻次最多的顏色為黃色，使用頻次為 39 次；平和音樂下首次涂色使用頻次最多的顏色為淺藍，使用頻次為 38 次。

表 5-3 悲傷音樂下首次涂色顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 9 7 2 20 6 13 8 4 7 19 10 10 21 16

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 20 10 12 16 19 11 16 11 10 11 14 2 17

表 5-4 憤怒音樂下首次涂色顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 6 3 8 7 7 9 12 0 5 32 12 10 20 15

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 16 11 14 8 42 6 10 9 12 9 20 8 7

表 5-5 恐懼音樂下首次涂色顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 6 5 7 7 10 3 12 0 3 16 8 8 18 11

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 27 8 8 12 32 6 21 13 10 12 11 10 30

表 5-6 快樂音樂下首次涂色顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 19 11 10 18 10 11 9 8 3 21 10 5 24 26

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 39 11 8 3 15 6 1 6 4 17 12 3 3

表 5-7 平和音樂下首次涂色顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 10 13 13 38 13 12 7 4 7 12 10 9 32 33

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 23 8 5 6 14 8 13 8 7 6 3 1 3

五種音樂類型（悲傷、憤怒、恐懼、快樂和平和）下畫稿顏色使用頻次如下表所示。悲傷音樂下畫稿顏色使用頻次最多的顏色是黃色，使用頻次為 153 次；憤怒音樂下畫稿顏色使用頻次最多的顏色是紅色，使用頻次為162次；恐懼音樂線下畫稿顏色使用頻次最多的顏色是黃色，使用頻次為160次；快樂音樂下畫稿

顏色使用頻次最多的顏色是黃色，使用頻次為 208 次；平和音樂下畫稿顏色使用頻次最多的顏色是綠色，使用頻次為 191 次。

表 5-8 悲傷音樂下畫稿顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 40 44 45 110 81 60 51 34 16 105 55 70 140 132

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 153 70 63 56 119 62 68 63 70 80 83 47 75

表 5-9 憤怒音樂下畫稿顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 45 49 28 79 58 72 53 25 13 162 81 75 107 121

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 142 91 59 35 159 53 53 58 75 82 85 50 53

表 5-10 恐懼音樂下畫稿顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 57 44 55 93 64 55 51 22 16 86 70 55 106 114

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 160 71 70 52 126 60 60 77 66 72 62 66 118

表 5-11 快樂音樂下畫稿顏色使用頻次

顏色編 1 2 3 4 5 6 7 8 9 10 11 12 13 14

號

頻次 99 87 70 135 109 103 69 31 14 72 64 35 140 175

顏色編 15 16 17 18 19 20 21 22 23 24 25 26 27

號

頻次 208 63 53 21 78 42 25 42 45 108 36 20 12

表 5-12 平和音樂下畫稿顏色使用頻次

顏色編號 1 2 3 4 5 6 7 8 9 10 11 12 13 14

頻次 78 87 78 155 104 91 63 33 28 72 71 66 157 191

顏色編號 15 16 17 18 19 20 21 22 23 24 25 26 27

頻次 138 46 34 30 60 57 55 67 57 94 34 7 24

因此，悲傷的音樂與黃色、淺藍色相關聯；憤怒的音樂與紅色、深紅色相關

聯；恐懼的音樂與黃色、深紅色相關聯；快樂的音樂與黃色相關聯；平和的音樂

與綠色、淺藍色相關聯。

二．根據決策樹模型的數據結果與分析

（一）基于畫稿一的模型建構結果與分析

1．基于畫稿一的模型建構結果

最終基于畫稿一構建的音樂類型策樹分類模型如圖 5-1。根據上圖所示的樹形圖可直接提取出分類的規則。在決策樹的樹形圖中從根節點到葉節點每一條分支都能夠生成出一條決策的分類規則。由圖5-1 可知，共有 15 條分類規則，生成的規則如下：

音樂類型為A （悲傷）的規則集：

首次涂色為淺藍色，涂色區域平均亮度＜123.02,暖色調顏色使用頻次＜3, 中性色調顏色使用頻次= 0。

涂色區域平均亮度＜123.02，冷色調顏色使用頻次＜3， 1＜中性色調顏色使用頻次＜ 2。

88.60V涂色區域平均亮度＜123.02，冷色調顏色使用頻次三4，中性色調顏色使用頻次21。

首次涂色為灰色，涂色區域平均亮度＞123.02，冷色調顏色使用頻次＜1。音樂類型為B （憤怒）的規則集：

首次涂色為非淺藍色，涂色區域平均亮度＜123.02，暖色調顏色使用頻次＜ 3，中性色調顏色使用頻次= 0。

涂色區域平均亮度＜123.02， 4＜暖色調顏色使用頻次＜5，中性色調顏色使用頻次=0。

涂色區域平均亮度＜123.02，暖色調顏色使用頻次26，中性色調顏色使用頻次= 0。

首次涂色為灰色，涂色區域平均亮度＞123.02，暖色調顏色使用頻次＜2，冷色調顏色使用頻次22。

音樂類型為C （恐懼）的規則集：

涂色區域平均亮度＜123.02，冷色調顏色使用頻次＜3，中性色調顏色使用頻

次23。

涂色區域平均亮度＜88.60,冷色調顏色使用頻次24,中性色調顏色使用頻次21。

首次涂色為灰色，涂色區域平均亮度＞123.02,暖色調顏色使用頻次23,冷色調顏色使用頻次22。

音樂類型為D （快樂）的規則集：

首次涂色為非灰色，123.02 V涂色區域平均亮度＜180.78，暖色調顏色使用頻次2 4。

首次涂色為非灰色,涂色區域平均亮度＞180.78,暖色調顏色使用頻次24。音樂類型為E （平和）的規則集：

首次涂色為非灰色，123.02 V涂色區域平均亮度＜191.63，暖色調顏色使用頻次＜3。

首次涂色為非灰色，涂色區域平均亮度＞191.63，暖色調顏色使用頻次＜3。

(01994—2022 China Academic Journal Electronic

draw」ight_avg < 123.02 entropy = 2.321 samples = 772 value = [167,149,149, 156,161] class = E

entropy

2.29

=142

29. 20. 32] :B

color num warm w 3.5

value =

en tropy = 1.237

glue=[9,12,3, 5, 0] class = B

color_num_mid enfropy = 2.233 samples = 309 0, 79, 30,441

(4(LightBlu&_L.#B3E5FC)s 0.5 entropy = 2.2S7 samples = 150 value = [2a 3& 30, 21, 32] class = B

‘ color_num_warm w 5.5、

entropy = 2.007

samples - 62

value = [15, 24,15,6,2]

. class = B

color num cold s 3.5

eriJropys 2.002

.3. 101

:olor_num_mid w 2.5 '

entropy = 1.862

'draw」ight_avg w 8&$96、

entropy = 1.903

‘color_num_cold w 1,5、 gi而opy? 1.542 samples = 18

= 15,3.3.0.3] :lass = A 丿

value = (0.0.2.0, 0] class = C

圖5-1基于畫稿一的音樂類型決策樹分類模型

http y、www?cnki?ns

M_num_eold £ 2.5

Bntropv"= 2.258

376

96, 43. 57]

ight_avgw 134.511 iitropy = 2.321 amples = 772

>6, 181, 157, 149, 149] class = B

‘27{Grey_D.#212121) w 0-5、 entropy = 2.105 samples = 174 value = [42, 56,49, 16, 111

color_num_cold £ 0.6 eiifropy^ 2.114 samples = 146 value =「32, 53, 36.14. 111

draw_light_avg < 103.786

entropy = 2.295

samples = 202

value = [46, 4-6, 37, 27.4S]

class = A

'4(LightBlue_L.#B3E5FC) < 0.5'

entropy = 2.288

= 396

71. 106.921

diraw_light_avg £ 89.637、

errtrcpy = 1.662

samples = 28

value = 110, 3,13,2, 01

draw_hght_avg S S847

entro|iy = 2.l4

samples = 92

value =「26, 27,12, 5. 221

color_num_mid £ 0.6

entropy = 2.344

samples = 110

value = 120. 19, 25, 22, 241

value = [2, 0,1,12,2]

draw_light_avg < 217.987

entropy = 2.289

samples = 371

value =[62, 5& 69. 104, 78]

class = D

entropy® 2.186 samples = 74 value = [23,16,12,5.18] class = A

entropy = 2.305 samples s S4 = [19, 14,21,22,18] class = D

samples = 3 e = [0,0, 0,1,2] class = E

1,738 samples s 13 ie = [4,1,2, 0,6] class = E

jntropy = 1.80S s-16 5. 4, 0, 6]

「 1.096

samples = 11 value = [2, 0, 0,1,8] class = E

‘27(Grey_D,#212121}S O.S-' entropy = 2.301 samples = 354 value = [60. 58, 6& 92, 76]

entropy = 1.149

samples = 7 value =[1,1. 5, 0,0] class = C

圖5-2基于畫稿三的音樂類型決策樹分類模型

rdiaw_light_avg £ 193.16^

entropy = 1,634

samples = 24 value = [6,1,2, 1,141

2．基于畫稿一構建模型的結果分析

構建的決策樹模型共有 15 條判定規則。詳細來看，暖色調使用頻次、冷色調使用頻次、中性色調使用頻次、涂色區域平均亮度和首次涂色能夠對音樂類型進行分類判斷。其中涂色區域平均亮度作為樹形圖的根節點，當涂色區域平均亮度＜123.02時，音樂情緒類型包括A、B、C。當涂色區域平均亮度＞123.02時，音樂情緒類型包括A、B、C、D、E。由此可知，涂色區域平均亮度此特征屬性為重要的判定指標，但并非唯一判定指標。在分析判斷規則之前，把亮度分成 3 個層次，分別表示低亮度、中等亮度和高亮度。因為亮度的最大值為 256，把85.3 作為低亮度和中等亮度的分界線，把 170.6 作為中等亮度和高亮度的分界線。如果下面提到的涂色區域平均亮度的區間跨越了 85.3 這條分界線，那么就把涂色區域平均亮度稱為低中亮度，如果下面提到的涂色區域平均亮度的區間跨越了 170.6 這條分界線，那么就把涂色區域平均亮度稱為中高亮度。此外，畫稿一的涂色區域數為 7。

對于音樂類型A （悲傷）的決策樹規則：

首次涂色為淺藍色，涂色區域平均亮度＜123.02，暖色調顏色使用頻次＜3，中性色調顏色使用頻次= 0。這說明當音樂類型為悲傷的音樂時，首次涂色為淺藍色，兒童涂色區域的平均亮度為低中亮度，暖色調顏色使用頻次少于一半，不使用中性色調。

涂色區域平均亮度＜123.02，冷色調顏色使用頻次＜3， 1＜中性色調顏色使用頻次＜2。這說明當這說明當音樂類型為悲傷的音樂時，涂色區域的平均亮度為低中亮度，冷色調顏色使用頻次少于一半，中性色調使用頻次為一到兩次。

88.60V涂色區域平均亮度＜123.02，冷色調顏色使用頻次24，中性色調顏色使用頻次21。這說明當音樂類型為悲傷的音樂時，涂色區域的平均亮度為低中亮度，冷色調顏色使用頻次大于一半，中性色調使用頻次至少為一次。

首次涂色為灰色，涂色區域平均亮度＞123.02，冷色調顏色使用頻次＜1。這說明當音樂類型為悲傷的音樂時，首次涂色為灰色，涂色區域的平均亮度為中高亮度，冷色調顏色使用頻次至多一次。

對于音樂類型B （憤怒）的決策樹規則：

首次涂色為非淺藍色，涂色區域平均亮度＜123.02，中性色調顏色使用頻次 = 0。這說明當音樂類型為憤怒的音樂時，首次涂色為非淺藍色，涂色區域的平均亮度為低中亮度，不使用中性色調顏色。

涂色區域平均亮度＜123.02，暖色調顏色使用頻次24，中性色調顏色使用頻次= 0。這說明當音樂類型為憤怒的音樂時，涂色區域的平均亮度為低中亮度，不使用中性色調顏色，且暖色調顏色使用頻次超過一半。

首次涂色為灰色，涂色區域平均亮度＞123.02，暖色調顏色使用頻次＜2，冷色調顏色使用頻次22。這說明當音樂類型為憤怒的音樂時，涂色區域的平均亮度為中高亮度，暖色調顏色使用頻次不超過兩次且冷色調使用頻次至少為兩次。

對于音樂類型C （恐懼）的決策樹規則：

涂色區域平均亮度＜123.02，冷色調顏色使用頻次＜3，中性色調顏色使用頻次23。這說明當音樂類型為恐懼的音樂時，涂色區域的平均亮度為低中亮度，冷色調使用頻次至多為一半，且中性色調顏色使用頻次至少為一半。

涂色區域平均亮度＜88.60，冷色調顏色使用頻次24，中性色調顏色使用頻次21。這說明當音樂類型為恐懼的音樂時，涂色區域的平均亮度為低亮度，冷色調使用頻次超過為一半，且中性色調顏色使用頻次至少為一次。

首次涂色為灰色，涂色區域平均亮度＞123.02，冷色調顏色使用頻次22，暖色調顏色使用頻次23。這說明當音樂類型為恐懼的音樂時，涂色區域的平均亮度為中高亮度，冷色調使用頻次至少為兩次，且暖色調顏色使用頻次至少為一次。

對于音樂類型D （快樂）的決策樹規則：

首次涂色為非灰色，涂色區域平均亮度為中高亮度＞123.02，暖色調顏色使用頻次24。這說明當音樂類型為快樂的音樂時，首次涂色為非灰色，涂色區域的平均亮度為中高亮度，暖色調顏色使用頻次超過一半。

對于音樂類型E （平和）的決策樹規則：

首次涂色為非灰色，涂色區域平均亮度為中高亮度＞123.02，暖色調顏色使用頻次＜3。這說明當音樂類型為平和的音樂時，首次涂色為非灰色，涂色區域

的平均亮度為中高亮度，暖色調顏色使用頻次不超過一半。綜上，畫稿一的涂色結果中，快樂的音樂涂色偏向暖色調和中高亮度；平和的音樂偏向中高亮度。悲傷、憤怒和恐懼音樂涂色較復雜。

（二）基于畫稿三的模型建構結果與分析 1．基于畫稿三的模型建構結果基于畫稿三構建的音樂情緒類型決策樹分類模型如圖 5-2，由圖 5-2 可知，

共有 15 條分類規則，生成的規則如下：

音樂類型為A （悲傷）的規則集：涂色區域平均亮度＜98.47，冷色調顏色使用頻次23。

音樂類型為B （憤怒）的規則集：首次涂色為非深灰色，涂色區域平均亮度＜134.51，冷色調顏色使用頻次= 0。

首次涂色為深灰色，89.64V涂色區域平均亮度＜134.51，冷色調顏色使用頻次＜2。

98.47V涂色區域平均亮度＜103.79，冷色調顏色使用頻次23。

音樂類型為C （恐懼）的規則集：首次涂色為非深灰色，涂色區域平均亮度＜134.51， 1＜冷色調顏色使用頻次

＜2。首次涂色為深灰色，涂色區域平均亮度＜89.64，冷色調顏色使用頻次＜2。首次涂色為深灰色，134.51V涂色區域平均亮度＜217.99。

音樂類型為D （快樂）的規則集：

103.79V涂色區域平均亮度＜134.51，冷色調顏色使用頻次23,中性色調顏色使用頻次= 0。

首次涂色為非深灰色，首次涂色為非淺藍色，134.51V涂色區域平均亮度＜

217.99。

首次涂色為非淺藍色，涂色區域平均亮度＞217.99，暖色調顏色使用頻次2

3。

首次涂色為淺藍色，涂色區域平均亮度＞134.51,暖色調顏色使用頻次25。

音樂類型為E （平和）的規則集：

103.79V涂色區域平均亮度＜134.51,中性色調顏色使用頻次21,冷色調顏色使用頻次23。

首次涂色為非淺藍色，涂色區域平均亮度＞217.99，暖色調顏色使用頻次＜

2。

首次涂色為淺藍色，涂色區域平均亮度＞134.51，暖色調顏色使用頻次＜4。

2．基于畫稿三構建模型的結果分析

構建的決策樹模型共有 15 條判定規則。詳細來看，暖色調使用頻次、冷色調使用頻次、中性色調使用頻次、涂色區域平均亮度和首次涂色能夠對音樂類型進行分類判斷。其中涂色區域平均亮度作為樹形圖的根節點，當涂色區域平均亮度＜134.51時，音樂情緒類型包括A、B、C、D、E。當涂色區域平均亮度＞134.51 時，音樂情緒類型包括C、D、E。由此可知，涂色區域平均亮度此特征屬性為重要的判定指標，但并非唯一判定指標。此外，畫稿三涂色區域數為 6。

對于音樂類型A （悲傷）的決策樹規則：

冷色調顏色使用頻次23, 涂色區域平均亮度＜98.47。這說明當音樂類型為悲傷的音樂時，涂色區域平均亮度為低中亮度，且冷色調顏色使用頻次至少一半。

對于音樂類型B （憤怒）的決策樹規則：

首次涂色為非深灰色，涂色區域平均亮度＜134.51，冷色調顏色使用頻次 = 0。這說明當音樂類型為憤怒的音樂時，首次涂色為非深灰色，涂色區域平均亮度為低中亮度，不使用冷色調顏色。

首次涂色為深灰色，89.64V涂色區域平均亮度＜134.51,冷色調顏色使用頻次＜2。這說明當音樂類型為憤怒的音樂時，首次涂色為深灰色，涂色區域平均亮度為低中亮度，冷色調顏色使用頻次不超過兩次。

98.47V涂色區域平均亮度＜103.79，冷色調顏色使用頻次23。這說明當音樂類型為憤怒的音樂時，涂色區域平均亮度為中亮度，冷色調顏色使用頻次至少一半。

對于音樂類型C （恐懼）的決策樹規則：

首次涂色為非深灰色，涂色區域平均亮度＜134.51， 1＜冷色調顏色使用頻次＜2。這說明當音樂類型為恐懼的音樂時，首次涂色為非深灰色，涂色區域平均亮度為低中亮度，冷色調顏色使用頻次為一次或者兩次。

首次涂色為深灰色，涂色區域平均亮度＜89.64，冷色調顏色使用頻次＜2。這說明當音樂類型為恐懼的音樂時，首次涂色為深灰色，涂色區域平均亮度為低中亮度，冷色調顏色使用頻次至多兩次。

首次涂色為深灰色，134.51 V涂色區域平均亮度＜217.99。這說明當音樂類型為恐懼的音樂時，首次涂色為深灰色，涂色區域平均亮度為中高亮度。

對于音樂類型D （快樂）的決策樹規則：

103.79V涂色區域平均亮度＜134.51，冷色調顏色使用頻次23,中性色調顏色使用頻次= 0。這說明當音樂類型為快樂的音樂時，涂色區域平均亮度為中亮度，不使用中性色調，且冷色調顏色使用頻次至少一半。

首次涂色為非深灰色，首次涂色為非淺藍色，134.51V涂色區域平均亮度＜ 217.99。這說明當音樂類型為快樂的音樂時，涂色區域平均亮度為中高亮度，首次涂色既不是深灰色也不是淺藍色。

首次涂色為非淺藍色，涂色區域平均亮度＞217.99，暖色調顏色使用頻次2

3。這說明當音樂類型為快樂的音樂時，首次涂色為非淺藍色，涂色區域平均亮度為高亮度，暖色調顏色使用頻次至少一半。

首次涂色為淺藍色，涂色區域平均亮度＞134.51，暖色調顏色使用頻次25。這說明當音樂類型為快樂的音樂時，首次涂色為淺藍色，涂色區域平均亮度為中高亮度，暖色調顏色使用頻次至少五次。

對于音樂類型E （平和）的決策樹規則：

103.79V涂色區域平均亮度＜134.51，冷色調顏色使用頻次23,中性色調顏色使用頻次21。這說明當音樂類型為平和的音樂時，涂色區域平均亮度為中亮度，冷色調顏色使用頻次至少一半，且中性色調顏色使用頻次至少一次。

首次涂色為非淺藍色，涂色區域平均亮度＞217.99，暖色調顏色使用頻次＜

2。這說明當音樂類型為平和的音樂時，首次涂色不是淺藍色，涂色區域平均亮度為高亮度，暖色調顏色使用頻次不超過兩次。

首次涂色為淺藍色，134.51 V涂色區域平均亮度，暖色調顏色使用頻次＜4。這說明當音樂類型為平和的音樂時，首次涂色為淺藍色，涂色區域平均亮度為中高亮度，暖色調顏色使用頻次不超過四次。

綜上，畫稿三的涂色結果中，悲傷的音樂涂色偏向冷色調和低中亮度；恐懼的音樂涂色偏向中性色調、暖色調和中等亮度。憤怒、快樂和平和音樂涂色較復雜。

（三）模型的驗證

訓練集的樣本被用來構建決策樹模型，測試集的樣本被用來驗證模型。模型的驗證是根據構建出來的決策樹模型對測試集來分類，得出測試集分類的準確率以及特征屬性的重要程度系數。經過模型驗證，上述基于畫稿一和畫稿三構建的兩個決策樹模型在劃分比例為 9.8:0.2 的情況下，分類準確率為 45%。其中基于畫稿一的決策樹模型中，涂色區域平均亮度、暖色調顏色使用頻次、中性色調顏色使用頻次、首次選擇顏色為灰色、冷色調顏色使用頻次和首次選擇顏色為淺藍色的重要程度稀疏由大到小分別是 0.431、 0.200、 0.133、 0.107、 0.090、 0.036。基于畫稿三的決策樹模型中，涂色區域平均亮度、冷色調使用頻次、首次選擇顏色為深棕色、首次選擇顏色為淺藍色、暖色調使用頻次和中性色調使用頻次的重要程度稀疏由大到小分別是 0.501、 0.171、 0.123、 0.084、 0.063、 0.054。據此，構建的決策樹模型能夠較好地對音樂情緒類型進行分類。

第六章討論與教育啟示

一．討論

（一）音樂與色彩的關系

縱觀已有研究中探討音樂與色彩的關系，主要是尋求音樂的基本屬性（音高、響度、音色、調式、速度）與色彩的基本屬性（色調、亮度和飽和度）之間的對應關系。從古希臘哲學一直到近代物理學都不斷的有藝術家嘗試尋找音階與光色之間的客觀對應關系，然而提出的色彩音樂設計方案卻不盡相同，色彩與音樂之間是否存在唯一固定的對應關系也開始受到了質疑1。從 18世紀開始，人們開始由尋找音色間的客觀對應規律轉向音色間的聯系是通過直覺的情緒與隱喻相聯系起來的，認為對音樂旋律的感知也需要個體主觀審美感知的參與。如康定斯基由于其自身具有聯覺通感能力，能聽到聲音看到色彩。其藝術通感理論將不同樂器的音色與色彩相對應[朱文濤.從“色彩音樂”到“視覺音樂”：西方視聽通感的觀念源流與其早期藝術實驗[J].南京藝術學院學報(美術與設計),2017(05):96-106.] [瓦西里•康定斯基著，呂澎譯.論藝術里的精神[M].上海上海人民美術岀版社,2014.]。 20 世紀以來，隨著認知心理學的發展，一些科學家通過實驗發現了跨通道關聯，即視覺和聽覺之間存在著跨模態的映射規律，此種機制更普遍地存在于正常人群中。其中音高與色彩的亮度關聯，響度與色彩的飽和度關聯[ Andrey, Anikin, N. Implicit associations between individual properties of color and sound[J]. Atten tion ,Perception & Psychophysics,2018,81:764-777.]。即低明度的顏色與低音相關聯，高明度的顏色與高音相關聯；低飽和度的顏色與低響度相關聯，高飽和度的顏色與高響度相關聯[ Marks, L. E. On associations of light and sound: The mediation of brightness, pitch, and loudness[J]. The American Journal of Psychology, 1974,87(1-2):173-188.

1 Palmer, S. E., Schloss, K. B., Xu, Z., & Prado-Leon, L. R. Music-color associations are mediated by emotion[J].Proceedings of the National Academy of Sciences of the United States of America, 2013,11 0(22):8836—8841.

2張聰聰•音樂和顏色的情緒性關聯[D]•華東師范大學,2014.

79]。也有一些心理學家從情緒中介作用，去探討音樂的速度和調式與色彩之間的關系。普遍的研究結論是快速、大調音樂和亮色相關聯，慢速、小調音樂和暗色相關聯。

然而音樂與色彩的關系較為復雜，音樂的特征也不僅僅有音高、響度、音色調式和速度。一段音樂旋律作為一個整體的結構，是不同音高、和諧、節拍、速度、強弱等等有機的組合體。而音樂的其他音頻特征如音樂整體呈現的動態與靜態特性，音樂的和諧與不和諧等等與色彩之間的關系還有待進一步去挖掘探索。同樣色彩除了色調、亮度和飽和度基本屬性之外，色彩的組合、色彩的搭配、色

彩的和諧等等高水平的屬性。本研究在構建評價畫稿色彩的數據編碼框架時，嘗試對色彩高水平的屬性有所思考，如涂色區域顏色差異和相鄰區域顏色差異的指標提出，考慮顏色的空間分布問題。如下面兩幅圖是不同的兩個兒童聽同一首音樂對同一幅的涂色結果，即使兩名兒童在涂色時都用了淺藍、淺綠、綠色和深綠色四種顏色，但是每種色彩的空間分布不同，畫面帶來的感覺也就有所不同。未來在顏色的高水平屬性，色彩的豐富度、色彩的和諧如何量化等方面還有待進一步去挖掘探索。

圖 6-1 畫稿涂色結果

二）兒童聽音樂涂色的動態過程

已有研究通過實驗設計探討音樂與色彩之間的關系時，往往是讓測試者在聆聽一段音樂后選擇認為與該段音樂最一致的一種顏色12。將復雜的色彩僅僅簡化為一種顏色，雖能在量化時建立有效的關聯，也具有局限性。如測試者在聆聽音樂后進行色彩選擇的時長是否會受音樂的情緒影響？測試者大腦接受音樂刺激，根據情緒情感做出色彩選擇反應，這一過程除了運用神經生理學等手段，能否通過其他方式得以顯現，進一步去挖掘復雜的音樂與色彩之間的關系？本研究的研究工具音樂畫板測試程序在開發時對收集兒童涂色的過程性數據有所考慮。為兒童提供的測試工具是畫稿，包含多個可涂色的區域。在這一過程會遇到顏色更改、率先使用某種顏色對畫稿的某個區域進行涂色的現象。同時時間也是一個重要的數據指標，如兒童聽完音樂到首次涂色的時長是否可以反應不同情緒的音樂對兒童色彩選擇的影響？測試者聆聽音樂后做出色彩選擇的心理機制或許較為復雜，而收集測試者在涂色的一系列過程性數據或許對未來探究這一心理機制提供一種思路，重視其過程。構建數據編碼框架時，已經開始考慮過程性數據因素，并發現首次涂色這一指標與音樂情緒是相關的，但是由于能力有限，對時間、顏色更改等過程性數據的探索不夠。

（三）背景色、畫稿形狀對色彩選擇的影響

對幼兒園大班兒童的預研究中，研究發現畫稿形狀影響兒童的色彩選擇。本研究在測試畫稿的選擇上既包括有背景顏色的畫稿，也包括沒有背景顏色的畫稿。研究發現基于畫稿一和畫稿三構建的決策樹模型不同，可能是背景色對兒童色彩選擇有影響。由于研究的有限，在背景色和畫稿形狀對色彩選擇的影響上研究地并未十分深入。未來可以采取控制變量的方法，一幅畫稿擁有背景色前后色彩選擇的變化，進一步研究。

（四）決策樹算法的運用

決策樹模型是一種分類模型，且決策時算法有很多優點，如：1 ．決策樹很容易理解，而且有很好的可解釋能力；2．決策樹的效率高，運行速度快；3．只要構建岀來就能反復使用。但是決策樹的缺點也很明顯，如難預測連續性的字段，如果數據各個特征間的關聯性較強，那么決策樹的表現不太好，同時決策樹對于數據的擬合能力并不是很強。本研究采用了決策樹這一機器學習算法來作為探索顏色特征和音樂情緒關系的方法，構建岀的決策樹模型的準確率沒有達到 70% 以上，或許是音樂與色彩之間的關系較為復雜，應該使用比決策樹模型更為復雜的算法。

二．教育啟示

（一）顏色響應可作為兒童音樂體驗的教學手段

音樂體驗是一個復雜的現象，可能受到各種相互作用的因素的影響，很多人似乎難以用通用詞匯來表達描述自己的體驗感受。而顏色作為一種響應方式，提

供了一種非語言的方式來理解人們對聲音的反應1。國外研究學者加登納發現， 6 歲兒童就可以將聲音與色彩聯系起來[ Lindborg P,Friberg AK. Colour Association with Music Is Mediated by Emotion: Evidence from an Experiment Using a CIE Lab Interface and Interviews[J].Plos One,2015,10(12):1-26.] [加登納著•蘭金仁譯•藝術與人的發展[M]•北京：光明日報岀版社,1988:297.]。建議教師在音樂活動中重視兒童多感官通道調動，豐富兒童的審美體驗。兒童或許無法用語言準確描述出音樂給自己帶來的情緒感受，但是可以通過繪畫、涂色等方式表達自己的音樂體驗。利用“音樂-色彩”通感，讓兒童運用色彩去感知音樂，理解音樂作品中的情感表達。幫助兒童更好地理解音樂，在此基礎上完成音樂創作和音樂表演。

（二）基于藝術通感實施學前兒童綜合藝術教育課程

學前兒童綜合藝術教育的目標是在多種藝術的交織與對話中提升兒童對藝術感受、表現、創造和評價的能力，形成健康的審美觀念與情趣，成為具有審美境界的人，實現兒童完整人格的發展[樓必生，屠美如.學前兒童藝術綜合教育研究[M].北京：北京師范大岀版社,1997.]。藝術通感對提升兒童審美體驗、促進兒童全面發展具有重要價值，藝術通感能力是可培養的。運用藝術通感，兒童從繪畫中可以“聽見”聲音，從音樂中可以“看見”色彩。瑞吉歐教育利用音樂和繪畫之間共同的藝術要素，如音色與顏色，旋律與空間，色彩明暗與節奏力度等等，實施學前兒童綜合藝術教育課程[ Hanna W. A Reggio-inspired music atelier: Opening the door between visual arts and music[J].Earl y Childhood Education Journal,2014,42(4): 287-294.

81]。建議教師可針對藝術通感的三個關鍵能力（感覺聯通、經驗共鳴、意向生成），以情緒為紐帶，利用現代的技術手段開展各項自由的藝術探究活動，幫助兒童建構審美心理結構，培養兒童綜合藝術能力。兒童美術教育中，建議教師在實施美術課程中融入音樂的相關知識來強化兒童的審美體驗與感受，幫助兒童更加直觀地理解美術作品的內涵與意境。如通過音樂的音高、節奏、速度等變化，兒童可較為直觀地作出情感判斷，借助音樂情感情感的傳達引導兒童對美術作品的鑒賞。

（三）基于藝術通感進行兒童教育產品的設計與開發

探索音樂與色彩的關系，為音樂教育產品的設計提供理論基礎。馬萁澤（2018）

以藝術通感中音樂與繪畫的共同藝術要素為基礎，如色彩與音色、節奏節拍與色彩種類等等，開發面向兒童的智能編曲兒童繪板，實現兒童繪畫到音樂的轉化，豐富兒童繪畫過程的審美體驗1。秦眉華（2021）通過音樂—色彩通感進行《彼得與狼》的繪本創作，為交響樂繪本的設計提供內在情感共鳴的新想法，拓展了繪本的視覺展現形式，豐富了繪本的視覺審美體驗[馬萁澤.基于藝術通感理論的智能編曲兒童繪板設計與實現[D].哈爾濱工業大學,2018.] [秦眉華.色彩與音樂的聯覺效應在繪本中的應用研究一以《彼得與狼》繪本設計制作為例[D].浙江理工大學,2021.

82]。音畫結合的繪本閱讀除了是一種閱讀體驗，更是一種視聽的享受。音樂在兒童進行繪本閱讀的過程中為兒童在繪本與兒童的經驗、想象之間架起一座溝通的橋梁。

第七章研究結論與展望

一．研究結論

綜合前面的研究，研究主要得岀以下結論：

1．特定情緒的音樂激發特定的情緒感受，能夠引導兒童做岀特定的色彩選擇。

2．決策樹算法的運用能夠挖掘音樂與色彩間的關系。 3．顏色的基本屬性（色相、亮度和飽和度）是影響顏色情緒的重要指標。 4．兒童聽音樂進行涂色的動態過程能夠反映兒童涂色時的情緒。

二．研究不足與展望

本研究中采用的音樂主要為西方古典音樂，并未采用中國樂器演奏的音樂，如古箏、二胡、琵琶等等。在未來的工作中，從音樂的角度考慮，在選擇測試音樂中考慮增加具有中國特色的樂器演奏的音樂，探究不同文化下的音樂涂色作品的差異。研究在選擇不同情緒類型的測試音樂曲目時主要是依靠三名音樂專家采取 Q 分類的選擇認為適合兒童的 10 首音樂，但整個研究設計中還應該傾聽兒童對 10 首測試音樂的看法和感受，使測試的音樂曲目更具代表性。

本研究試圖建立色彩的屬性與音樂情緒的關系，但是研究能力有限，對于音樂與色彩之間更為復雜的關系還未深入挖掘。在未來的工作中，尋找更加有效的量化方法繼續深入探討音樂的高層次屬性（旋律、和聲、音樂的和諧）與色彩的高層次屬性（色彩的和諧、色彩的搭配）之間的關系。

本研究只探討了音樂與色彩的關系，而色彩只是視覺藝術中的一個元素，視覺藝術包括線條、紋理、空間、形狀等等元素。兒童的音樂體驗如果通過自由作畫的方式變現岀來，又會是一種怎樣的情景呢？已有研究提到音樂與視覺藝術之間具有很多共同藝術元素，在未來的工作中，可通過實證研究繼續探討兒童音樂與繪畫之間的映射規律。

通過研究兒童聽不同情緒類型的音樂進行的涂色作品，嘗試探討在兒童領域內音樂與色彩的關聯，希望為實施學前兒童綜合藝術課程提供理論支撐。但是本 83

研究的樣本量有限，在未來的工作中，加大研究的樣本量，基于更多的研究結論與設計成果，開發音樂繪畫融合課程與相應的課程指南手冊，培養兒童的藝術通感能力，促進兒童的審美認知和審美創造，幫助兒童建構審美心理結構，培養兒童綜合藝術能力。

參考文獻

中文文獻：

[1]蔡彬.可編程控制器在音樂燈光噴泉中的應用[J].農機化研究,2005(4) :209-210.

[2]蔡岳建，潘孝富，莊鐘春曉.音樂的速度與調式對大學生情緒影響的實證研究J]. 心理科學,2007,30(1):196-198.

[3]柴艷妹，雷陳芳.基于數據挖掘技術的在線學習行為研究綜述J].計算機應用研究,2018(5):1287-1293.

[4]陳池,王宇鵬，李超，等.面向在線教育領域的大數據研究及應用J].計算機研究與發展,2014(S1):67-74.

⑸陳冠穎.淺談兒童音樂教育中通感的作用J].科學咨詢(教育科研),2018(11):42.

[6]陳炎秋.小學音樂“可視化”教學研究與實踐[D].河北師范大學,2020.

[7]杜依濃.音樂融入美術教育教學的創新型探索[D].首都師范大學,2012.

[8]費宇泉.基于音樂特征識別的音樂噴泉研究[D].長沙理工大學,2017.

[9]髙溦.探索進行音樂繪畫的教學方法J].讀寫算:教研版,2013 (2).

[10]葛道凱.E—Learning數據挖掘：模式與應用[J].中國高教研究,2012(3):8-14.

[11]郭蘭蘭, 馬芮. 基于藝術通感的兒童音樂教育實踐范例 [J]. 藝術教育,2017(14):105-106.

[12]韓家煒.數據挖掘：概念與技術(第3版)[M].北京:機械工業出版社,2012.

[13]胡國生.色彩的感性因素量化與交互設計方法[D].浙江大學,2014.

[14]黃建•音樂與色彩的聯想關系——音與色的“通感”效應及實施方法(上)J]. 音響技術,2010(11):69-79.

[15]黃衛平.樂曲節拍、速度和調式對大學生情緒影響的實證分析J].當代教育論壇(管理研究),2011(03):83-85.

[16]黃希庭，黃巍，李小融.關于中國人顏色情調的研究J].心理科學,1991,74(6):1-7.

[17]黃希庭，鄭涌.心理學導論(第三版)[M].北京:人民教育出版社,2015.

[18]鞠靜.基于決策樹算法的高校圖書館圖書采訪決策模型研究[D].河北大學,2021.

[19]孔國歡.淺析藝術通感在兒童美術教育中的多元價值J].漢江師范學院學報, 2021.

[20]匡代軍，王瓊.通感在兒童藝術教育中的運用J].湖南第一師范學院學報, 2015,15(1): 8-10, 22.

[21]樂國安，董穎紅.情緒的基本結構:爭論、應用及其前瞻J].南開學報(哲學社會科學版),2013(01):140-150.

[22]李冬冬，程真波,戴瑞娜，汪芬，黃宇霞.情緒音樂庫的初步編制與評定J].中國心理衛生雜志,2012,26(7):552-556.

[23]李婷,傅鋼善.國內外教育數據挖掘研究現狀及趨勢分析J].現代教育技術,201 0,20(10):21-25.

[24]李宇帆，張會福,劉上力,唐兵.教育數據挖掘研究進展J].計算機工程與應用,2019,55(14):15-23.

[25]梁麗.一種Android開發中的圖像數據流量控制與緩存技術研究J].電子設計工程,2016,24(17):164-166.

[26]廖藝璇.高校視唱練耳課程中可視化教學探究[J].大眾文藝,2021(20):187-188.

[27]劉芳.為產品涂上和諧的色彩[D].合肥工業大學,2009.

[28]龍志科.肖邦《降E大調夜曲》的音樂解讀與教學設計[D].湖南科技大學,201

[29]樓必生，屠美如.學前兒童藝術綜合教育研究[M].北京：北京師范大出版社,1997.

[30]魯忠義.心理學[M].科學出版社,2009.

[31]馬承華.德彪西《月光》的曲式和聲特點及旋律分析[J].北方音樂,2017,37(13): 112.

[32]馬萁澤•基于藝術通感理論的智能編曲兒童繪板設計與實現[D].哈爾濱工業大學,2018.

[33]馬諧,白學軍，陶云.音樂與情緒誘發的機制模型J].心理科學進展,2013,21(4):6

43-652.

[34]彭文雄，侯世英，卓婭.音樂彩燈控制器的設計與實現[J].電氣電子教學學報,201 2,34(S1):135-138.

[35]皮特哈林頓著.李銳等譯.機器學習實戰[M].人民郵電出版社,2013.

[36]錢鐘書.舊文四篇[M].上海古籍出版社,1979.

[37]秦眉華.色彩與音樂的聯覺效應在繪本中的應用研究—以《彼得與狼》繪本設計制作為例[D].浙江理工大學,2021.

[38]沈璇.深沉的悲痛熱切的追求一一馬勒的《升c小調第五交響曲》賞析J].音樂愛好者,1986(02):18-19.

[39]史淑媛, 楊伊生, 李雅寧, 蘇日娜, 朱軍帥. 顏色與情緒關系的研究回顧與展望 [J]. 社會科學前沿,2021,10(5):1224-1230.

[40]孫鵬玉.波形音樂文件特征提取方法的研究[D].遼寧大學,2013.

[41]孫亞楠，劉源，南云.音樂對情緒的影響及其腦機制的相關研究[J].自然科學進展,2009,19(1):45-50.

[42]唐春曉.音樂圖譜在小學低年級課堂教學中的應用研究——以泰安市萬官路學校為例[D].山東師范大學,2019.

[43]滕守堯.論生態式藝術教育[J].生態美學研究,2003(3):5.

[44]瓦西里•康定斯基著,呂澎譯.論藝術里的精神[M].上海:上海人民美術出版社,2014.

[45]王芳.莫扎特《降E大調交響協奏曲》中提琴獨奏聲部的演奏分析[J].北方音樂,2013(09):18.

[46]王樂,陳科明，綦航.無線智能LED系統中的音樂特效設計[J].杭州電子科技大學學報,2017,37(3):15-19.

[47]王麗“聯覺”在中小學音樂教學中的作用及其能力培養[D].曲阜師范大學,2009.

[48]王麗.藝術通感與兒童藝術教育研究[D].南京師范大學,2007.

[49]習祎瓊.大班幼兒音樂想象畫的初步研究[D].湖南師范大學,2013.

[50]夏夢雅.貝多芬《命運交響曲》賞析[J]潢河之聲,2018(15):53.

[51]徐鵬,王以寧,劉艷華.大數據視角分析學習變革—美國《通過教育數據挖掘和學習分析促進教與學》報告解讀及啟示J].遠程教育雜志,2013(6):11-17.

[52]許近.電影《勇闖奪命島》中背景音樂的藝術表現[J].劍南文學(經典教苑),201 3(04):176.

[53]楊建華.基于PLC和變頻器的音樂噴泉設計[J].黑龍江科技信息,2015(14):12

[54]楊寧.基于改進PAD情感模型的表情識別研究[D].西南大學,2012

[55]楊現民，王榴卉,唐斯斯.教育大數據的應用模式與政策建議J].電化教育研究,2 015(9):54-61.

[56]楊運生.通感，聯想和想象在音樂欣賞課中的運用探究[J].成才之路,2017(1):

38-39.

[57]于方，劉延申“以用戶為中心”的教育數據挖掘應用研究[J].電化教育研究,20 18,39(11):69-77.

[58]于雨秀.通感在兒童繪畫課程中的應用研究[D].云南師范大學,2020.

[59]張聰聰.音樂和顏色的情緒性關聯[D].華東師范大學,2014.

[60]張積家，梁文韜,黃慶清.大學生顏色詞聯想研究[J].語言文字應用,2006(02):52-

60.

[61]張嘉朗.淺析國內音樂播放應用圖形用戶界面的設計特征J].藝術科技，2017 (7): 280-280.

[62 ]張娜，孫赟，毛峽.音樂情感特征分析[C]//第一屆中國情感計算及智能交互學術會議論文集. 2003.

[63]趙國慶.概念圖、思維導圖教學應用若干重要問題的探討[J].電化教育研究,2012,33(05):78-84.

[64]趙瑞瑞.基于音頻FFT的色彩音樂系統的研究與設計[D].哈爾濱理工大學, 2017.

[65]周海宏.音樂與其表現的世界[M].北京:中央音樂學院出版社,2004.

[66 ]周慶，牟超，楊丹.教育數據挖掘研究進展綜述[J].軟件學報,2015,26(11):3026-30

42.

[67]周欣，鄭瑩燦,周嘉新，吳佳怡,鄭茂平•情緒音樂影像庫的初步編制與評定J] •心理學初探,2021,41(1):41-50.

[68]朱文濤.從“色彩音樂”到“視覺音樂”:西方視聽通感的觀念源流與其早期藝術實驗[J].南京藝術學院學報(美術與設計),2017(05):96-106.

[69]朱智賢.心理學大詞典[M].北京師范大學出版社,1989:392.

祝欽芳，周靜.淺析通感在兒童藝術教育活動中的重要性[J].文教資料，2009 (13): 57-59.

英文文獻：

[1]Andrew Ortony,Terence Turner.What is Basic about Basic Emotions?[J].Psych ological Review,1990,97(3):315-331.

[2]Andrey, Anikin, N. Implicit associations between individual properties of color and sound[J]. Attention ,Perception & Psychophysics,2018,81:764-777.

[3]Arnold, M. B. Emotion and personality[M].New York: Columbia University Press,1960.

[4]Bakhshinategh B，Zaiane O R，ElAtia S，et al.Educational data mining appl ications and tasks： a survey of the last 10 years[J].Education and Information Technologies,2018,23(1):537-553.

[5]Bakker I, de Boon J, Ooijevaar O. Zorg voor mens en omgeving: het zintuig als maatstaf[M]. Aedes-Actiz Kenniscentrum Wonen-Zorg, 2012.

[6]Bakker I, Van der Voordt T, Vink P, et al. Pleasure, arousal, dominance: Mehrabian and Russell revisited[J]. Current Psychology, 2014, 33(3): 405-421.

[7]Balkwill, L-L., & Thompson, W. F. A cross-cultural investigation of the perception of emotion in music: Psychophysical and cultural cues[J].Music Perception, 1999,17:43-64.

[8]Barbiere JM, Vidal A, Zellner DA.The color of music: Correspondence through emotion[J].Empir Stud Arts,2007,25(2):193-208.

[9]Baron-Cohen, S., Wyke, M. A., & Binnie, C. Hearing words and seeing col ours: An experimental investigation of a case of synaesthesia[J].Perception,1987, 16(6):761-767.

[10]Boyatzis, C. J., & Varghese, R. Children's emotional associations with colors[J].The Journal of Genetic Psychology, 1994,155:77-85.

[11]Boyatzis, C. J., & Varghese, R.Children's emotional associations with colors[J]. Journal of Genetic Psychology, 1994,155:77-85.

[12]Bresin R.What is the color of that music performance?[J].Proceedings of the International Computer Music Conference,2005:367-370.

[13]Bruner G C. Music, mood, and marketing[J]. Journal of marketing, 1990, 54(4): 94-104.

[14]Calvertga. Crossmodal processing in the human brain: Insights from functional neuroimaging studies[J]. Cerebral Cortex,2001,11:1110-1123.

[15]Caroline Curwen. Music-colour synaesthesia: Concept, context and qualia[J]. Consciousness and Cognition,2018,(61):94-106.

[16]Cimbalo, R. S., Beck, K. L., & Sendziak, D. S. Emotionally toned pictures and color selection for children and college students[J].The Journal of Genetic

Psychology,1978,133:303-304.

[17]Clark, D. M., & Teasdale, J. D. Constraints on the effects of mood on memory[J].Journal of Personality and Social Psychology, 1985,48: 1595-1608.

[18]Collier, G. L. Affective synesthesia: Extracting emotion space from simple perceptual stimuli[J].Motivation and Emotion,1996,20: 1-32.

[19]Collopy F. A Hypothesis Driven Approach to Designing a Visual Music Instrument[J].2018.

[20]Cytowic, R. E. Synesthesia and mapping of subjective sensory dimensions [J].Neurology, 1989(39):849-850.

[21]Cytowic, R. E. Synesthesia: A union of the senses(2nd ed.)[M]. New York: Springer

Verlag, 2002.

[22]Davey, P. True colors: The glorious polychromy of the past suggests a strong historical need for color, despite current reductive fashions[J]. The Architectural Review, 1998,204:34-36.

[23]Dixon, M. J., & Smilek, D. The importance of individual differences in graphemecolor synesthesia[J].Neuron,2005,45(6):821-823.

[24]Dixon, M.J., Smilek, D., Cudahy, C. & Merikle, P.M. Five plus two equals yellow[J].Nature,2000, 406(6794):365.

[25]Eagleman, D. M., Kagan, A. D., Nelson, S. S., Sagaram, D., & Sarma, A. K. A standardized test battery for the study of synesthesia[J].Journal of Neuroscience Methods, 2007,159(1):139-145.

[26]Eagleman,D.M.,Goodale,M.A. Why color synesthesia involves more than col or[J].Trends in Cognitive Sciences,2009,13(7):288-292.

[27]Ekman, P., Friesen, W. V., & Ellsworth, P. What emotion categories or dim ensions can observers judge from facial behavior?[J] Emotion in the human fa ce,1982:39-55.

[28]Elias, L. J., Saucier, D. M., Hardie, C., & Sarty, G. E. Dissociating seman tic and perceptual components of synaesthesia: Behavioural and functional neur oanatomical investigations[J].Cognitive Brain Research, 2003,16(2):232-237.

[29]Emin Tamer Yenen, Mustafa Kemal Yontem. Teachers' Professional Develop ment Needs: A Q Method Analysis[J]. Discourse and Communication for Sustai nable Education, 2020,11(2):159-176.

[30]Eo Ik-Soo，Choi，Keum-Yeon．Study on the Effects of Learning by Chang ing the Color-Temperature LED Lamp[J] .International Journal of Multimedia a nd Ubiquitous Engineering,2014,9(3):309-315．

[31]Farnsworth P R. The social psychology of music[M].New York:The Dryden Press,1958.

[32]Fred Collopy. A Hypothesis Driven Approach to Designing a Visual Music Instrument[J].The Journal of the Acoustical Society of America.2005,117(1):384-90.

[33]Frijda, N. H. The emotions[M]. New York: Cambridge University Press,198 6.

[34]Gallace A, Spence C. Multisensory synesthetic interactions in the speeded classification of visual size[J]. Perception & psychophysics, 2006, 68(7): 1191-1203.

[35]Gallace A, Spence C. Multisensory synesthetic interactions in the speeded classification of visual size[J]. Perception & psychophysics, 2006, 68(7): 1191-1203.

[36]Gallace, A., & Spence, C. Multisensory synesthetic interactions in the speeded classification of visual size[J].Perception & Psychophysics, 2006,68(7): 1191-1203.

[37]Gemma A. Calvert.Crossmodal Processing in the Human Brain: Insights from Functional Neuroimaging Studies[J].Cerebral Cortex,2001,11(12):1110-1123.

[38]Gordon E E. All about audiation and music aptitudes: Edwin E. Gordon discusses using audiation and music aptitudes as teaching tools to allow students to reach their full music potential[J].Music Educators Journal,1999,86(2):41-44.

[39]Gray, J. A. The neuropsychology of anxiety[M].Oxford: Oxford University Press,1982.

[40]Han J, Kamber M, Pei J. Data Mining: Concepts and[J]. Techniques (3rd ed), Morgan Kauffman, 2011.

[41]Hanna W. A Reggio-inspired music atelier: Opening the door between visual arts and music[J]. Early Childhood Education Journal, 2014, 42(4): 287-294.

[42]Harrington P. Machine learning in action[M]. Simon and Schuster, 2012.

[43]Hemphill, M. A note on adults' color-emotion associations[J].The Journal of Genetic Psychology, 1996,157:275-280.

[44]Hevner K. Experimental studies of the elements of expression in music[J]. American Journal of Psychology,l936(48):246-268.

[45]Hupka, R. B., Zaleski, Z., Otto, J., Reidl, L., & Tarabrina, N. V. The colors of anger,

envy, fear, and jealousy: A Cross-cultural study[J]. Journal of Cross-Cultural Psychology,1997,28(2):156-171.

[46]Huron, D. Sweet Anticipation[M]. Cambridge: MA: MIT Press,2006.

[47]Ilie G, Thompson W F. A comparison of acoustic cues in music and speech for three dimensions of affect[J]. Music Perception, 2006, 23(4): 319-330.

[48]Istvan Molnar-Szakacs & Katie Overy.Music and mirror neurons from moti on to ‘e'motion[J].Social Cognitive and Affective Neuroscience,2006,1(3):235-24 1.

[49]Izard, C. E. The face of emotion[M]. New York: Appleton-Century-Crofts,1 971.

[50]Jaak Panksepp,Douglas Watt. What is Basic about Basic Emotions? Lasting Lessons from Affective Neuroscience[J].Emotion Review,2011,3(4):387-396.

[51]James Russell, Albert Mehrabian. Evidence for a Three-Factor Theory of E motions[J].Journal of Research in Personality,1977,11:273-294.

[52]James, W. What is an emotion?[J]. Mind. 1884,9:188-205.

[53]Jones T D. The Art of Light and Color: Featuring Mobile Color Expression, Lumia, Kinetic Light--with Instructions for the Creation of Dramatic Color and Light Instruments[M].Van Nostrand Reinhold, 1972.

[54]Juslin, P. N., & Sloboda, J. A. The past, present, and future of music and emotion research[J].Handbook of music and emotion: Theory, research, applications,2010:933- 955.

[55]Juslin, P N., & Vastfjall, D. Emotional responses to music: The need to c onsider underlying mechanisms[J].Behavioral and Brain Sciences, 2008,31:559-5 75.

[56]Kaoru Hirota.Emotion space modelling for social robots[J].Engineering Appl ications of Artificial Intelligence,2021(100):1-14.

[57]Kari Kallinen, Niklas Ravaja. Emotion perceived and emotion felt: same and

different[J].Musicae Scientiae,2006,10(2):191-213.

[58]Kenneth Peacock. Instruments to Perform Color-Music: Two Centuries of Technological Experimentation[J]. LEONARDO, 1988,21(4):397-406.

[59]Li T，Ogihara M. Detecting Emotion in Music[J].2003.

[60]Lindborg P,Friberg AK. Colour Association with Music Is Mediated by Emotion: Evidence from an Experiment Using a CIE Lab Interface and Interviews[J].Plos One,2015,10(12):1-26.

[61]Linton, H. Color in architecture: Design methods for buildings, interiors and urban spaces[M]. New York: McGraw Hill,1999.

[62]Liu Y, Lu S, Chen J, et al. Greedy localization and color-coding: improved matching and packing algorithms[C]//International Workshop on Parameterized

and Exact Computation. Springer, Berlin, Heidelberg, 2006: 84-95.

[63]Lzard,C.E. Human emotions[M].New York:Plenum Press,1977.

[64]Mahnke F. Color, environment, human response[M]. New York: Van Nostrand Reinhold,1996.

[65]Marks, L. E. On associations of light and sound: The mediation of brightness, pitch, and loudness[J]. The American Journal of Psychology, 1974,87(1-2):173-188.

[66]Marks L E, Hammeal R J, Bornstein M H, et al. Perceiving similarity and comprehending metaphor[J]. Monographs of the Society for Research in Child Development, 1987: i-100.

[67]Marks L E. Cross-Modal Interactions[J]. The handbook of multisensory processes, 2004: 85.

[68]Marks LE.On colored-hearing synesthesia: Cross-modal translations of sensory dimensions[J].Psychological Bulletin,1975,82(3):303-331.

[69]Marks, L. E. Cross-modal interactions in speeded classification[M]. Cambridge, MA, US: MIT Press,2004.

[70]Marks, L. E. On colored-hearing synesthesia: Cross-modal translations of sensory

dimensions[J].Psychological Bulletin, 1975,82(3): 303-331.

[71]Marks, L. E. On colored-hearing synesthesia: Cross-modal translations of sensory dimensions[J]. Psychological Bulletin, 1975,82(3):303-331.

[72]Marks, L. E. On cross-modal similarity: Auditory-visual interactions in speeded discrimination[J].Journal of Experimental Psychology: Human Perception and Performance, 1987,13(3):384-394.

[73]Mathew Luckiesh.Color and Its Applications, 2nd Ed[M].New York, 1921.

[74]Mattingley, J. B., Rich, A. N., Yelland, G., & Bradshaw, J. L. Unconscious priming eliminates automatic binding of colour and alphanumeric form in syna

esthesia[J].Nature, 2001,410(6828):580-582.

[75]Mattingley, J.B., Rich, A.N., Yelland, G. and Bradshaw, J.L. Unconscious priming eliminates automatic binding of colour and alphanumeric form in synaesthesia[J]. Nature,2001,410:580-2.

[76]McDougall, W. An introduction to social psychology[M].Boston:Luce,1926.

[77]Mehrabian A, Russell J A. The basic emotional impact of environments[J]. Perceptual and motor skills, 1974, 38(1): 283-301.

[78]Michael Betancourt. The History of Motion Graphics: from Avant-Garde to Industry in The United States[M].Wildside Press，2013.

[79]Michael Poast. Color Music: Visual Color Notation for Musical Expression [J].Leonardo. 2000,33(3):215-221.

[80]Mills, C. B., Boteler, E. H., & Larcombe, G. K.“Seeing things in my head”: A synesthete's images for music and notes[J].Perception,2003, 32(11):1359-1376.

[81]Mills, C. B., Boteler, E. H., & Oliver, G. K. Digit synaesthesia: A case study using a Stroop-type test[J].Cognitive Neuropsychology, 1999,16(2):181-191.

[82]Molnar-Szakacs I, Overy K. Music and mirror neurons: from motion to'e'motion[J]. Social cognitive and affective neuroscience, 2006, 1(3): 235-241.

[83]Motluk, A.The sweet smell of purple[J].New Scientist,1994:32-37.

[84]Mowrer, O. H. Learning theory and behavior[M]. New York: Wiley,1960.

[85]Naz Kaya.Relationship between color and emotion: a study of college students[J].College Stusent Journal,2004,38(3):396-405.

[86]Oately,K.,&Johnson-Laird,P.N. Towards a cognitive theory of emotions[J].Co gnition & Emotion, 1987,1:29-50.

[87]Odbert HS, Karwoski TF, Eckerson AB .Studies in synesthetic thinking. I. Musical and verbal associations of color and mood[J].The Journal of General P sychology,1942,26(1):153-173.

[88]Oliver W, Yu J, Metois E. The Singing Tree: design of an interactive musi cal interface[C]//Proceedings of the 2nd conference on Designing interactive sys tems: processes, practices, methods, and techniques. 1997: 261-264.

[89]Osgood C E, Suci G J, Tannenbaum P H. The measurement of meaning[M]. University of Illinois press, 1957.

[90]Osgood,C.E. Studies on the generality of affective meaning systems[J].Amer icanPsychologist,1960,17:10-28.

[91]Ox J. Two Performances in the 21 st Century Virtual Co lor Organ[C]. In: Proceedings of the Fourth Conference on Creativity and Cognition. New York: ACM Press, 2002:20-24.

[92]Palmer, S. E., Schloss, K. B., Xu, Z., & Prado-Leon, L. R. Music-color associations are mediated by emotion[J].Proceedings of the National Academy of Sciences of the United States of America, 2013,110(22):8836-8841.

[93]Parrott, W. G., & Sabini, J. Mood and memory under natural conditions: Evidence for mood incongruent recall[J].Journal of Personality and Social Psychology, 1990,59:321-336.

[94]Patricia Valdez, Albert Mehrabian. Effects of Color on Emotions[J]. Journa l ofExperimental Psychology: General,1994,123(4):394-409.

[95]Peacock, K. Synesthetic perception: Alexander Scriabin's color hearing[J].Music

Perception, 1985,2(4):483-506.

[96]Plutchik, R. A general psychoevolutionary theory of emotion[J].Theories of emotion,1980,3-33.

[97]Plutchik,R. The emotions: Facts, theories, and a new model[M].New Vbrk: Random House,1962.

[98]Quinto,A.,Thompson,W.F.,Taylor,A. The contributions of compositional struct ure and performance expression to the communication of emotion in music[J].P sychology of Music,2014,42(4):503-524.

[99]Rimington, Alexander Wallace.Colour-Music The Art Of Mobile Colour[M]. Hutchinson, London, 1912.

[100]Roels J M, Van Petegem P. The integration of visual expression in music education for children[J]. British journal of music Education, 2014, 31(3): 297-317.

[101]Roi Cohen Kadosh,Devin B. Terhune. Redefining synaesthesia?[J].British Journal of Psychology,2012,103:20-23.

[102]Romero C，Ventura S.Educational data mining：a survey from 1995 to 20 05[J].Expert Systems with Applications,2007,33(1):135-146.

[103]Romero,C.,Ventura,S.,Pechenizkiy,M.Handbook of educational data mining[M]. CRC press, 2010.

[104]Rothen, N., Seth, A. K., Witzel, C., & Ward, J. Diagnosing synaesthesia with online colour pickers: Maximising sensitivity and specificity[J].Journal of Neuroscience Methods,2013,215(1):156-160.

[105]Russell J A, Mehrabian A. Evidence for a three-factor theory of emotions[J].

Journal of research in Personality, 1977, 11(3): 273-294.

[106]Russell J A, Mehrabian A. Evidence for a three-factor theory of emotions[J]. Journal of research in Personality, 1977, 11(3): 273-294.

[107]Russell,J.A. A circumflex model of affect[J].Journal of Personality and Soc ial Psychology,1980,39:1161-1178.

[108]Saito, M. Comparative studies on color preference in Japan and other Asian regions, with special emphasis on the preference for white[J]. Color Research and Application, 1996,21 (1):35-49.

[109]Schlosberg,H. The description of facial expressions in terms of two dimen sions[J].Journal of Experimental Psychology,1952,44:229-237.

[110]Schlosberg,H. Three dimensions of emotion[J].Psychological Review,1954,6 1:81-88.

[111]Schloss K B, Lawler P, Palmer S E. The color of music[J]. Stress, 2008, 2(r2):95.

[112]Schneider W. Sinn und Un-Sinn: Umwelt sinnlich erlebbar gestalten in Architektur und Design[M]. Bau-Verlag, 1987.

[113]Simner, J. Defining synaesthesia[J].British Journal of Psychology, 2012,103:1-15.

[114]Simner, J., Harrold, J., Creed, H., Monro, L., & Foulkes, L. Early detection of markers for synaesthesia in childhood populations[J]. Brain, 2009,132(1):57-64.

[115]Taylor R, Boulanger P, Torres D. Visualizing Emotion in Musical Perform ance Using a Virtual Character[C]. In: 5th International Symposium on Smart Graphics, Munich, Germany, 2005:13-24.

[116]Terwogt, M. M., & Hoeksma, J. B. Colors and emotions: Preferences and combinations[J]. The Journal of General Psychology, 1995,122(1):5-17.

[117]Thayer,R.E. Toward a psychological theory of multidimensional activation (arousal)[J].Motivation and Emotion,1978,2:1-34.

[118]Tom Douglas Jones. The Art of Light and Color[M].New York: Van Nostrand Reinhold, 1972.

[119]Tomkins, S. S. Affect theory[J]. Approaches to emotion,1984:163-195.

[120]Tomkins, S. S. Affect theory[J]. Approaches to emotion,1984:163-195.

[121]Tomkins, S.S. Affect,imagery, consciousness: Vol. II.The negative affects [M].New York: Springer Publishing,1963.

[122]Tomkins,S.S. Affect,imagery, consciousness: Vol. I.The positive affects[M].

NewYork: Springer Publishing,1962.

[123]Tsang,T.,&Schloss,K.B. Associations between Color and Music are mediated by Emotion and Influenced by Tempo[J].Yale Review of Undergaraduate Research in Psychology,2010,1:82-92.

[124]Tsiounta M, Staniland M, Patera M. Why is classical music yellow: A colour and sound association study[C]//AIC 2013-12th Congress of the International Colour Association. 2013.

[125]Tsiounta, M., Staniland, M., & Patera, M. Why is classical music yellow: A colour and sound association study[J]. In 12th Congress of the International Colour Association. Newcastle,2013.

[126]Valdez P, Mehrabian A. Effects of color on emotions[J]. Journal of experimental psychology: General, 1994,123(4): 394.

[127]Vernon, P. E.Synaesthesia in music[J].Psyche, 1930,10(2):2-39.

[128]Walker P, Bremner J G, Mason U, et al. Preverbal infants' sensitivity to synaesthetic cross-modality correspondences[J]. Psychological Science, 2010, 21(1): 21-25.

[129]Walker, P., Bremner, J. G., Mason, U., Spring, J., Mattock, K., Slater, A., & Johnson, S. P. Preverbal infants'sensitivity to synaesthetic cross-modality Cor respondences[J].Psychological Science,2010,21(1): 21-25.

[130]Wallerstedt C, Pramling N. Conceptualising early childhood arts education:

The cultivation of synesthetic transduction skills[J]. International Journal of Ea rly Childhood, 2012, 44(2): 127-139.

[131]Ward J, Huckstep B, Tsakanikos E. Sound-colour synaesthesia: To what extent does it use cross-modal mechanisms common to us all?[J]. Cortex, 2006, 42(2): 264280.

[132]Ward, J. Synesthesia[J].Annual Review of Psychology, 2013,64(1):49-75.

[133]Ward, J., Huckstep, B., & Tsakanikos, E. Sound-colour synaesthesia: To what

extent does it use cross-modal mechanisms common to us all?[J].Cortex, 2006a,42(2):264-280.

[134]Watson, J.B. Behaviorism[M]. Chicago:University of Chicago Press,1930.

[135]Watson,D.,&Tellegen,A. Toward a consensual structure of mood[J].Psycholo gical Bulletin,1985,98:219-235.

[136]Weiner, B., & Graham, S. An attributional approach to emotional develop ment[J].Emotions, cognition, and behavior,1984:167-191.

[137]Wexner, L. B.The degree to which colors (hues) are associated with mood- tones[J].The Journal of Applied Psychology, 1954,38:432-435.

[138]Wexner,L.B. The degree to which colors (hues) are associated with mood- tones[J].The Journal of Applied Psychology,1954,38:432-435.

[139]Wundt W. Outlines of Psychology[M].The Monist,1896.

[140]Zamm, A., Schlaug, G., Eagleman, D. M., & Loui, P.Pathways to seeing music: Enhanced structural connectivity in colored-music synesthesia[J].NeuroImage, 2013,74:359-366.

【本文地址：http://www.bzhlmm.com//shuoshilunwenzhuanti/jioayushuoshilunwen/4530.html】

上一篇：山東特殊教育職業學院補償性景觀設計研究

下一篇：小學美術社會設計教育的實踐研究 ——以社區建筑設計《住屋?助屋?筑屋》單元課程為例

相關標簽:

最熱期刊