一种图像向音乐转化的方法
发布时间:2008/5/27 0:00:00 访问次数:467
一种图像向音乐转化的方法
摘 要 对图像与音乐之间的映射关系及映射规律进行了探讨 利用图像与音乐之间的对应关系 根据一定的科学与艺术规则 提出相应的算法将图像的原始信息转化为midi音乐。
关键词 图像 音乐 图像向音乐转化 同构联觉 midi音乐
自古以来书画和音乐就是一对孪生姐妹，当人们陶醉于世界大师笔下的美术与摄影作品的水墨丹青之时，一首基于该作品的美妙音乐似乎就萦绕在耳旁。例如，在欣赏“奔腾黄河”的画卷时，人们似乎能听到黄河的咆哮声；在欣赏“山林晨曲”的画卷时，人们又好象听到了山间小溪的潺潺流水声、林中小鸟委婉动听的歌唱声。本研究受以上联想的启发，根据一定的科学与艺术规则，探索图像与音乐之间的映射关系和映射规律，将图像信息转化为midi音乐，使人们第一次感受到“听画”的惊喜。
１ 图像与音乐的对应关系
无论是西方社会还是东方社会，都有人把音乐与颜色对应起来。例如，早在十七世纪物理学家牛顿就曾以赤、橙、黄、绿、青、蓝、紫对应于c、d、、f、g、a、七个音名。音乐的高低指音响有规律的排序即由低到高再由高到低形成一种和谐的阶梯式音列；音乐的旋律是指一条条由音符串缀起来的线条，它是根据人的情感的高低起伏将音符或级进或跳跃组合形成的；而图像中多彩缤纷的景色也是根据人的情感用丹青层层递进绘出的。音乐中音调的变化快慢，即音的长短，形成了节奏。节奏在音乐作品中总是与节拍结合在一起的。音无论长短，在一个小节的单位范围内，其奏鸣总有循环往复的轻拍与重拍的交替。一般而言，节奏由于有了强弱节拍的内在韵律，又由于有音的长短内外对比的交错，往往显示一种力度。这种力度正是支持旋律流动的支架。由于节奏支撑着音调，在时间过程中展开，因此，它就与音乐进行的快慢息息相关。而速度快慢可以使音高与长短，即旋律与节奏产生不同的表现效果；对于图像而言，它本身也有色彩、亮度等变化剧烈或平缓的表现，人们形容图像作品时也常用诸如明快、暗淡、柔和、粗犷之类的音乐术语进行描述。
音乐是在时间中展开、以诉诸听觉的声音为基本材料的艺术。因此时间及表示声音基本特征的音调、音强、音色就构成了音乐的基本要素。在人的体验中，听觉的高频音和视觉中明亮的色调具有一种潜在的联系，这种联系给人以“上升的感觉”；反之，听觉中的低频音与视觉中黑暗的色调由于与“下沉的感觉”相类似而被联系在一起。音调越‘低沉’，体验到的颜色越‘深’；反之，较‘高’的音调会引起‘浅’亮的感觉。因此可以看出，音乐与颜色有着明显的直觉类比关系。因此直觉体验方向上的相同就使不同感觉视觉与听觉之间发生同构联觉。
２ 图像向音乐的转化
图像向音乐转化的系统框图如图１所示，首先将图像文件中的数据读入文本文件；再对文本文件中的数据进行处理；然后将处理后的数据转化成规定好的“音乐符号”；最后将“音乐符号”转换成midi音乐。
由于音乐与颜色之间存在直觉类比关系，所以本文中图像信息向音乐的转换不是指通常意义上的多媒体技术，而是利用图像与音乐之间的对应关系，根据一定的科学与艺术规则提出相应的算法，对图像的原始信息进行处理后转化为midi音乐。
2.1 图像数据的读取与颜色模型
本论文是用24位真彩bmp文件格式存放图像rgb的灰度值，但由于hsv（色彩ｈ、饱和度ｓ、明度ｖ）模型是直接与艺术家使用颜色的直观表现相联系的，所以为了更贴近人的感觉，本系统进行处理的图像数据采用的是颜色模型hsv中的色彩（h）信息。这里通过式(1)所示的rgb模型与hsv模型之间的转换关系式将rgb模型的灰度值数据转换为hsv模型的数据。
一种图像向音乐转化的方法
摘 要 对图像与音乐之间的映射关系及映射规律进行了探讨 利用图像与音乐之间的对应关系 根据一定的科学与艺术规则 提出相应的算法将图像的原始信息转化为midi音乐。
关键词 图像 音乐 图像向音乐转化 同构联觉 midi音乐
自古以来书画和音乐就是一对孪生姐妹，当人们陶醉于世界大师笔下的美术与摄影作品的水墨丹青之时，一首基于该作品的美妙音乐似乎就萦绕在耳旁。例如，在欣赏“奔腾黄河”的画卷时，人们似乎能听到黄河的咆哮声；在欣赏“山林晨曲”的画卷时，人们又好象听到了山间小溪的潺潺流水声、林中小鸟委婉动听的歌唱声。本研究受以上联想的启发，根据一定的科学与艺术规则，探索图像与音乐之间的映射关系和映射规律，将图像信息转化为midi音乐，使人们第一次感受到“听画”的惊喜。
１ 图像与音乐的对应关系
无论是西方社会还是东方社会，都有人把音乐与颜色对应起来。例如，早在十七世纪物理学家牛顿就曾以赤、橙、黄、绿、青、蓝、紫对应于c、d、、f、g、a、七个音名。音乐的高低指音响有规律的排序即由低到高再由高到低形成一种和谐的阶梯式音列；音乐的旋律是指一条条由音符串缀起来的线条，它是根据人的情感的高低起伏将音符或级进或跳跃组合形成的；而图像中多彩缤纷的景色也是根据人的情感用丹青层层递进绘出的。音乐中音调的变化快慢，即音的长短，形成了节奏。节奏在音乐作品中总是与节拍结合在一起的。音无论长短，在一个小节的单位范围内，其奏鸣总有循环往复的轻拍与重拍的交替。一般而言，节奏由于有了强弱节拍的内在韵律，又由于有音的长短内外对比的交错，往往显示一种力度。这种力度正是支持旋律流动的支架。由于节奏支撑着音调，在时间过程中展开，因此，它就与音乐进行的快慢息息相关。而速度快慢可以使音高与长短，即旋律与节奏产生不同的表现效果；对于图像而言，它本身也有色彩、亮度等变化剧烈或平缓的表现，人们形容图像作品时也常用诸如明快、暗淡、柔和、粗犷之类的音乐术语进行描述。
音乐是在时间中展开、以诉诸听觉的声音为基本材料的艺术。因此时间及表示声音基本特征的音调、音强、音色就构成了音乐的基本要素。在人的体验中，听觉的高频音和视觉中明亮的色调具有一种潜在的联系，这种联系给人以“上升的感觉”；反之，听觉中的低频音与视觉中黑暗的色调由于与“下沉的感觉”相类似而被联系在一起。音调越‘低沉’，体验到的颜色越‘深’；反之，较‘高’的音调会引起‘浅’亮的感觉。因此可以看出，音乐与颜色有着明显的直觉类比关系。因此直觉体验方向上的相同就使不同感觉视觉与听觉之间发生同构联觉。
２ 图像向音乐的转化
图像向音乐转化的系统框图如图１所示，首先将图像文件中的数据读入文本文件；再对文本文件中的数据进行处理；然后将处理后的数据转化成规定好的“音乐符号”；最后将“音乐符号”转换成midi音乐。
由于音乐与颜色之间存在直觉类比关系，所以本文中图像信息向音乐的转换不是指通常意义上的多媒体技术，而是利用图像与音乐之间的对应关系，根据一定的科学与艺术规则提出相应的算法，对图像的原始信息进行处理后转化为midi音乐。
2.1 图像数据的读取与颜色模型
本论文是用24位真彩bmp文件格式存放图像rgb的灰度值，但由于hsv（色彩ｈ、饱和度ｓ、明度ｖ）模型是直接与艺术家使用颜色的直观表现相联系的，所以为了更贴近人的感觉，本系统进行处理的图像数据采用的是颜色模型hsv中的色彩（h）信息。这里通过式(1)所示的rgb模型与hsv模型之间的转换关系式将rgb模型的灰度值数据转换为hsv模型的数据。
相关技术资料- 5-13业界新型“Dauerpower”逆变器SiC MOS
- 5-13电源管理芯片 (PMIC)应用详解
- 5-13 Power Management Buck/降压转换器̴
- 5-13AI GPU 和 TPU的超高功率密度电源模块
- 5-13高性能CMOS图像传感器芯片参数设计
- 5-13四丛集架构10核心方案SS1101处理器
- 5-12全界面量子芯片调控分析应用软件 Visage
- 5-1212nm FFC 工艺 HIFI5 DSP 系列芯片
- 5-12最新全场景座舱芯片X9SP
- 5-12安全芯片、电动汽车用功率驱动芯片应用标准
- 5-12MIPI A-PHY功率及通信芯片技术介绍
- 5-12新一代Harmony OS 5 操作系统技术应用探究
- 相关IC型号
深圳服务热线：13692101218 13751165337
粤ICP备09112631号-6(miitbeian.gov.cn)
公网安备44030402000607深圳市碧威特网络技术有限公司
付款方式
把51电子网设为首页 把51电子网加入收藏夹 给51电子网投诉建议
库存上载：service@51dzw.com
版权所有:51dzw.COM 粤ICP备09112631号-6(miitbeian.gov.cn) 服务热线(深圳)：13751165337 13692101218 传真：0755-83035052 投诉电话:0755-83030533
