位置:51电子网 » 技术资料 » 其它综合

视频检索技术在有线电视监测系统中的应用

发布时间:2008/8/12 0:00:00 访问次数:388

1引言

  全国有线广播电视监测网是基于国家广电骨干网和省级干线网而建设的大型监测网络系统;随着地面无线电视纳入其监测范围,使得监测规模越来越大被监测的频道和电视节目数越来越多。视频信息技术的发展导致多媒体数据库日益庞大,一些特殊应用需要快速地完成特定目标视频片断的检索查询,特别作为广播电视监测部门,更要面对与日俱增的广告、视频节目及特定内容的快速检索。在一个视频节目中,如何快速查找某段节目(或某几帧)是否存在、播放的起止时间等信息、传统的方法是靠人工将视频节目文件逐一播放,查找所要的内容,整个过程耗时费事,效率低,劳动强度大。因而人工检索方式无法满足多媒体信息快速检索需求,特别是对在存储的视频节目中寻找指定的视频片断这样的应用需求。因此,需要建立一套快速的智能视频检索系统.以提高有线电视监测数据统计、分析和报告的质量和效率。

2视频检索技术简介

  视频检索技术是世界各国学者研究的热点问题之一,如基于压缩域的视频检索、基于语义的视频检索以及动态特征的提取等。目前,国内外已研究出多个视频检索系统,如:ibm almaden研究中心开发的qbic(query byimage content)系统,美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同研究的、一种在互联网上使用的"基于内容"的检索系统visualseek,清华大学开发的视频节目管理系统tv-fi(tsinghua videofind lt)等。

  视频检索把图像检索、模式识别、图像数据库等技术成果结合了起来,会有广阔的发展前景。

  视频检索是从大量的视频数据中找到所需的视频片断及自动统计出所需要的信息。用户提供的例子(模板)或特征描述,系统就能够自动地找到所需的视频片断点,即实现基于内容的视频检索。通常,一段视频可以划分为几个场景,每个场景包含一个或多个镜头,每个镜头又由一系列连续记录的图像帧组成。因此,原始视频可以按照由粗到细的顺序划分为几个层次结构:视频(video)、场景(scene)、镜头(shot)和图像帧(frame)。视频和图像帧是视频本身就具有的结构,而镜头和场景是人为分离出来的结构。镜头一般是由摄像机一次摄像的开始和结束的所有帧构成,表示一个物理概念。而场景是指一连串语义相关的镜头,一般发生在相同的时间和地点,出现相同的人物或事件,表示的是一个语义概念。通过视频解析技术提取出镜头和场景后,可以用一帧或几帧来表示它们,这样当检索需要视频资料时,就不用从头到尾地查找一段视频,而是通过关键帧的非线性浏览来快速定位查询的内容,同时这种方式也有助于我们快速理解一段原始视频的内容,以决定是否是需要的资料。

  根据有线电视监测的应用需求.首先利用抽取关键帧的方法,将视频检索转化为图像检索,基于内容的图像检索理论和方法便可以很方便地应用于图像检索当中。基于内容的图像检索,是指通过对图像视觉特征和上下文联系的分析,提取出图像的内容特征作为图像索引来得到所需图像,然后通过视频片断的匹配定位出需要查找的视频片断的位置,为查询、下载、观看所用。

3视频检索的关键技术

  视频检索的关键技术主要有:图像特征提取、图像特征的相似性度量、关键帧提取、视频片断匹配和评价指标等。

(1)图像特征提取

  图像特征提取是针对图像内容的底层物理特征进行提取.如颜色直方图、图像轮廓特征等。特征的表示方式有三种:数值信息、关系信息和文字信息。目前,多数系统采用的都是数值信息。

(2)图像特征的相似性度量

  相似性度量在镜头检索上,早期的工作主要是从镜头中提取关键帧,把镜头检索转化为图像检索。例如,在通常情况下,图像的特征向量可看作是多维空间中的一点,因此,用特征空间中点与点之间的距离来代表它们的匹配程度。距离度量是一个比较常用的方法,还有相关计算、关联系数计算等。此外,目前研究的问题还在于怎样对视频中的时间信息充分进行利用。

  相似性度量在片段检索上,把视频片段分为片段、帧两层考虑,片段的相似性利用组成帧的相似性来直接度量,缺点在于限制相似的片段必须遵守同样的时间顺序,这种基于每帧的比较,也使得检索速度比较慢。

(3)关键帧提取

  关键帧是用于描述一个镜头的关键图像帧,它反映一个镜头的主要内容。关键帧的选取一方面必须能够反映镜头中的主要事件,因而描述应尽可能准确完全;另一方面,为便于管理,数据量应尽量小,且计算不宜太复杂。

  关键帧的选取方法很多,比较经典的有帧平均法和直方图平均法。帧平均法是从镜头中取所有帧在某个位置上像素值的平均值,然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧;直方图平均法则是将镜头中所有帧的统计直方图取平均,然后选择与该平均直方图最接近的帧作为关键帧。

(4)视频片断匹配

  先找出视觉上相似的片段,再根据不同的因子

1引言

  全国有线广播电视监测网是基于国家广电骨干网和省级干线网而建设的大型监测网络系统;随着地面无线电视纳入其监测范围,使得监测规模越来越大被监测的频道和电视节目数越来越多。视频信息技术的发展导致多媒体数据库日益庞大,一些特殊应用需要快速地完成特定目标视频片断的检索查询,特别作为广播电视监测部门,更要面对与日俱增的广告、视频节目及特定内容的快速检索。在一个视频节目中,如何快速查找某段节目(或某几帧)是否存在、播放的起止时间等信息、传统的方法是靠人工将视频节目文件逐一播放,查找所要的内容,整个过程耗时费事,效率低,劳动强度大。因而人工检索方式无法满足多媒体信息快速检索需求,特别是对在存储的视频节目中寻找指定的视频片断这样的应用需求。因此,需要建立一套快速的智能视频检索系统.以提高有线电视监测数据统计、分析和报告的质量和效率。

2视频检索技术简介

  视频检索技术是世界各国学者研究的热点问题之一,如基于压缩域的视频检索、基于语义的视频检索以及动态特征的提取等。目前,国内外已研究出多个视频检索系统,如:ibm almaden研究中心开发的qbic(query byimage content)系统,美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验室共同研究的、一种在互联网上使用的"基于内容"的检索系统visualseek,清华大学开发的视频节目管理系统tv-fi(tsinghua videofind lt)等。

  视频检索把图像检索、模式识别、图像数据库等技术成果结合了起来,会有广阔的发展前景。

  视频检索是从大量的视频数据中找到所需的视频片断及自动统计出所需要的信息。用户提供的例子(模板)或特征描述,系统就能够自动地找到所需的视频片断点,即实现基于内容的视频检索。通常,一段视频可以划分为几个场景,每个场景包含一个或多个镜头,每个镜头又由一系列连续记录的图像帧组成。因此,原始视频可以按照由粗到细的顺序划分为几个层次结构:视频(video)、场景(scene)、镜头(shot)和图像帧(frame)。视频和图像帧是视频本身就具有的结构,而镜头和场景是人为分离出来的结构。镜头一般是由摄像机一次摄像的开始和结束的所有帧构成,表示一个物理概念。而场景是指一连串语义相关的镜头,一般发生在相同的时间和地点,出现相同的人物或事件,表示的是一个语义概念。通过视频解析技术提取出镜头和场景后,可以用一帧或几帧来表示它们,这样当检索需要视频资料时,就不用从头到尾地查找一段视频,而是通过关键帧的非线性浏览来快速定位查询的内容,同时这种方式也有助于我们快速理解一段原始视频的内容,以决定是否是需要的资料。

  根据有线电视监测的应用需求.首先利用抽取关键帧的方法,将视频检索转化为图像检索,基于内容的图像检索理论和方法便可以很方便地应用于图像检索当中。基于内容的图像检索,是指通过对图像视觉特征和上下文联系的分析,提取出图像的内容特征作为图像索引来得到所需图像,然后通过视频片断的匹配定位出需要查找的视频片断的位置,为查询、下载、观看所用。

3视频检索的关键技术

  视频检索的关键技术主要有:图像特征提取、图像特征的相似性度量、关键帧提取、视频片断匹配和评价指标等。

(1)图像特征提取

  图像特征提取是针对图像内容的底层物理特征进行提取.如颜色直方图、图像轮廓特征等。特征的表示方式有三种:数值信息、关系信息和文字信息。目前,多数系统采用的都是数值信息。

(2)图像特征的相似性度量

  相似性度量在镜头检索上,早期的工作主要是从镜头中提取关键帧,把镜头检索转化为图像检索。例如,在通常情况下,图像的特征向量可看作是多维空间中的一点,因此,用特征空间中点与点之间的距离来代表它们的匹配程度。距离度量是一个比较常用的方法,还有相关计算、关联系数计算等。此外,目前研究的问题还在于怎样对视频中的时间信息充分进行利用。

  相似性度量在片段检索上,把视频片段分为片段、帧两层考虑,片段的相似性利用组成帧的相似性来直接度量,缺点在于限制相似的片段必须遵守同样的时间顺序,这种基于每帧的比较,也使得检索速度比较慢。

(3)关键帧提取

  关键帧是用于描述一个镜头的关键图像帧,它反映一个镜头的主要内容。关键帧的选取一方面必须能够反映镜头中的主要事件,因而描述应尽可能准确完全;另一方面,为便于管理,数据量应尽量小,且计算不宜太复杂。

  关键帧的选取方法很多,比较经典的有帧平均法和直方图平均法。帧平均法是从镜头中取所有帧在某个位置上像素值的平均值,然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧;直方图平均法则是将镜头中所有帧的统计直方图取平均,然后选择与该平均直方图最接近的帧作为关键帧。

(4)视频片断匹配

  先找出视觉上相似的片段,再根据不同的因子

相关IC型号

热门点击

 

推荐技术资料

罗盘误差及补偿
    造成罗盘误差的主要因素有传感器误差、其他磁材料干扰等。... [详细]
版权所有:51dzw.COM
深圳服务热线:13692101218  13751165337
粤ICP备09112631号-6(miitbeian.gov.cn)
公网安备44030402000607
深圳市碧威特网络技术有限公司
付款方式


 复制成功!