中国传媒大学信息工程学院  

蓝善祯 徐品

1、MPEG-4多媒体系统架构（简要概述）

2、多媒体广播系统框架

    （2、有线电视网，带宽）   

3、实现 

a、本地交互思想

b、多媒体流的同步

未来技术发展趋势  多核cpu对多媒体广播的影响

摘要

    本文设计并实现了一种基于有线电视网的多媒体广播系统，提供了一种从发送端到接收端的解决方案。该系统实现了MPEG-4最具特色的本地交互方式，即用户终端对传送到本地数据流中的对象自由提取和控制，可以任意摆放对象的空间位置、修改对象的尺寸大小甚至取消对象。该系统在上传输4路节目内容和节目内容描述信息，以及手语和广告通道。最后，针对多线程编程，作者通过实验分析了多核CPU在性能上的提升。

关键词

MPEG-4 基于内容的编码 多媒体传送综合框架—DMIF 场景描述 对象同步

1 引言

2008年，国家广播电影电视总局有关人士指出了广播电视行业下一步发展的重点。从中可以看出，发展数字电视及其增值业务，努力提升用户体验，让电视机最终成为一个“全信息”的媒体终端，是摆在我们面前的迫切任务。其中，如何为电视台（特别是有线台）开展数字电视增值业务一直是人们的关注的热点。

为此，本文介绍了一种基于有线电视网的多媒体广播系统，在一个电视频道内同时为用户传送多路多媒体信息，如视频、静止图象、超文本、音频等，使用户可同时观看电视节目和多媒体内容。该系统还具有丰富的本地交互功能，用户可以自己控制和选择多媒体节目内容。该系统提供了一种增值业务的具有实现方式，具有一定的实用参考意义。

2 多媒体广播系统架构

1999年3月MPEG公布了多媒体压缩编码标准MPEG-4—ISO/IEC 14496。MPEG-4是一个庞大的有关交互多媒体编码与通信的标准，它能全部满足通信、计算机和广电业的迅速融合所提出的要求。

2.1 场景描述—BIFS

MPEG-4特有的内容是场景描述，它规定了多媒体元素对象的表示和统一描述形式。场景描述用于描述场景的布置、对象位置、大小和透明度等。场景描述的分级结构还包括对象描述子，用于描述各个逻辑对象，含有对象基本流识别信息、解码规定信息和原始对象解码标准等信息。

多媒体广播系统可以利用场景描述来实现本地交互功能，在场景描述中可设置事件触发节点，感知点击，触发对象变化。场景描述可采用二进制编码，因而称为Binary Information For Scenes（简称BIFS）。

2.2 多媒体传送整体框架—DMIF

ISO/IEC提出多媒体传送整体框架DMIF，主要面对的是网络、广播和本地存储三种环境下的多媒体传输问题。DMIF位于同步层和传输层之间，它对同步层提供了一个透明的、统一的接口DAI（DMIF Application Interface），对传输层提供了复用功能，定义了一个抽象接口DNI（DMIF Network Interface）。面对不同的网络传送技术和操作场景，DMIF都有一个相同的调用接口。

DMIF的工作流程为：

（1）系统编码完成后，将原始的视音频流压缩为基本流ES（Elementary Streams）。在这些ES 中包含基本的视频信息、BIFS信息和OD（Object Descriptor）信息。这些信息统称为AU（Access Unit），然后把AU传送到同步层。

（2）同步层提供媒体间的同步，和压缩层的接口是ESI，AU被加上同步信息，封装成一个分组SL（Synchronization Layer），通过DAI接口发送到DMIF层。

（3）DMIF层（也叫FlexMux Layer）提供了复用工具，把具有相同Qos 要求或是较低编码速率的ES复用，以充分利用网络资源。再通过DNI接口传送到传输层。

（4）传输层使用的现有的各种协议，对视频采用RTP/RTCP是较好的解决方案，既保证了低时延，又有好的可靠性。

2.3 同步层（是否需要？？？）

3 系统设计（也就是具体实现）

3.1 系统总体设计

在MPEG-4系统架构基础上，采用合适的硬件和软件结构可构建一套多媒体广播系统。下图所示是实验室搭建的基于有线电视网的多媒体广播系统平台结构图。其中的物理传输层采用的是ASI发送/接收卡。该系统实现了多媒体广播功能，同时具有本地交互功能。用户可以自己控制和选择多媒体节目内容。

根据多媒体广播系统的设计要求，整个基于有线电视网的多媒体软件系统主要由播出服务系统和客户端实时播放系统组成。实验系统软件设计采用面向对象的程序设计方法，在Visual C++6.0环境中实现。客户端采用DirectDraw技术进行显示。

3.2 媒体流管理类的设计

如下图所示为系统中的数据流向图，从中可以看到，对于每一个数据流的管理非常重要。

CmediaStream 

服务器端通过DMIF层将多媒体数据流复用后，再利用ASI发送卡输出到有线电视网上，经过分支器进行衰减，客户端的PC机使用ASI接收卡接收数据。

A 丰富的本地交互功能

利用场景描述BIFS，实现对象交互操作的关键机制。MPEG-4系统的交互方式分为本地交互和服务器端交互。本地交互是MPEG-4最具特色的方式，这是在MPEG-4用户终端对传送到本地数据流中的对象自由提取和控制，某些对象也可以通过网络装载到终端；服务器端交互是，用户终端以点播的方式从前端服务器获取自己所需对象，可控制服务器的进、退和播放。

电视数字化和网络化必然大力发展增值业务和新媒体，而交互和个性化服务是增值业务最具魅力的业务。视频点播已是众所周知的一种交互方式，而基于对象的交互方式是一种最新的具有挑战性的方式，我们选择研究后者。我们首先研究模拟有线电视网中实现本地交互的多媒体广播应用系统，以电脑为显示终端，使用户不是被动地收看电视台导演合成的画面内容，而是可以自己布置画面结构，自由选择显示对象和信息，同时又不间断收看主节目。

MPEG-4丰富的交互功能有很大吸引力，对于网上游戏、信息交流、远程教育、数字电视的增值业务和生动的EPG等交互内容具有特殊的效果，对数字电视和多媒体传输有广阔的应用前景。现在国际上已有电视的体育节目、电视增值业务、远程教育、电视购物、企业网络业务等许多应用。

在我们的实验系统中是一个体育比赛节目，有四路MPEG-4视频流播出比赛现场情况，终端用户可以自由选择观看其中任何一路；一路信息流介绍运动队和得分情况，终端用户随时可以获取运动员信息；两路QCIF视频画面分别作为广告和虚拟主持人画面。

3.2 媒体流的同步

由于MPEG-4只定义了同步层语法，没有给出具体方案，因此我们必须自己来定出与实际应用相适应的同步方案。

图  多媒体广播系统软件结构图

一般地，一个多媒体广播系统主要分为为五个部分：媒体数据采集、编码压缩、网络传输、解码、媒体表现。为了在各个媒体流间取得良好的同步效果，需要分别对每个部分采取相应策略。而后面三个部分是同步处理时所要考虑的重点。

2.1　网络传输的同步策略

我们采用的是ASI卡+PC机来模拟有线电视网络。有线电视网中不存在网络拥塞问题，不存在因网络拥塞导致数据不能及时到达而被丢弃的现象。

视音频数据先复用打包后，再使用ASI API函数打包成TS传输流。我们把ASI的发送和接收模块分别封装成动态库，使外部调用更加方便。

2.2　解码部分的同步策略

视频流到达解码器时,通常不会马上就解码,需要进入缓冲区,直到DTS 时刻才开始解码。一般而言,如果某帧在DTS已经小于当前时刻,则说明它已经超过了解码时刻,从而被弃。

2.2　媒体播放的同步策略

4 具体实现（在哪儿加一个系统流程图或者数据流向图）

4.1 对ASI卡的封装

4.2 媒体流管理类

4.3 编解码插件技术

4.4 DirectDraw显示

5 实验结果

    系统界面

五 未来技术的发展趋势 （多核cpu对多媒体广播系统的影响）

CPU技术发展非常迅速，双核、四核CPU已经被广泛使用。多核必将是CPU的未来发展方向。另外，本文的多媒体广播系统采用了多线程编程技术。广播系统中线程数量非常多，特别在用户接收端线程数量最高达到100个。为此，我们通过具体实验分析了多核CPU对多媒体广播系统的影响，进而研究多核CPU对多线程编程性能的提升。以下是实验数据和对比结果。

测试条件：（操作系统：Windows XP sp2）

1)DMIF（Delivery Multimedia Integration Framework）接收模块：为服务器提供用于播出的媒体数据，其可能来自网络或本地存储介质。

2)播出控制：将各种媒体数据组合，形成对象描述子流（图中的OD流）、场景描述流（图中的BIFS流）、以及各种媒体数据流。

3)同步层：根据各种基本流的配置信息，即相应的对象描述符，将各种基本流打包为SPS流——同步层打包流。

4)FlexMux层：进行FlexMux灵活复用，利用它可以提高传输效率。

5)传输管理模块：实现传输发送功能，细分为传输管理、控制信令和数据通道三个子模块。传输管理子模块负责管理和控制整个传输模块的运行；控制信令子模块负责实现如会话建立、会话释放、通道建立、通道删除等功能；数据通道负责实现实际的数据接收。

6)传输网络：基于IP组播协议的物理传输网络。

】下载本文