开云·(中国)官方网站-IOS/Android通用版/手机app

开云·(中国)官方网站 诚信为本:市场永远在变,诚信永远不变。
开云·(中国)官方网站-IOS/Android通用版/手机app

咨询热线:

400-123-4567





【精选】视听媒体微服务关键技术研开云究及行业应用

发布时间:2023/08/19    浏览次数:

  开云当前,视听媒体领域普遍存在着融合媒体发展环境下传统的技术架构不能适应发展要求的问题,广播电视媒体不能满足互联网化的内容快速迭代与多样化服务发展需求,国内外主流媒体及互联网视听媒体企业都在探索适应媒体转型需求的技术支撑架构体系。国外视听媒体机构使用和自研的微服务技术各自独立,未实现互联互通,导致微服务模块无法得到资源共享开云,形成了资源孤岛。

  为解决以上问题,本文从行业总体现状和适应范围出发,提出了一种视听媒体行业新一代业务支撑软件体系的新模式、新方法,即视听媒体微服务架构(MMA,Media Microservice Architecture)技术。以下将从视听媒体微服务架构及关键技术、视听媒体微服务模块资源池以及MMA在行业的应用等方面进行介绍。

  郏涛,博士,高级工程师,主要从事广播电视和视听新媒体、县级融媒体等相关领域的标准研究、计量测试、项目可行性研究等方面的工作,目前担任国家重点研发计划“视听媒体微服务关键技术研究与应用”项目课题2“微服务架构下的视听媒体超高清内容及服务标准与服务认证技术研究”课题负责人。

  视听媒体微服务架构是以应对视听媒体内容快速迭代与多样化服务发展需求,以微服务技术为核心,专门为媒体行业设计的通用软件架构。MMA的设计将行业各类重要业务纳入对应的微服务层级。MMA架构涵盖了基础设施适配层、微服务治理能力层、媒体业务能力层、平台服务层、应用集成层5个层级,完整架构图见图1。

【精选】视听媒体微服务关键技术研开云究及行业应用(图1)

  针对视听媒体场景中事务处理资源开销大、计算量波动大的高资源、高成本特点,提出了一种适用于视听媒体的微服务高效对接技术,具体包含微服务应用流量调度和微服务运行资源调度两方面。微服务应用流量调度层面,在微服务通用的单数据中心注册发现、多数据中心注册发现技术的基础上开云,提出微服务路由技术,提供统一的、灵活的全局注册发现策略调整机制,解决微服务在局部资源量或成本受限情况下多数据中心按服务能力流量合理接入和动态分配问题。微服务运行资源调度层面,在通用的单数据中心扩缩容技术的基础上,提出多数据中心多类型资源的大规模弹性扩缩容技术,解决视听媒体微服务模块扩缩容的效率和成本问题。

  视听媒体领域,版权、监管、运营商等方面的限制(以下简称“运营限制”)比普通IT领域要严格数倍,而微服务模块通常并不会针对某个特殊场景设计、开发,这给视听媒体微服务动态协同带来了很大挑战。另外,以视频编解码为代表的任务类型在计算量、存储量、网络传输量等方面的开销要远超普通IT领域,动态协同仍然要着重考虑效率问题。针对运营限制,在微服务通用的、仅关注聚合层的API网关基础上,提出了视听媒体微服务API网关接入层技术,提供了统一的、灵活的微服务流量接入、协同策略配置能力,将应用(指多微服务模块协同工作的集合)运营限制策略配置与微服务自身功能解耦,解决了复杂运营限制情况下的微服务协同工作问题;针对视频编解码类型微服务,提出一种任务分片策略,解决了典型场景下的微服务协同效率问题。

  在视听媒体领域,部分任务(例如编解码、画质增强等)在单个微服务实例中的处理时间要远远超过常见的微服务处理时间;而视听媒体对任务处理的时效性也有着较高要求,如果仅仅通过超过预期处理时间(普通微服务以毫秒为单位,编解码等复杂任务以分钟、小时为单位)判断任务失败从而发起重试,不论是否真的失败,都会在资源和时间上造成极大的浪费。针对视听媒体微服务的可观测性问题,在微服务通用的监控、日志、调用链追踪技术基础上,提出了一种视听媒体微服务实时追踪技术,提供了尽快发现、定位微服务系统单个事务中某个任务环节出现异常状态的能力,解决了视听媒体领域特有的单任务时间长、实时监控、人工介入等实际应用问题。

  在MMA的媒体业务服务层中,我们规划了视听媒体行业全产业链七大域微服务业务版图,形成媒体专项业务功能区,涵盖洞察与规划域、制作与播出域、传输与分发域、运营域、内容监管域、安全域、监控运维域等7大域,目前已研发完成共200余个微服务组件,该全产业链七大域微服务组件形成视听媒体微服务资源池,资源池中的微服务模块可为国家、省、市县机构和自媒体等视听媒体提供敏捷高效的微服务接入能力,快速实现对视听媒体的内容策划、生产、传播、安全、运营、监管等,该微服务资源池为目前国内首个覆盖全产业链的视听媒体微服务模块资源池。

  洞察与规划域微服务组件通过对线上、线下及第三方数据的全面收集,发掘市场机会,定位客户痛点,明确竞争态势,清晰客户画像;制作与播出域微服务组件和工具组件可以提供前期现场和后期加工等融合媒体内容制作能力,满足融合媒体各种业务场景的制作需求,同时可以提供面向电视频道、IPTV、OTT视频和两微一端的多渠道多终端融合发布能力;传输与分发域微服务组件满足传统音视频AV信号传输和互联网IP信号的传输需求,支持各种音视频信号和文件通过各种有线、无线和互联网传输方式,覆盖融合媒体内容传输需求;运营域微服务组件满足用户数据采集、业务运营统计、广告投放、业务营销、在线互动、客户管理等运营类功能需求;安全域划分出客户端、网络出入口、虚拟化网络及主机安全、应用级别安全、数据安全、安全管理和安全维护类微服务;内容监管域划分出抓取、预处理、内容监管、监管处置类微服务;监控运维域划分出媒体应用监控、基础资源监控和自动化运维类微服务。

  基于MMA,在湖南广播电视台构建了视听媒体内容资源服务平台。平台具备多个应用服务子平台,包括智能媒资、播出文件整备、传输调度、虚拟制作与智能云剪辑、云转码与内容分发、运营、内容监管、监控运维等子平台,面向多终端的多模态智能推荐服务系统和广告素材智能审核系统分别是运营子平台和内容监管审核子平台的典型微服务架构应用系统。

  智能推荐服务系统是集大数据挖掘、机器学习、高性能后端等技术于一体的复杂系统。该系统服务视频平台的多终端、多元化的推荐业务场景,比如大小屏视频推荐、广告推荐、电商推荐、社区内容推荐等,支撑丰富多维的“智能推荐”产品,简化人工运营成本,提升内容分发效率。

  智能推荐服务系统打通了多业务融合数据流,接入统一日志收集分析平台,设计开发分布式机器学习的排序服务,设计开发高性能通用推荐引擎,设计开发可视化分析平台,设计开发灵活高效的算法平台,不断积累基础特征算法库、通用算法组件库,通过深入挖掘各业务用户行为特征和内容属性数据,深度定制优化用户偏好匹配、召回、排序、业务重排等模型算法,智能推荐服务系统的架构图见图2。

【精选】视听媒体微服务关键技术研开云究及行业应用(图2)

  目前智能推荐系统已支持芒果TV全平台视频推荐、智能消息推送、小芒电商搜索推荐、DSP广告效果优化、会员社区推荐等线上推荐场景,应用于移动端智能首页、大芒短视频推荐、点播页智能推荐、公网OTT频道和点播详情推荐、IPTV统一推荐框架、标签定向消息推送、个性化消息推送、小芒电商多形式搜索推荐服务、DSP点击率预估优化、会员神秘空间社区内容推荐等重要项目。智能推荐系统的大屏统一推荐框架提升推荐模块转化率达30%,大芒短视频推荐转化率达30%。

  广告素材智能审核系统实现了利用人工智能技术的广告审核。基于大规模样本训练的深度学习和传统的机器学习技术,实现系统自动化、智能化、实时化的广告素材内容审核。审核范围不仅涵盖常规的政治敏感、黄赌毒、暴恐等素材内容审核,同时创新地加入异地广告巡检、诱导素材识别、素材调性和行业识别、素材美学评估等功能。

  目前广告素材智能审核系统产品已经在芒果TV上线运行,通过将企业原有广告素材审核系统进行微服务化拆分和构建,并部署到公有云环境中,实现了广告素材智能审核系统的异地部署和异地同步巡检,极大地提升了产品的系统功能效率,同时微服务的敏捷开发特点也很好地帮助提升了产品的开发和维护效率。系统已稳定服务逾600天,独立完成了芒果TV内部广告交易平台、需求方平台、供给方平台等广告平台的审核工作,极大提升了审核效率,上线%的审核团队成员,仅依靠 5 名审核人员完成少量人工审核及AI错分样本回流工作,平均一周成功拦截问题素材数千件。通过微服务架构部署的广告素材智能审核的异地巡检系统,图片、文本、语音、视频等审核效率提高100倍以上,审核质量提升30%以上,审核覆盖率提升50%以上,年审核量提升40%以上。

  爱奇艺基于MMA构建了内容生产原型系统,系统主要包括微服务治理部分和业务功能部分。通过容器化的混合云平台弹性调度系统、任务调度中心、微服务治理系统等,实现对资源的高效对接、微服务的调度决策以及对基础设施对应配置的平台化管理。通过生产流程动态编排引擎实现参数化的工作流编排,在微服务功能模块方面,构建了编码、图像增强、分发、AI特效、视频切割、视频合并等视听媒体微服务模块。基于微服务架构的内容生产原型系统实现了微服务的高效对接、动态协同和追踪可溯,实际应用系统的规模已达到近10万核开云,服务专业用户数超1000,实际运行中每天可处理2000万个中长视频生产事务,新功能研发集成周期可缩短90%。该系统除适用于内容生产场景之外,还为爱奇艺其他业务场景的微服务改造提供了基础设施,如手机 APP后台系统、会员权益系统、交易支付系统、海外站后台系统、搜索系统、广告系统等,目前爱奇艺超过 70%的应用场景实现了微服务改造。

  目前,视听媒体微服务技术在视听媒体行业、教育、文创、医疗等多领域凭借其强兼容性、优秀的演进性等优点被推广应用。2022年9月2日,在中国国际服务贸易交易会(首钢)发布会上,项目组举行了“视听媒体微服务项目成果发布暨生态社区启动仪式”,标志着视听媒体微服务生态社区的正式启动,未来,项目组将通过视听媒体微服务架构的标准化、构建MMA微服务模块商店、建立媒体微服务MMA共创共享联合体、形成视听媒体赋能的产业生态社区等方式和手段,在国内多家电视台、网络视听平台、报社和教育系统等进行普及,构建起微服务生态体系,服务、规范行业发展。

  本文受国家重点研发计划“视听媒体微服务关键技术研究与应用”项目资助,项目编号2019YFB1405900 (课题二:2019YFB1405902)。

【精选】视听媒体微服务关键技术研开云究及行业应用(图3)

  [1] 邓向冬, 郏涛. 微服务架构的发展和在视听媒体领域的应用[J]. 广播与电视技术, 2019, 46(9).


Copyright © 2002-2023 开云·(中国)官方网站-IOS/Android通用版/手机app版权所有 备案号:黔ICP备15001934号-1
电 话:400-123-4567 手 机:13800000000
地 址:广东省广州市天河区 开云 工业园88号
扫一扫关注微信
HTML地图 网站地图