一、行业背景：

        机顶盒测试是IPTV业务质量保障的关键环节，同时也是多年来困扰运营商运维效率提升的瓶颈所在。目前运营商、机顶盒厂商、APP厂商主要采用人工方式进行测试；由于机顶盒、平台、模板、应用数量较多，人工测试工作需投入大量人力，测试覆盖范围及深度均有待提升，因此机顶盒自动化测试已迫在眉睫。

        为提升机顶盒测试效率、测试水平以及覆盖深度，德科仕通信开发了一套QoExpert机顶盒自动化测试系统，通过自动红外拨测和HDMI画面AI人工智能识别技术来实现对各种机顶盒和应用软件的兼容性测试。该产品可通过全自动化的测试流程，保证不同厂家和型号的机顶盒与各种IPTV业务（包括直播、点播、时延、回看、EPG、游戏、支付等）的兼容性；可实现对不同机顶盒软件版本开展全面、深入的快速测试，包括日常巡检拨测以及新上线业务的适配测试。QoExpert系统部署和网络拓扑架构如下图所示：

二、QoExpert助力电信运营商提升IPTV EPG业务质量应用案例：

        为了改善和优化IPTVEPG业务质量，提升EPG业务的资源可用性，提高IPTV用户观影时的感知度和体验度，某电信运营商新媒体部门采用德科仕QoExpert系统对IPTVEPG各级页面和资源进行了全面的自动化检测，包括：EPG全量一级页面图片级检测、推荐页面全量版块内容图片级和可用性质量检测、电影全部页面图片级检测、电影最热资产图片级和可用性质量检测、电视剧全部页面图片级检测、电视剧最热资产图片级和可用性质量检测等6个测试项目。

        本次测试选取了16个EPG一级页面、推荐页面135个版块、全部电影695页、电影最热资产88个、全部电视剧318页、电视剧最热资产83个等内容进行了包括图片缺失、图片过大、HTTP错误码、HTTP请求情况、画面黑屏、资产可用性等异常项目类型的质量检测。检测到海报图片缺失1次、图片文件过大48次、电影实际资产与标示资产不符1次、电视剧实际资产与标示资产不符1次、HTTP 4XX错误码314次、HTTP 5XX错误码55次、请求无响应1296次，EPG切换时延基本符合用户观影体验需求。测试结果详情如下：

（1）EPG切换时延达标测试

        QoExpert通过AI技术实现对EPG页面的全自动化遍历和故障检测，无需任何测试脚本编写，这是该产品同其他竞品的一个最大的优势。系统对EPG页面切换时延进行计算、汇聚和比对，验证了 EPG切换时延符合用户观影体验的需求标准。

（2）海报缺失检测

        本次测试检测出电影全部资产页面中，第155页猩球崛起3:终极之战节目版块出现图片缺失故障。

（3）图片文件过大检测

        本次测试设置图片文件过大的门限值为500KB，检测出多个海报图片大小达到1MB至4MB，可能对部分机顶盒的EPG页面加载和用户的感知体验造成一定的影响。系统的图片过大告警可定位图片的页面位置，并提供图片URL。

（4）电影实际资产与标示资产不符

        本次测试检测到实际电影全部资产与页面标示的资产数量不符，页面显示有903页资产，但实际测试只有695页资产。

（5）电视剧实际资产与标示资产不符

        本次测试检测到实际电影全部资产与页面标示的资产数量不符，页面显示有413页资产，但实际测试只有318页资产：

（6）HTTP请求问题检测

        在测试任务执行EPG页面和资源检测时，检测出HTTP4XX错误225次、5XX错误55次和请求无响应1296次的异常情况。利用检测系统页面功能将检测结果导出汇聚后发现这些异常主要由于10个URL异常导致，将这些问题提交给EPG软件维护部门进行整改后，经再次测试和用户反馈调研， EPG服务可用性和用户感知均有较大幅度的提升。