机器学习的应用：NBA赛事精华短视频是如何实现高速、大量上线的？

　　选自2024年1月4日发布的文章【第195期 巴黎奥运会、NBA相继引入短视频自动剪辑系统】

　　2024年是个体育赛事大年，多项国际顶级赛事在全球各地相继举办，既有四年一次的

　　、德国2024欧洲杯，也有每年一度NFL超级碗（价值最高）和环法自行车赛（规模最大）。

　　当各国版权购买方、媒体机构及广告商充分调动资源优势准备深度开发这些顶级IP时，需要注意赛事观众尤其是年轻一代在

　　、收看平台及消费习惯等方面都发生了一些新的变化。年轻一代产生注意力碎片化的转变是由多方因素促成的，而且呈现出加速发展的态势。

　　这一转变凸显了观众通过媒体观看比赛的习惯已经发生变化，尤其是年轻一代观众，他们越来越喜欢

　　和流媒体服务来观看体育赛事。根据计算机辅助网络调查（CAWI）的数据显示，越来越多的美国年轻球迷喜欢观看体育赛事

　　其中在传统大屏电视方面，87%的体育迷喜欢观看赛事集锦，78%的体育迷喜欢观看赛事直播。

　　在网络媒体方面，72%的观众喜欢用电脑端或手机端观看赛事集锦，53%的球迷更喜欢轻量化、非直播的赛事高光内容。

　　过去两三年，随着人工智能、深度学习和对象追踪技术的不断进步，新技术在体育转播和自动生成视频的应用越发成熟。

　　NBA与WSC体育科技公司在2015年12月签署了合作协议，共同创建NBA赛事的

　　一共创建生成了20,000多个NBA精彩片段，这只是WSC第一次将AIGC技术和对象追踪技术应用于NBA赛事的成果。由于2014-15赛季，全球球迷通过NBA手机端观看NBA视频集锦达到了前所未有的

　　目前，NBA已经发展成为一个涵盖全球的体育和传媒集团，公司业务主要围绕三个职业体育联盟建立：

　　向全世界播出。NBA数字媒体的业务主要是网络端、移动端NBA Mobile及NBA TV。

　　，并根据需求分发，可以按照用户的各种需求量身定制，提供专属的和个性化短视频素材。该公司通过使用独自开发的体育视频技术可

　　体育赛事转播的画面内容，自动识别比赛中的每个时间节点的高光时刻，并生成基于每个球员、每支球队和每个时刻的定制版的赛事精彩片段。目前WSC体育科技公司的解决方案已经被全球体育各大传媒机构所使用，用以更好地利用体育内容来增加球迷的参与度，增加赛事营销和市场开发的机会。

　　等服务，WSC的产品和服务是基于云计算、体育数据集成、图像处理、音频分析和自动编辑算法的独特技术。需要指出的是由于自动视频生成技术并不需要在现场布置特殊摄像机，或者在篮球内部提前预置追踪设备，所有自动剪辑工作都是

　　，这是两个完全不同的逻辑关系。常规操作是将篮球的尺寸、形状和颜色等参数输入到计算机视觉程序的函数中来识别。

　　然而在NBA比赛转播中，常常会出现篮球在不同帧画面中呈现不同的形态，因此会影响通过基本参数进行视觉识别的准确性。

　　从NBA转播信号的不同帧画面中可以看出，由于不同场馆的硬件设施条件差别很大，场馆的照明条件、地板上的标识、背景颜色都会影响程序对于篮球的识别。

　　来识别两个新对象：篮球和篮框。先从不同比赛直播信号中收集一定数量的帧画面，使用labelImg标记篮球和篮筐。

　　（Neural network）和迁移学习（Transfer learning）。迁移学习采用预先训练的神经网络，冻结其中的大部分，并在用户希望其识别的特定对象上仅训练几个层。

　　。迁移学习允许用户使用相对有限的图像数量完成训练模型。在篮球视频自动剪辑的程序里，常用的一个插件是AIGuy，网上可以轻松找到AIGuy的对象检测教程，是对机器学习很有用的教程。

　　，需要看到至少三个连续帧画面中的球入篮框。在任何投篮后设置两秒的冷静期，以确保如果篮筐周围有争抢或干扰的情况也不会重复计算任何进球。

　　将视频帧的篮球周围用红色边框界定，进球时将篮筐周围用绿色边框界定，从而训练模型检测到的自定义对象。

　　是计算机视觉处理的一个经典问题，使用Python语言的OpenCV库可以有效解决。首先每一帧的场上球员都设置一个

　　，从而确定球员属于亮队还是暗队。比率越高，该球员属于较暗球队的可能性就越大。该过程如下图所示。

　　左侧比率（客队着深色衣服）=0.35，右侧比率（主队着浅色衣服）=0.03

　　通过上图可以看出，左边球员的图片经过遮罩处理，呈现很多白色像素，而右边球员经过遮罩处理，只有球员头发区域呈现白色像素。

　　。原始图像越暗的区域，遮罩隔离的白色像素就越多，计算的比率就越高。通过这些比率能够快速识别球员所在球队，也有一些特殊情况需要注意，例如，主队（浅色队服）的一名球员正好位于黑色背景前，上述通过比率的方式就会错误标记该球员所在球队。

　　，将球员在不同区域的识别结果进行汇总分析，从而避免个别场景下识别错误的情况。

　　和对象跟踪二者之间存在重要区别。通过对象检测的方式，每一帧的处理与其前后帧并不相关。对象检测的方式只查看

　　，然后通过比对的方式识别对象。而对象追踪技术的思路是从这些帧画面中检测到对象，并发现对象在不同帧之间的联系，从而跟踪每名球员的数据信息。

　　，在整个自动剪辑过程中通过ID跟踪球员，并为每个球员ID附加一些专属的功能。例如，通过记录球员在整场比赛的像素比平均值，尽管在一些特定的框架中，数据模型仍然可能会错误标记球员所在球队，但总体来说，通过追踪球员数据可以准确将球员分配到各自球队。

　　，目前机器学习仍需改进的两个问题如下：第一、当一名防守球员站在其他球员前面时，或者两名球员高度重叠的时候，很难保持同一个。

　　，以便提高跟踪的效果。第二、由于篮筐和篮网处的剧烈对抗，篮球滑过篮网的情况，数据模型经常错误识别进球得分。（在帧画面中显示为篮球通过篮网）。

　　，通过实际图像训练数据模型识别真正的得分，解决这个问题还需要找到更有效的方式。尽管存在诸多问题，通过机器学习进行自动剪辑体育赛事集锦已经取得巨大进步，利用远程服务器上的GPU运算处理能力，很多自动剪辑程序可以在普通电脑上运行。

　　使用AIGC、机器学习、对象追踪技术制作篮球赛事集锦的过程涉及各种技术和方法来实现，整体工作分为

　　。通过对WSC和常见自动剪辑解决方案的分析，以下八个方面是篮球赛事自动剪辑工作的

　　在收集篮球比赛的视频素材的过程中，尽可能发现问题，如地板背景、场馆照明、裁判影响等。根据赛事的特点修正数据模型，提高准确识别的容错度。

　　目前基于篮球比赛的人工智能视频分析工具已经比较成熟，可以实现自动检测篮球比赛中的高光时刻，而且还可以进行分类统计，如进球得分、助攻、篮板和激情瞬间。计算机视觉算法可以分类在视频素材中识别这些高光时刻。

　　通过对象追踪算法，跟踪球员和篮球在比赛中的运动轨迹，在关键比赛时刻，准确识别特定球员，确保自动剪辑的精彩瞬间起始点（入点）和终结点（出点）停留在合适的时刻。

　　利用人工智能算法根据预定义的检测标准识别出整场比赛中值得关注的高光时刻。提前输入的预定义参数包括改变比赛局势的进球、盖帽或抢断、壮观的扣篮、离地高度、篮下防守人员数量、最后时刻的进球等。

　　结合自然语言处理（NLP）算法，收集并分析评论员、球员采访和其他与比赛相关的数据信息，可以将这些数据信息以字幕、简介或旁白的方式添加到赛事集锦中，增加赛事集锦的故事性和叙述性。

　　赛事集锦短视频的制作需要考虑到用户的多样化需求，因此为用户提供可定制、个性化的组合选项是一项基础服务。

　　也会购买球队一个赛季的分类视频进行技术分析和战术复盘，所以定制化的分类赛事集锦视频与传统意义的十佳球存在功能上的差异。

　　在制作方面，篮球赛事的自动剪辑项目需要多次反复的反馈循环，开发人员需要与转播制作团队反复沟通，了解公用信号的制作过程，持续改进人工智能算法。

　　在播出方面，开发人员需要收集用户对于自动剪辑片段的反馈意见，了解这些片段是否符合用户的预期。通过调整预定义参数改进数据模型的准确性。

　　观众在观看传统电视直播过程中，最大的痛点是比赛时间过长，观众的注意力很难长期专注于比赛直播。

　　有观点指出当代社会无论是网络端还是移动端，最稀缺的资源就是注意力，绝大部分手机应用的核心竞争力就是

　　，并衍生出了注意力经济。一场比赛的精彩视频合集解决了直播赛事由于犯规、休息等因素过于冗长的问题，目前短视频的一个短板是故事性欠缺，观众缺失前后背景信息。

　　。随着音频处理、字幕信息和机器学习技术的不断成熟，自动剪辑的视频内容也可以制作成爆点、爽点连续不断，又同时兼具一定故事性和讲述性的赛事短剧合集，为球迷带来不同以往、身临其境、动态演变的观赏体验。