首页分享 Google Clips摄影机+ AI = 自动判断有趣的录影时机

Google Clips摄影机+ AI = 自动判断有趣的录影时机

来源：萌宠菠菠乐园时间：2024-09-15 08:35

最近几年人工智慧技术有着大幅成长，许多应用也如雨后春笋般冒出，能够自动判断录影时机的Google Clips摄影机，就是在人工智慧与机械学习的协助下，让演算法能够辨识镜头下的人、微笑、宠物、日落、地标等景色，但演算法如何进一步判断摄影时机，仍是个艰困的挑战。

透过真人进行评分

Google Clips是款不需额外操作，就能自动判断录影时机的摄影机，其设计理念具有3大要点，首先开发团队希望所有的运算能在Clips上完成，并保有长效的电池续航力与降低摄影延迟，这样的优点是不需上传任何资料到伺服器，不但更能保障使用者隐私，也能在没有网路连线的环境使用。

再者开发团队将产品规划以拍摄短片为主，而非静态照片，不但有助于记录欢乐时光的氛围，也能透过较长的影片弥补单张照片不易抓到完美时机的缺陷。最后，Clips只专注于透过内容的趣味性判断录影的起迄时间，并不需要考虑构图、光线、色调等摄影技巧。

接下来的问题，就是如何训练Clips的演算法，让它知道怎么样的场景是有趣的。如同一般机械学习的方式，开发团队首先着手于建立由数千部不同主题影片构成的资料库，并让摄影与影片剪辑专家评定影片的优劣，让演算法能够作为衡量影片趣味的素材。然而这样又会产生新的问题，那就是我们该如何将影片有系统、平顺地从0~100分的范围中评分。

为了解决这个问题，开发团队准备了第二套资料库，他们将影片切割为许多片段，随机挑选2笔片段，询问受测者（人类）他们比较喜欢哪笔。让受测者以这种「2选1」的方式进行评定，比直接为影片定出分数容易许多，而且受测者给予的答案也相当接近，当分析了从1,000支影片中切出的5,000万笔片段「2选1」数据后，就能透过计算的方式得到整部影片（而非片段）的分数。（对，数字没错。靠人类分析5,000万笔片段是件相当累人的工作）

▲ Clips是款轻巧并搭载人工智慧的摄影机。（图片来源：Google，标题图亦同）

▲开发团队准让受测者观看随机挑选的2笔片段，让他们判断哪笔比较有吸引人。（图片来源：Google AI Blog，下同）

▲在收集大量资料后，就可以推算出整部影片的分数。

将资料库交给类神经网路

有了评分的资料后，接下来开发团队要定义出「影片有趣的原因」，于是他们假设影片中如人物、动物、树木……等景物可能是吸引人的元素，并从Google图像资料库超过27,000笔不同的标签中挑选数百种重要的标签，用于辨识影片中的景物。

再使用伺服器级的电脑进行训练过后，开发团队为运算效能有限的装置打造了较小巧的MobileNet Image Content Model演算法模型，并挑选更为关键的标签，以利将运算能力集中于刀口上。

训练的最后一步，就是将Image Content Model演算法模型计算出的数据，与人类评定的分数互相比较，如此一来演算法就知道哪些特征是人类觉得有趣的部分。如此一来在未来的操作过程中，即便画面中的景物从未出现于训练资料中，但系统仍然可以判断哪些是人类觉得有趣的部分，进而自行判断最佳拍摄时机。

▲ Image Content Model演算法模型可以计算每张画格的分数，并经分段式线性回归（Piecewise Linear Regression）后取平均，就可以统计出影片的「趣味分数」。

开发团队也提到，由于Clips并不像自走车那类的装置具有移动能力，需要使用者摆放于特定位置或是配戴于身上，因此「桥角度」还需依赖使用者的人肉智慧。

责任编辑：