2020春晚AI技術全景解密 索貝助力總臺再度成功探索

  2020-03-05 11:16:25   

本次2020鼠年除夕佳節前夕,在央視播出的大型春晚預熱節目《春晚進行時》中,索貝AI再現深厚功力。索貝媒體智能實驗室團隊在全程僅6天時間的高壓任務中,以深厚的技術功底,超強團隊意識和協作能力克服了重重困難,助力總臺將最新的AI技術巧妙應用在春晚的融媒體一體化生產中。在保證節目播出安全的前提下,完成了首次AI智能綜藝訪談類節目剪輯、晚會類成片節目拆條任務,呈現了嶄新的制作模式,極大提高了節目的制作效率,為總臺“5G+4K/8K+AI”戰略布局又提供了一次成功的實踐經驗。

首次!AI技術 綜藝運用

《2020春晚進行時》:《春晚進行時》是一檔已連續4年為春晚預熱的原創新媒體節目,被稱作“視頻版”春晚節目單,備受全網關注。《2020春晚進行時》節目采用AI智能剪輯與傳統編輯相結合制作成片,這是AI智能剪輯系統首次在綜藝訪談類節目中使用。此次全新升級的《2020春晚進行時》于1月22日21點起進行時長約2小時25分的全網多平臺直播,在全網多平臺匯集播出,最終全網各平臺總計觀看量約6000萬人次。
 

索貝媒體智能實驗室團隊在全程僅6天時間的高壓任務中,以深厚的技術功底,超強團隊意識和協作能力克服了算法構思和實現時間非常短、節目制作邏輯主觀性強、現場突發狀況不確定等重重困難,成功完成任務。至此,綜藝訪談類節目智能剪輯不再是AI智能剪輯的禁區,實現了從0到1的驚人突破,超預期的滿足了總臺電視節目播出和新媒體發布的高質量要求。
 


由人工智能編輯系統完成的明星采訪短視頻在“春晚”微博賬號發布

突破!集智攻關 勇于創新

本次索貝AI智能剪輯,包含了綜藝類訪談節目初剪和晚會類成片節目拆條兩部分。在充分考慮了不同場景下功能的差異性之后,索貝媒體智能實驗室團隊將面對不同場景時所需的功能進行了歸類,流程進行了抽象,設計出:特征提取、融合推理、業務應用的分層結構,讓不同細分編輯領域的編輯需求能夠依托這三層結構,快速梳理,加以實現。

此次春晚系列節目的人工智能剪輯系統,曾應用于總臺新聞新媒體平臺的國慶70周年閱兵直播活動中。該系統平臺具有良好的功能擴展性,平臺沉淀了大量編輯類的專業數據,內置眾多編輯領域的專業算法。

通過先對《2020春晚進行時》節目的歷史成片素材和相似節目進行學習,為新節目制作提供數據依據。系統使用深度學習算法模型提取節目編輯相關特征,對特征進行進一步數據統計分析,獲得節目鏡頭切換頻率,景別切換序列,各類型鏡頭總時長占比等鏡頭語音,為新節目制作的鏡頭運用提供數據支撐。

正式節目的剪輯融合了多種智能手段共同來完成,比如利用深度學習模型連續提取畫面整體特征,對比判定畫面穩定性;依托人臉識別相關技術,開發了基于時域特征的說話人識別模型;結合能夠判別鏡頭景別分類模型等完成各路原始信號特征提取。對多路視音頻的特征數據進行統計分析和融合推理后,推薦出各時段的最佳候選鏡頭,最后由學習過節目鏡頭切換語言數據的智能導播算法完成鏡頭選擇和合理切換,產出春晚進行時的綜藝訪談節目片段。
 



繼70周年閱兵直播活動之后,索貝AI智能剪輯團隊不斷向前,精益求精,在數十天內的短時間便完成專用算法定制,特定智能流程串聯,順利保障了節目的制作生產,是索貝助力總臺融合媒體技術團隊實現的又一次具有重大意義的突破。索貝將持續發力融合媒體、超高清、人工智能、大數據、云計算等領域,以“視頻+”的戰略理念,與合作伙伴一起,“智”造美好視界。
 

日本色系列漫画