4月1日，張國(guó)榮生前最后一場(chǎng)、同時(shí)也被認(rèn)為是堪稱“經(jīng)典”的演唱會(huì)《熱.情》超清修復(fù)版在TME live、QQ音樂、微信視頻號(hào)、騰訊視頻等平臺(tái)進(jìn)行了全球首播。
這場(chǎng)超清修復(fù)版演唱會(huì)由騰訊音樂娛樂集團(tuán)和環(huán)球音樂旗下廠牌寶麗金共同推出，騰訊云多媒體實(shí)驗(yàn)室承擔(dān)了此次演唱會(huì)視頻的具體修復(fù)工作。
騰訊云多媒體實(shí)驗(yàn)室隸屬于騰訊CSIG事業(yè)群（云與智慧產(chǎn)業(yè)事業(yè)群），2013年開始從事視頻處理，主要職責(zé)之一是向內(nèi)部各產(chǎn)品部門提供全自動(dòng)的數(shù)字化修復(fù)技術(shù)，以低成本、高效率為特征，批量處理騰訊云等系統(tǒng)內(nèi)的以2D為主的海量視頻。
據(jù)介紹，騰訊云多媒體實(shí)驗(yàn)室多從事的是電影、電視劇等畫面的修復(fù)，關(guān)于演唱會(huì)的修復(fù)是首次，其難度在于人像、場(chǎng)景會(huì)在演唱會(huì)燈光中迅速變化和切換，而騰訊云多媒體實(shí)驗(yàn)室此前在這方面積累的數(shù)據(jù)偏少。
騰訊云多媒體實(shí)驗(yàn)室總監(jiān)李松南對(duì)東西文娛表示，這恰好也給了騰訊云多媒體實(shí)驗(yàn)室借修復(fù)這一演唱會(huì)，在修復(fù)技術(shù)的系統(tǒng)和算法方面雙升級(jí)的契機(jī)。
李松南表示，此次修復(fù)的目標(biāo)是既保證做到修舊如舊，又要保留演唱會(huì)的藝術(shù)效果?；谘莩獣?huì)畫面場(chǎng)景多，因燈光、切換頻繁帶來的繁雜變化，騰訊云多媒體實(shí)驗(yàn)室采用了“針對(duì)不同場(chǎng)景，來進(jìn)行算法上的分類處理”這一措施，以在不斷試錯(cuò)中找到最優(yōu)的解決方案，同時(shí)加上人工介入優(yōu)化算法參數(shù)的方式來進(jìn)行。
對(duì)張國(guó)榮演唱會(huì)的修復(fù)，進(jìn)一步豐富了騰訊云多媒體實(shí)驗(yàn)室的修復(fù)品類。鑒于老片修復(fù)這一需求在時(shí)下趨于旺盛，騰訊云多媒體實(shí)驗(yàn)室計(jì)劃進(jìn)一步將自身技術(shù)與各需求方實(shí)現(xiàn)對(duì)接，用技術(shù)來實(shí)現(xiàn)助力經(jīng)典文化傳承的目標(biāo)。
首次嘗試演唱會(huì)修復(fù)
自動(dòng)化數(shù)字修復(fù)+人工介入結(jié)合
騰訊云多媒體多媒體實(shí)驗(yàn)室專家研究員夏珍告訴東西文娛，騰訊云多媒體實(shí)驗(yàn)室與寶麗金的此次合作，始于3月初。
“當(dāng)時(shí)騰訊音樂娛樂集團(tuán)聯(lián)系寶麗金唱片，雙方各自有需求，達(dá)成合作很快。”
夏珍介紹， 騰訊云多媒體實(shí)驗(yàn)室自2013年成立以來，技術(shù)主攻的方向之一是全自動(dòng)數(shù)字修復(fù)，但此前主要從事的是電影、電視劇等方面的修復(fù)，從事演唱會(huì)的修復(fù)是第一次。
“演唱會(huì)畫面不像電影、電視劇相對(duì)穩(wěn)定，后者在畫面色彩及藝術(shù)風(fēng)格上更為統(tǒng)一，更適用于通過算法來自動(dòng)修復(fù)。而演唱會(huì)的畫面、色彩、場(chǎng)景一直在變化和切換，此前騰訊云實(shí)驗(yàn)室的算法模型，在演唱會(huì)畫面的處理數(shù)據(jù)上量不多，因而在基于算法來進(jìn)行自動(dòng)化修復(fù)時(shí)，會(huì)遇到困難。”夏珍坦言。
對(duì)此，騰訊云多媒體實(shí)驗(yàn)室采用的是基于一整套自動(dòng)處理的引擎基礎(chǔ)之上，根據(jù)演唱會(huì)畫面不同的場(chǎng)景，來進(jìn)行算法上的分類處理，以在不斷試錯(cuò)中找到最優(yōu)的解決方案，再加上人工介入優(yōu)化來完成。
夏珍舉例，比如對(duì)于演唱會(huì)中的大場(chǎng)景，騰訊云多媒體實(shí)驗(yàn)室采用的是GAN的超分去做修復(fù)。在修復(fù)之前，這類大場(chǎng)景普遍比較模糊，而經(jīng)過GAN超分以后，清晰度和紋理，都得到了大大優(yōu)化。又比如演唱會(huì)中有很大的噪聲，技術(shù)團(tuán)隊(duì)也會(huì)針對(duì)這一場(chǎng)景進(jìn)行降噪。
據(jù)了解，純粹的算法修復(fù)大概一般只需要2天時(shí)間，但此次是演唱會(huì)，所以更多的時(shí)間是花在了不同算法的嘗試之上，以保證算法出來的結(jié)果與最終的效果之間有一個(gè)平衡。
這也關(guān)系著騰訊云實(shí)驗(yàn)室就此次修復(fù)制定的總體目標(biāo)：即修舊如舊，在保證畫質(zhì)等有所提升的同時(shí)，還能保留整場(chǎng)演唱會(huì)原有的藝術(shù)效果。
不過夏珍也表示，對(duì)于目前業(yè)內(nèi)并沒有一個(gè)標(biāo)準(zhǔn)能去界定修復(fù)的程度指標(biāo)，“只能說這是目標(biāo)或宗旨，然后在算法上盡量朝著這個(gè)目標(biāo)去做調(diào)整，然后盡量按照肉眼可見的程度去做判斷?！?/p>
“比如，當(dāng)時(shí)我們拿到的母帶分辨率只有720×480，分辨率不高。但經(jīng)過修復(fù)之后，相關(guān)畫質(zhì)確實(shí)得到了一個(gè)大幅度的改善，我們做到了接近4K的分辨率，分辨率大概提升了6倍，整個(gè)畫面的流暢度也是有做提升的，在幀率上面我們也做了一些優(yōu)化，包括張國(guó)榮臉部的一些細(xì)節(jié)，以及他的眼睛、眼神，還有整個(gè)演唱會(huì)當(dāng)中他戴的假長(zhǎng)發(fā)的發(fā)絲都比以前要好很多。”夏珍表示。
借演唱會(huì)修復(fù)
實(shí)現(xiàn)原有技術(shù)系統(tǒng)+算法的雙重迭代
李松南表示，通過修復(fù)張國(guó)榮演唱會(huì)，騰訊云多媒體實(shí)驗(yàn)室在技術(shù)上也經(jīng)過了比較大迭代，主要包括系統(tǒng)級(jí)別的迭代，和算法級(jí)別的迭代。
系統(tǒng)級(jí)別的迭代主要是在分析模塊的迭代上。據(jù)介紹，從修復(fù)流程上而言，一般分為四步。一是智能分析，主要是分析視頻的質(zhì)量，包括失真的類型和程度；二是修復(fù)，主要是用來修復(fù)視頻中的各種失真，比如老片中常出現(xiàn)的失真，像噪聲、隔行的失真等；三是增強(qiáng)，目標(biāo)就是讓圖像內(nèi)容看上去更清晰和豐富；四是編碼，即在盡量少的碼率情況下去還原視頻的內(nèi)容。
分析模塊的迭代位于修復(fù)工作流程的第一步。李松南表示，由于騰訊云實(shí)驗(yàn)室的算法此前基本上沒有接觸演唱會(huì)種類，然后各個(gè)行業(yè)視頻內(nèi)容差別很大，尤其是不同年代的視頻失真的類型和強(qiáng)度差別都很大，“這就需要去迭代分析模塊的適應(yīng)能力，以在盡量減少人工介入方式原則之下，分析模塊能去自適應(yīng)處理不同類型的視頻。”
算法上的迭代，主要指的是視頻超分和人臉修復(fù)。
李松南表示，此前騰訊云多媒體實(shí)驗(yàn)室最開始做的主要是視頻的降噪、背景增強(qiáng)等工作，基于的以傳統(tǒng)的算法為主。
“之后，騰訊云上的許多模型雖然都是基于AI和深度學(xué)習(xí)的方式，但最開始還是基于卷積神經(jīng)網(wǎng)絡(luò)去做的，現(xiàn)在則是擴(kuò)展到了用生成網(wǎng)絡(luò)去做，因?yàn)樯删W(wǎng)絡(luò)可以生成很多細(xì)節(jié)?！崩钏赡媳硎尽?/p>
另外一個(gè)比較大的迭代是人臉修復(fù)。據(jù)介紹，此前行業(yè)的人臉修復(fù)主要是基于圖片來操作，騰訊云多媒體實(shí)驗(yàn)室在視頻中的人臉修復(fù)被認(rèn)為是行業(yè)的創(chuàng)新嘗試，同時(shí)借由這次演唱會(huì)開始基于視頻修復(fù)，實(shí)驗(yàn)室也開始會(huì)在算法基礎(chǔ)上做一些人工算法參數(shù)的調(diào)整。
李松南介紹：“在這個(gè)研發(fā)的過程中嘗試了一些技術(shù)方法，積累了一些不錯(cuò)的效果，成為了實(shí)驗(yàn)室好的經(jīng)驗(yàn)，當(dāng)然未來還有前進(jìn)的空間?！?/p>
老片修復(fù)市場(chǎng)需求日益增加
技術(shù)賦能文化
根據(jù)官方信息，騰訊云多媒體實(shí)驗(yàn)室是騰訊CSIG事業(yè)群旗下技術(shù)導(dǎo)向的實(shí)驗(yàn)室，工作主要有兩塊。一是會(huì)參與國(guó)際國(guó)內(nèi)多媒體相關(guān)的標(biāo)準(zhǔn)制定；二是會(huì)把日常積累的技術(shù)，對(duì)內(nèi)提供給騰訊云、騰訊PCG（騰訊平臺(tái)和內(nèi)容事業(yè)群）與WXG（騰訊微信事業(yè)群）、以及騰訊音樂娛樂集團(tuán)等部門使用， 對(duì)外將技術(shù)輸出給客戶。
李松南介紹，目前市場(chǎng)中常見的“老片修復(fù)”一般有物理修復(fù)和數(shù)字修復(fù)兩類。物理修復(fù)指的是膠片的修復(fù)，包括去除上面的雜質(zhì)，對(duì)變形進(jìn)行修復(fù)；而數(shù)字修復(fù)又分為全自動(dòng)修復(fù)和人工修復(fù)兩種。
“目前，騰訊云多媒體實(shí)驗(yàn)室主要集中在全自動(dòng)的基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)這方面的修復(fù)，目標(biāo)是希望通過比較少的人力介入，用算法自動(dòng)化來減少后續(xù)人工修復(fù)的成本，提升相關(guān)效率。”李松南表示。
這一路徑選擇來源于騰訊云多媒體實(shí)驗(yàn)室面對(duì)的需求?！拌b于騰訊云多媒體實(shí)驗(yàn)室服務(wù)的用戶視頻非常海量，不可能針對(duì)每一條視頻都做精細(xì)化的離線處理，所以就需要不斷提升算法的自適應(yīng)能力，以達(dá)到省時(shí)增效的目的?！?/p>
李松南舉例，以一個(gè)2小時(shí)長(zhǎng)的演唱會(huì)而言，傳統(tǒng)的人工修復(fù)可能需要一兩個(gè)月的時(shí)間。但從算法修復(fù)角度而言，2天就可以跑出結(jié)果。
據(jù)了解，目前老片修復(fù)的市場(chǎng)需求越來越大，很多電影廠、電視臺(tái)都積累了大量的老視頻留存，它們中有的計(jì)劃重新去上映，或者需要適配到現(xiàn)在的4K或8K電視上。另外包括一些演藝人員，也有修復(fù)較早演唱會(huì)的需求。
李松南表示，“老片修復(fù)是一個(gè)比較長(zhǎng)遠(yuǎn)的事情，可以一直做下去。原因在于現(xiàn)在觀眾看到的質(zhì)量還不錯(cuò)的視頻，三五年之后質(zhì)量可能又不行了。同時(shí)觀看設(shè)備也在升級(jí)換代中，比如以后VR顯示器，沉浸式的顯示器等將利用的越來越多，展現(xiàn)方式的更新?lián)Q代又會(huì)加速老片修復(fù)技術(shù)需求的多樣化?！?/p>
李松南強(qiáng)調(diào)，目前視頻處理主要還是在2D的視頻上去做修復(fù)跟增強(qiáng)，在分辨率和幀率上，盡量在2D的條件下去提高用戶的沉浸感。“但從未來的方向來講，可能還會(huì)往全息的方式去發(fā)展，3D也好，包括3自由度，乃至最后的6自由度，實(shí)驗(yàn)室在這方面是有投入的?！?/strong>
不過李松南也指出，有些聲音提出目前視頻修復(fù)能否用在更社會(huì)化的領(lǐng)域，比如優(yōu)化監(jiān)控視頻，打擊違法犯罪上，“雖然目前技術(shù)上能做到人臉修復(fù)、人臉加清上，但目前在實(shí)際的安防領(lǐng)域還難以應(yīng)用，不能從視頻判斷是不是那個(gè)人，畢竟是算法生成出來的，用作證據(jù)感覺不太合適。
李松南表示，目前實(shí)驗(yàn)室作為一個(gè)技術(shù)部門，更多的業(yè)務(wù)目標(biāo)是把實(shí)驗(yàn)室超清沉浸感修復(fù)引擎的能力去跟更多的合作伙伴合作，在助力音視頻產(chǎn)業(yè)發(fā)展的同時(shí)，通過技術(shù)來賦能經(jīng)典文化傳承。
EW-Entertainment
近期主題 · 相關(guān)內(nèi)容
責(zé)任編輯：
