淺析大資料視角下的電影內容特徵論文

來源:果殼範文吧 1.15W

  ( 一 ) 電影資料獲取平臺架構

淺析大資料視角下的電影內容特徵論文

電影內容語義資料能體現作品的豐富特徵,蘊含大量視訊、音訊、型別、感情、燈光、色彩、鏡頭、特效、情節等語義資訊,更是電影大資料的金礦。上海大學上海電影學院針對電影內容資料開展團隊研究,人工與程式相結合,已面向數千部電影和電視劇開展影視內容資料的提取和積累。

電影資料獲取平臺總體流程包括人工和計算機自動資料生成,人工分配 4 000 部電影並分配給每位參與團隊成員,按時間節點和欄位型別分步填寫電影基本內容欄位、電影製作團隊欄位。成員利用計算機程式按秒分割電影畫面,開展自動化男 1 號女 1號主角人臉識別、鏡頭分割,結合此項內容成員再次人工填寫分鏡欄位。另一影象輸出獲取路徑是基本圖象元素資料獲取,獲取電影畫面色彩、節奏、運動路徑等基本特徵資料。合併分鏡欄位、人臉欄位、鏡頭欄位、基本影象資料欄位後給出最終的視覺展示介面。獲取電影聲音序列,對聲音時域和頻域資料輸出,在聽覺介面上展示。視覺展示和聽覺展示按電影時間軸同步,便於使用者多角度比對電影資料。

人工資料錄入包括主角年齡、職業、家庭、隱喻、前後期團隊等數十種欄位。計算機自動資料生成包含顏色、邊緣、鏡頭、3D 、頻率、人臉、景別等數十種欄位。

本平臺首先需人工填寫電影編號和片名,定位電影所在本地目錄,按時間序列分割影象和聲音,一鍵獲取亮度值、單幀紅色分量、單幀綠色分量、單幀藍色分量、單幀均方差、單幀資訊熵、單幀梯度值、紋理資料四項、邊緣資料一項,同時統計各特徵資料的全片平均值;按時間序列獲取聲響、主頻值、主頻點、1 / 2中位數頻點、1 / 4 分位數頻點、3 / 4 分位數頻點、均方差,同時統計各特徵資料的全片平均值 ;後臺統計男 1 號女 1 號主角人臉出現的時間序列、景別、臉色、背景色等資料。

  ( 二 ) 電影內容資料解讀案例

資料分類輸出後存入對應表格,使用者使用本系統音視訊閱讀瀏覽器解讀已獲取電影資料。本例僅對單部電影《智取威虎山》進行解讀。

電影色彩節奏變化解讀。使用者首先瀏覽基礎影象資料。影象顏色分量由紅、綠、藍色曲線表示。《智取威虎山》主要場景由戶外冰雪場景、室內對白和戰鬥構成,偏藍的分段表示為戶外冰雪場景,偏紅的分段表示為室內場景。由圖 3 可知,戶外冰雪場景明亮並偏冷色調,室內場景暗淡並偏暖色調,一段昏暗的室內對白後緊接著戶外的明快戰鬥,按波形變化率,室內畫面運動慢而戶外戰鬥運動變化較快。最後的時間序列為明亮的紅色分量,這是有意安排的最終戰鬥,筆者認為是與故事前段戰鬥的色彩反差對比並隱喻革命勝利。為了表達室內明亮的暖色調,場景故意設計了為“座山雕”祝壽的橋段,以此實現了強烈的戰鬥色調對比。

電影高潮位置解讀。影象資料展示了整部電影的顏色變化率,統計結果表示在電影開始後 1 / 3 處,影象變化率有個明顯的快區間,此區間即為“楊子榮”上山遇老虎並戰鬥的特效場景。匯出男 1 號主角識別序列 ( 圖 3 中綠色圓點 ) 後發現,男 1 號主角首次出現在約開篇 8 00 秒的時間軸上,景別 ( 圖 3 中紫色圓點 )為中景,場景為夜晚的火車站,臉部與環境沒有突出的亮度和顏色反差。男 1 號主角集中出現在上山打虎的橋段中,約在 23 00 秒到 3 000 秒的時間軸範圍內,男 1 號主角景別以中、近、特寫為主,配以快速鏡頭和畫面變化,確認電影高潮的時間軸位置。

電影畫面複雜度解讀。資訊熵資料體現影象幀攜帶的資訊量大小,全白、全黑或單一顏色的資訊量最小。

本影片單幀資訊量變化不大,僅隨亮度提高資訊量略有提高,說明本影片在絕大部分時刻提供觀眾穩定的視覺資訊感受。均方差參量隨著亮度變化較為明顯。

電影畫面形態和對白位置解讀。影象邊緣資料和梯度值體現單幀影象畫面邊緣量。隨著場景變化,此資料略有波動,除在戶外火車站倉庫首戰時,鐵軌的出現就讓此資料大大提高。由於是對電影全圖進行分析,故也包含了底部字幕對白資訊。當有對白字幕出現時,此資料也大大提高,這為對白字幕在時間軸上出現確切位置提供依據。

聲音資料伴隨影象資料而變化。頻點分佈廣即1 / 2 中位數頻點、1 / 4 分位數頻點、3 / 4 分位數頻點之間差別較大說明此橋段背景聲音嘈雜 ;主頻點較低且集中說明是人物在安靜環境下對白的橋段 ;聲音響度也側面反映了橋段的激烈度。

  ( 三 ) 資料應用初探

結合電影團隊現有的廣電使用者行為資料、網際網路使用者行為資料、IPTV 使用者行為資料、網際網路購票資料和影視評論螞蟻資料,可開展廣告投放決策、內容策劃決策、選角排序決策、分鏡決策、Layout分析、攝像決策、音樂音效決策,也可用在電影評論和觀眾審美等領域。

在總體電影決策方面,本研究提供的鏡頭分割和人工標記資料能區分各橋段的時間軸位置和場景地理位置、時間、天氣、環境、人物、動作、背景等基本內容 ;提供的影象聲音資料結合人工標記情感資料能解讀故事情節發展節奏 ;提供的`製作團隊資料為選擇攝像、化妝、機械、美術、特效、動畫等崗位人員提供依據。

在區域性規劃方面,通過對型別片的檢索,可提供某型別片主角首度出現時間點、景別、臉部色調 ;確定某型別電影高潮時段、色彩分佈 ;提供全片鏡頭運動路徑 ;提供型別片 3D 拍攝引數等導演、攝像、錄音所關心的資料。

本文研究內容正為上海市內兩部電影投資、拍攝決策開展前期服務,提供高潮時間軸分析、男 1 號女1 號主角出場和出鏡分析、節奏變化、鏡頭序列分割等服務。隨著資料積累和資料庫建設完整,切入中後期的拍攝、Layout階段和 3D 特效製作、3D 舒適度研究等流程中。

  結語

在“網際網路 +”的時代使用者行為資料如依託行業可較易獲取,但僅僅依靠使用者行為資料來嘗試內容創意指導、後期製作和營銷還遠遠不夠。電影內容的語義資料能體現作品的豐富特徵,蘊含大量視訊、音訊、型別、感情、燈光、色彩、鏡頭、特效、情節、3D 等語義資訊,更是電影大資料的金礦。本研究分階段實現內容資料獲取平臺,完成了資料獲取方法和團隊運作流程。本研究只是電影大資料的開端,隨著團隊資料庫建設和電影產業集聚,作為有能力輸出資料並擁有各渠道使用者資料的電影研究團隊,將組合解讀好萊塢、國內、韓國等地域的型別片內容特徵。本研究在課題組織和支援下有望作為核心技術平臺結合通用資料分析演算法後投入到電影創作、製作、評論、欣賞等各環節中。

熱門標籤