【與三星研究院共築未來①】烏克蘭三星研發中心:以創新智慧視覺技術打造全新用戶體驗

第四次工業革命如火如荼展開,人工智慧(AI)、5G、6G和機器人等新世代技術加速日常生活的轉型,從交通運輸、銀行金融甚至健身運動均產生變化。

三星電子洞見觀瞻,於初期便意識到上述先進技術的重要性並積極投入佈局,創新腳步從未停歇。三星研究院(Samsung Research)(註一)旗下14間研發機構與全球7間AI中心的專家團隊孜孜矻矻,致力為未來、用戶、新世代頂尖技術與服務而努力,持續累積三星引以為傲的軟硬體成就。

於此系列專題報導中,三星新聞中心將介紹全球研發中心的技術專家,深入了解其工作內容及如何透過相關創新造福消費者。

第一位專家為烏克蘭三星研發中心(SRK)智慧視覺團隊負責人Sergii Lytvynenko。Sergii最初以軟體工程師的身分加入,迄今已服務逾十年。以下將介紹SRK團隊的重大研究突破。

問:能否簡單介紹烏克蘭三星研發中心和主要工作?

烏克蘭三星研發中心位於國家重鎮基輔(Kyiv)。自2009年創立以來,專注於AI、擴增實境(AR)/虛擬實境(VR)及資安等領域,專業實力數一數二。SRK集結業界頂尖專家,目前主要研究領域為資訊安全、電腦視覺、情境感知智慧服務等,並積極與當地多所大專院校共同發展產學合作計畫。

問:目前智慧視覺團隊執行中的任務為何?

團隊正針對AI進行電腦視覺與運算圖學等領域的基礎研究,主要任務是將研究成果轉化為完整的用戶體驗,進而簡化日常流程、提升大眾生活品質,創造令人享受且身臨其境的體驗。

為此,我們積極與其他地區的團隊密切合作,進一步研究上述主要領域,同時與三星各事業部配合,致力透過核心技術打造優質產品。

問:團隊主要負責電腦視覺與運算圖學研究,請問此技術如何創造創新的用戶體驗?

去年,團隊投入大量心力研發Smart Trainer健身功能,提供截然不同的居家健身體驗。透過連接三星智慧電視與USB相機鏡頭,搭載AI技術的系統可追蹤用戶活動、記錄運動,甚至提供動作與姿勢指導。我們很開心三星電視的用戶已經能在家中體驗上述功能。

問:團隊如何將主要研究領域的創新技術導入如AR眼鏡等開發中的計畫?

近年團隊致力研發可應用於AR眼鏡的先進電腦視覺與圖學技術,以解決目前的關鍵挑戰。在電腦視覺方面,主要聚焦AR核心技術,例如同步定位與地圖建構(Simultaneous Localization and Mapping,SLAM)、深度預測(Depth Estimation)、環境掌握(Environmental Understanding)以及人機互動(Human Computer Interaction,HCI)。至於圖學技術則專注研究低延遲渲染,以實現AR與遊戲效能最佳化。

▲烏克蘭三星研發中心智慧視覺團隊

問:除AR外,團隊亦協助研發S Pen技術。能否介紹此技術的研發背景?

支援S Pen裝置搭載的手寫辨識技術,是團隊的重點研發領域與核心解決方案之一,目前正擴大導入至Galaxy系列產品。除手寫辨識之外,我們同步建立廣泛的專利佈局,有助於三星研發核心技術。

 

問:團隊為Galaxy Z Fold3研發的S Pen最佳化技術,將如何提升用戶體驗?

Galaxy Z Fold3的獨特性無庸置疑,大尺寸摺疊螢幕突破既有界限,開啟全新使用可能,無論是日常工作還是學習皆事半功倍。因此,支援Galaxy Z Fold3的S Pen,具備手寫辨識與低延遲技術更加重要。我們汲取傳統紙筆的優勢,讓使用者在數位螢幕上也能擁有同樣順暢的手寫體驗。

問:團隊研發的技術將如何提升Galaxy Z Fold3用戶的生活品質,在使用上更加輕鬆便利?

團隊針對S Pen導入AI技術,預測下筆位置(AI Based Point Prediction),並將輸入延遲降至最低,打造更接近真實紙筆的書寫與繪畫體驗,手寫辨識技術將數位書寫變得更加智慧簡單,令人愛不釋手。如今用戶可輕鬆地將手寫筆記轉換為印刷文件,還能快速辨識圖表、插入連結、算數等。上述體驗皆為用戶的生活品質創造令人驚艷的改變。

問:您認為當前主流的技術趨勢為何?

我們認為視覺模式(Visual Modality)為下一個關鍵技術,包括如何將筆記與影片智慧化,以及從過程中能擷取多少實用情境資訊等。AR技術可為此領域創造無窮可能,並揭開尚待克服的挑戰。例如以「數位視覺」(Digital Eyes)為用戶進行全方位環境偵測,並提供統整後的情境資訊,大幅提升日常生活。

另一個主流趨勢為人機互動,團隊特別關注扮演關鍵角色的多模式互動(Multi-Modal Interaction)技術。多模式人機互動整合視覺、語言與知識,可供三星裝置充分掌握所處環境。

問:您在SRK這些年來,最難忘的成就是什麼?

2021年6月對團隊來說相當特別,因為我們贏得2021年國際電腦視覺與圖型識別會議(Conference on Computer Vision and Pattern Recognition,CVPR)的圖表問答挑戰(Chart Question Answering Challenge)。CVPR是全球規模最大的電腦視覺與人工智慧會議,能獲此殊榮我們深感驕傲。

問:若要開創全新的行動裝置使用體驗,智慧視覺技術至關重要。語言相關技術在其中扮演什麼關鍵角色?

 

自然語言處理(Natural Language Processing,NLP)是極具挑戰的研究領域,團隊期盼世界上每個人都能親自體驗我們的解決方案。為實現此願景,擴大語言選項以及支援性相當重要。團隊正致力增加S Pen手寫辨識技術支援的語言種類,目前解決方案支援約80多種語言,未來仍會持續增加。

 

下一篇文章將帶領讀者一窺Sergii與波蘭三星研究院自然語言處理專家Lukasz的專訪。

註一:三星研究院為三星消費性電子事業部(CE)以及資訊與行動通訊事業部(IM)旗下的先進研發中心。

:

科技AIAI Expert VoicesARComputer GraphicsComputer VisionInto the futureResearch and DevelopmentSamsung R&D InstituteSamsung R&D Institute UkraineSergii LytvynenkoSmart TrainerSRKVisual IntelligenceVR
Last version finder