香港學者探索AI藝術創作:人機共創感性作品!

在人工智能話題近月於全球掀起熱議之前,有兩位香港的大學教授早已在思索AI創作的各種潛能。

負責統籌香港浸會大學(浸大)「香港人機共生藝術創造平台技術建設」項目的郭毅可與潘明倫,去年底帶領團隊創作了全球首場人機共創共演的歌舞表演,結合AI合唱團、AI舞蹈、AI媒體藝術與真人交響樂團,於浸大周年音樂會上演出。

《香港商報》專訪兩位教授,探討他們的研究領域,窺探人機共創感性藝術品的未來。

NO.1 AI藝術:人機共創感性作品

由香港浸會大學「香港人機共生藝術創造平台技術建設」開發的虛擬合唱團擁有四個聲部。

浸大的「人機共生藝術創造技術平台」項目獲大學教育資助委員會研究資助局撥款逾5000萬元(港元,下同),由2021年展開為期5年的專題研究。

作為項目統籌,兩位受訪者自身也呈現了藝術科技的結合,郭毅可是倫敦帝國學院數據科學研究所的創始所長,現為香港科技大學首席副校長,兼在該校計算機科學及工程學系任教,潘明倫是浸大創意藝術學院創院院長兼專業指揮,現任浸大協理副校長(跨學科研究)。

科大首席副校長郭毅可(右)與浸大協理副校長(跨學科研究)潘明倫(左)共同研究AI創作藝術的無限可能性。

郭教授形容自己與潘教授為「欣賞藝術的科學家」和「熱愛科學的藝術家」。郭、潘二人年前曾在浸大共事,因雙雙對AI藝術深感興趣,一拍即合,成為項目的緣起。

郭教授指研究的最終目標是改變現有的藝術形式,不只將AI融入藝術,還要讓AI表達人性:「任何科學研究皆由好奇心驅動,項目就是想挑戰如何讓機器表達人性,而團隊認為體驗藝術就是讓機器懂得人性最好的辦法。」

AI能否產生意識,至今仍是未解之謎題,要讓AI表達「人性」又該如何定義?作為藝術家的潘明倫如是說:「若AI生成的作品能讓我感動,我認為項目就算達標了。」

真人指揮AI合唱團

去年於浸大周年音樂會演出的人機歌舞表演是研究項目的首個成果,由潘明倫同時指揮AI合唱團與真人交響樂團,演奏新編的《東方之珠》,並配以舞台大熒幕上由AI生成的芭蕾舞與視覺藝術影像。

研究團隊訓練的AI能將自然風景畫面和音樂轉換成舞蹈影像。圖:香港浸會大學提供

四聲部的AI合唱團由浸大的「創造性智能實驗室」開發,透過解析專業歌手的演唱錄音,提取聲樂演唱的「元件」並創造歌聲生成模型,賦予AI歌唱家全新音色。模型能靈活調校AI歌唱家的音準、旋律及藝術表現力,供AI合唱團實時與任何樂團合作。

潘明倫表示,指揮AI合唱團如同指揮真人般,AI歌唱家能準確識別他的指揮動作,改變旋律速度、歌聲的強弱等,但讓他最驚訝的是,AI歌唱家擁有人性化的演繹:「第一次聽AI演唱時,我發現它竟然有個人風格,對歌曲的抑揚頓挫有自己的一套理解。剎那間它就像真人一般,讓我不禁問:是誰教他唱的?」

郭毅可也因AI創造力而感動:「伴隨AI合唱團的還有AI跨媒體視覺敘事,這個模型透過分析旋律和歌詞,生成符合音樂意境的影像。創作初期,團隊先讓模型分析《東方之珠》,當音樂奏起,AI生成的影像即從雲朵變成紫荊花,美麗的畫面出乎意料。AI能有此般聯想力是我們意想不到的。」

他告訴筆者,團隊正籌備新的AI合唱團項目,預計今年內演出,「是次演出將重新演繹韋華第的《四季》,將融合許多AI生成的內容和新技術。」

共生的核心:人機閉環系統

既然AI有着富個人風格的創造力,能創出讓人意想不到的作品,還須與人共生嗎?

郭毅可認為,AI將成為人類藝術創作的新媒介,而非脫離人類創作的個體。項目也旨在研究人機如何互補共生,將藝術推上新境界。

團隊研究的「人機閉環系統」是項目的核心,郭毅可解釋,該系統以人為本,人類負責訓練、測試和調整AI模型,幫助AI學習,人類再對AI生成的作品進行反饋,讓AI更正、修改,創作更貼合人類意念的作品。人與AI不斷互動、改進,形成閉環模式。

潘明倫解釋:「譬如團隊要讓AI根據歌詞創造影像,但AI初次生成的結果未能反映歌詞的意象,團隊會再透過人為分析與標籤,訓練AI學習歌詞背後的歷史與文化,讓AI每次循環都有進步,生成的畫面越來越豐富,最終達到團隊心目中的結果。」

「人機閉環系統」將會應用於下一個研究項目—「共情互感AI」。顧名思義,技術會利用AI探測及回應人類的情感。「下一步想知道的是,在該閉環系統的基礎上,人類創作時的感情、靈感能否豐富AI的創作?」潘明倫興致勃勃地說:「我問郭教授,這項科技有沒有可能把人類腦海的畫面呈現出來?他回答說,這不是『會否發生』的問題,而是『何時發生』。」

現今普遍的生成式AI皆為語言模型,即人們向AI輸入關鍵詞,讓AI生成內容。郭毅可表示,團隊正研究如何以情感數據取代文字指令:「現在研究中的AI技術已經能識別一些基本情緒,如焦慮、愉快、悲痛等。這不但能讓AI作品更能反映人的情感,還能訓練AI判斷美與醜,創造出更吸引人的作品。」

潘明倫戴上傳感器,在音樂會上同時指揮真人交響樂團和AI合唱團。圖:香港浸會大學提供

潘明倫續指,共情互感AI運作的邏輯與語言模型AI異曲同工:「人們有時會被音樂感動,團隊會用儀器記錄並標籤人們在感動的情緒下的身體信號,讓AI識別刺激因素與人類反應,比如什麼音程、調性會讓人感到愉悅,並學習讓人們感動的規律,從而成為『感性』的AI。又或根據人類其他的情緒,創作出歡快、憂鬱、激昂等不同感受的音樂。」

共情互感AI項目的成果,同樣會以音樂表演形式展示。與去年首場演出不同的是,是次音樂會將會是表演者、觀眾和機器之間的三方協作實驗。兩位教授透露,音樂會除了會有根據人體數據創作的AI表演藝術作品,共情互感AI還會將在場觀眾的即時情感數據注入實時演出,在現場進行反饋,生成新的藝術作品。

潘明倫戴上傳感器,在音樂會上同時指揮真人交響樂團和AI合唱團。圖:香港浸會大學提供

至於如何收集觀眾的情感數據,郭毅可表示有很多途徑:「除了可觀察腦部活動的磁力共振外,還有更輕便、易攜帶的儀器,例如可測量心率、呼吸的智能手表;科技商業大亨馬斯克最新研發的腦機連接芯片;能感知體溫、新陳代謝、荷爾蒙變化的電子皮膚等等。這些技術都可用於收集現場觀眾的身體信號,幫助推斷其心理狀態。」

他續指,現今科技發展迅速,項目餘下的三年不排除會發展出可探測人類情感的新儀器。

人人皆能用AI創作

郭毅可認為,發展AI藝術不一定會「搶走藝術家飯碗」,反而可以降低藝術創作的門檻,達到「全民創作」的願景。「例如在音樂創作上,人們只須哼一段旋律,AI便能根據其情感、風格等譜寫一首完整樂曲。」

他指研究意在超越現今的自動生成式AI,讓人類創作者在AI藝術中能參與更多,「現在研究的共情互感AI,不但可讓不會作曲的人也能作曲,還能讓音樂展現人類作者的個性,因為他們不是單純靠關鍵字生成藝術,而是靠自己的感情創作。」

郭毅可認為如何讓機器表達人性,是AI創作的重要命題。香港商報記者 崔俊良 攝

除了協助人類創作,兩位教授均認為生成式AI能幫助人類學習如何創作。「人們可透過完整的AI樂曲學習音樂的結構、如何配樂等。AI科技還可告訴你AI創作背後的原理,讓自學作曲或其他藝術創作更輕而易舉。」潘明倫說。

兩位教授補充,生成式AI能讓不同藝術媒介交融,如將音樂圖像化,或相反將畫作化為音樂,甚至創作舞蹈,讓不同類別的作者毋須成為全能藝術家,也能輕易進行跨媒介創作。

NO.2 AI浪潮勢不可擋

去年,美國科羅拉多州博覽會藝術比賽一名參賽者,以AI繪圖工具Midjourney生成的作品於「數碼藝術/數碼操作攝影」組別贏得冠軍,旋即成為網絡熱話。

有網民認為AI生成藝術不屬原創作品,怒斥涉事參賽者作弊,亦有數碼插畫家慨歎藝術已死,擔心AI威脅生計。

以AI繪圖工具Midjourney生成、於「數碼藝術/數碼操作攝影」組別贏得冠軍的作品《太空歌劇院》。

類似的情況近日再次在著名的Sony世界攝影大賽出現,奪得優秀作品獎的相片,竟是由AI圖像生成,勝出的「攝影師」拒絕領獎,並斥責主辦單位分辨不了AI與真人作品。

面對AI藝術的眾多爭議,郭毅可反指這些爭論沒有意義:「科技會進步,社會要發展,兩百年前很多依靠人力的工種現已被科技取代。研究如何將AI科技融於生活才重要,而且是無可避免。」

潘明倫同樣借古鑒今,相信AI藝術並不會淘汰傳統藝術,而是會成為創作方式的一種工具,「如同相機的發明並沒有取代繪畫,還衍生了攝影、電影等新的藝術形式。好看、好聽的作品並不會被時間、科技淘汰。」

作為音樂家的潘明倫認為AI可以成為藝術創作的輔助工具。香港商報記者 崔俊良 攝

對於有人利用AI作品在藝術比賽中獲獎,郭毅可並不否認AI藝術會取代某些藝術家,但他堅信AI不會讓未來全部藝術家丟掉飯碗:「因為未來的藝術家將會因科技而進步。」

NO.3 人工智能訓練學生批判能力

生成式AI削弱人類創作意欲只是爭議之一,其次還有原創性的問題。

近月全球熱議的AI聊天機械人軟件可說是眾矢之的。這個聊天機械人不僅能翻譯、校對、編程,還能寫詩填詞、創作故事和劇本、撰寫論文與報道,且模仿真人寫作的能力極高。

在維護學術誠信、看重原創性的學界,引起很大爭議,學校與教師紛紛擔憂學生會濫用AI代筆、作弊。

不介意學生用AI寫論文

對於生成式AI的協助,甚至代替學生寫作業,郭毅可一臉嚴肅地回答:「我不反對學生利用AI協助寫論文,甚至認為他們用AI來考試也不成問題。」

這個答覆多少讓記者感到錯愕,相信該校學生會感到萬分雀躍。

郭教授解釋,利用生成式AI代勞,並不代表學生從此可以飯來張口,衣來伸手:「學習不在於回答,而是在於發問。人有問題才會開始學習。論文歸根究柢就是考驗學生是否能問對問題。AI將論文簡化至其本質,就像互聯網讓學生省去了前往圖書館翻查資料的時間。AI也讓學生省去了在互聯網上翻查資料、歸納資料的時間,讓他們更專注於問更多、更好的問題。若所有學生都使用AI,可能不會再有不及格的人,但從他們發問問題的能力,便能分出高下。」

如上述利用AI繪圖工具創作而贏得大獎的作者所言,他在「創作」過程中須不斷向AI系統調整關鍵詞,作品經歷了逾900次迭代,花上80小時才完成。

生成式AI無疑簡化了傳統創作的程序,但依然要考驗創作者的思辨能力。對此,潘教授補充:「AI生成學術答案未必完全準確,這也可以訓練使用AI的學生的批判思維與編輯能力。」

文章來源:香港商報

香港科普科幻教育中心,推廣科學知識和科幻文化,促進科學教育的普及和發展。