留住媽媽的聲音
人工智能語音重建技術

李丹教授分享為病人重建聲線的動人故事。

善衡書院在2022年10月19日於何善衡館舉行第二次高桌晚宴,當晚中大工程學院副院長(教育)及電子工程系教授、善衡書院輔導長李丹教授以「留住媽媽的聲音——人工智能語音重建技術」為題,向二百四十位書院師生、校友、職員發表演講。

李教授首先分享了Jody的故事。現年六十歲的Jody去年喉癌復發,醫生建議全面切除舌頭及聲帶組織,但手術後她將永久失去說話能力。就在手術預定日子前,Jody兒子當時的女友在網上論壇求助,詢問以人工智能技術複製聲線的可能性。貼文引起中大電子工程系博士生馬敬恆先生的注意,他立即知會李教授——當時學系團隊正在研究相關技術,也許可以伸出援手。

時間緊逼,團隊旋即與Jody舉行視像會議,並邀請她進行五小時的錄音。過程之中,Jody須在實驗室讀出不同文本,包括團隊早前研發的指定對話、兒童故事,還有Jody要求的聖經經文。這些材料並非隨意揀選出來,要重建聲線,錄音內容必須涵蓋廣東話口語的所有必備元素,像是聲母、韻母、聲調、詞語組成、重音,還有當事人平日的說話風格。團隊收集這些數據以後,便著手訓練語音合成模型,經過一個月的嘗試,最終成功做出近似Jody聲線的樣本及模型。此外,李教授也找來合作伙伴設計手機應用程式,讓病人能夠隨時利用手機輸入文字,轉化為語音。

時至今日,人工智能已是蔚為風尚的話題,大家知道它可以創造生產力,改變未來。可是,在生活層面上到底如何應用?如何幫助個人?李教授透過Jody的故事指出,人工智能對一些人來說意義深遠。大公司不一定為少數人士(如喉癌病人)提供實用產品,願意開發廣東話產品的公司更如鳳毛麟角。在商業考慮和現實需求之間,無疑存在斷層。面對這個情況,李教授認為中大義不容辭,有責任協助病人。「我們是工程師,只熟悉訊號處理及電腦程式。我們沒有方法治療病人,那是醫生的職責。但我們也能貢獻一分力量——我們想留住她的聲線。」李教授表示。

今年年初有線電視在《小事大意義》訪問了Jody,記錄她的故事。後來Jody在社交媒體分享,她希望更多人認識這項人工智能技術,讓更多人受惠。接下來的數月,Jody的願望成真了。李教授的團隊收到許多病人或其家人的查詢,目前為止,他們一共正式接收了五位病人,包括七十歲的大律師及三十多歲的鋼琴教師。像Jody一樣,他們也透過人工智能技術,保留了獨一無二的聲線。

重建聲線的工作意義非凡,但團隊無法全職於此,人手相當緊絀。李教授有意在善衡書院組織學生服務團隊,邀請不同學系的本科生參與其中。有些任務很簡單,善衡學生絕對勝任有餘,如為病人錄音、把錄音轉寫為文字、做一些基本的電腦程式等等。講座尾聲,李教授誠摯呼籲善衡同學加入服務團隊,一起支援有需要的病人。

高桌晚宴嘉賓包括(左起)︰Ian Morley教授、Lipika Alok Chatterjee博士、趙偉仁教授、莫仲棠院長、李丹教授、鍾沛諺同學。

善衡同學聆聽李教授的演講。

善衡同學在問答環節和李教授交流想法。

李教授向二百四十位善衡師生及職員主持演講,未能親身出席高桌晚宴的善衡同學也可收看現場直播。

演講之後,出席者享用一場豐盛的筵席。