Boris(左)及Aimee(右)偕同兩名隊友,成功研發本港首個專為智障及自閉人士而設的AR手機應用程式。
Boris(左)及Aimee(右)偕同兩名隊友,成功研發本港首個專為智障及自閉人士而設的AR手機應用程式。

  (星島日報報道)四名理大學生成功研發全港首創「AR購物APP」,協助欠缺自理人士獨立生活,該團隊早前通過擴張實境等先進技術,研發本港首個專為智障及自閉人士而設的手機應用程式,使用者只要觀看手機屏幕,便可通過導航聲音及指示圖標,在模擬商店內尋獲打算購買的貨品,有關系統經特殊學校學生試用後,證明卓著,預計下月推出後,將獲不少特殊教育機構採用。

  過往曾當義工接觸智障及自閉人士的Boris,去年九月報讀理工大學設計學院多媒體科藝理碩士課程,和三名女同學Aimee、Aurora及Selene構思畢業功課時,留意到坊間沒有手機應用程式(APP)訓練智障及自閉人士獨自購物,於是組成團隊「Spark」(星火)進行有關研發。

  確立目標後,四人坐言起行,Boris負責編寫程式,Aurora設計程式內所需圖案,Aimee研究試驗對象的心理,Selene則負責推廣及宣傳,經四個月努力後,手機應用程式「StarMall」於今年一月完成設計,隨後邀請了禮賢會恩慈學校約二十名中度智障學生,在校內模擬超級市場試驗程式,但發現有不足之處,於是詢問專家意見、反覆檢討和不斷測試,對程式進行多次修改。

  經過大約十次試驗,團隊上月將「StarMall」改良至第四個版本後,終克服所有技術和操作問題,記者日前獲悉到禮賢會恩慈學校,見證特殊學校學生試用該程式購物過程。

  訪問當日,Boris說已預先在該校的模擬超市,通過手機鏡頭和程式帶有的人工智能(AI)功能,讓程式「認路」和製作正確行走路線,再以擴張實境(AR)製作指示方向的「星星」圖案,並為目標貨物作標記,聲音導航則會提示行走路線是否正確,有關設定會儲存於雲端伺服器,方便老師隨時開啟程式供學生「購物」。

  介紹過後,兩名中度智障及有自閉傾向的學生親身示範,其中十八歲的「阿峰」點擊手機屏幕開啟程式後,根據「星星」圖案和聲音導航穿梭貨架,約半分鐘找到被指示要購買的曲奇餅,隨即將手機鏡頭對準曲奇,並點擊屏幕作標示,之後拿往收銀櫃枱付款;八歲的「進仔」亦不負眾望,不消四十秒成功找到同款曲奇餅,眾人隨即拍手讚許。

  談及研發過程,Boris苦笑表示,初時以箭嘴圖案指示方向,不料有關學生無法理解,又發現圖案欠缺趣味,令他們便會分心,不按指示行走,決定修改圖案;Aimee亦指「試驗對象無法說出使用程式時所遇到的問題」,只能將心比己,思考對方感受,其後明白眾人視覺能力較強,於是改用有趣的「星星」圖案吸引眼球,成功讓他們按指示「購物」。

  對於成功研發本港首個讓智障及自閉人士學習購物的「AR」手機應用程式,Boris笑言希望精益求精,正研究將程式與市面的支付工具掛鈎,方便有關學生學習以手機付錢,亦考慮將橫向觀看的屏幕改為直向,讓他們一手持手機,騰空一手應付突發情況,又考慮研發家長同屏功能,讓父母了解子女學習情況。

  雖然「StarMall」程式最快下月才正式推出,但Aimee透露已有至少五所特殊學校有意採用,惟因欠缺資金購買雲端伺服器儲存容量,目前程式只能儲存一條「購物路線」於容量有限的免費伺服器,同時欠缺研發費用,故此正申請各項基金,若獲得資助,有望進一步優化程式,讓智障及自閉人士更有效學習購物,從而提升獨立生活能力。