復旦年夜學團隊研發找九宮格私密空間AI年夜模子 助視障者“看見”世界_中國網

原題目:中新安康|復旦年夜學團隊研發AI年夜模子 助視障者“看見”世界

中新網上海3月2日電 (記者 陳靜)只需一枚攝像頭和一對耳機,畫面可以或許跳舞場地被轉化成說話,刻畫場景、提醒風險,讓視障者出行更平安、生涯更便捷……記者2日得悉,在復旦年夜學天然說話處置試驗室(FudanNLP)師生的盡力下,基于多模態年夜模子“復旦·眸思”(MouSi)為視障者量身打造的“聞聲世界”APP上線,將成為視障人士的生涯助手與智能管家。

2023年上半年,復旦年夜學天然說話處置試驗室發布了開闢MOSS對話式年夜型說話模子,被共享空間稱為中國版的GPT,僅用半年時光多模態模子“眸思”問世。據先容,“眸思”和基于文本的MOSS分歧,它可以或許懂得并辨認圖片內在的事務,努力于成為視障者的一雙“眸”。

基于“眸思”,“聞聲世界”APP為視障者日常生涯需求量身打造街道行走形式、不受拘束問答形式和尋物形式。在街道行走形式中,“眸思”如一位忠誠的向導。紅綠燈、十字路口、妨礙物……它能細致掃描途徑講授場地情形,提醒潛伏風險,陪同視障者平安通行“看不見”的漫漫長路。

在不受拘束問答形式中,“眸思”則像一位貼心的伴侶,走進博物館、藝術館、公園……捕獲周圍氣象的每個細節,用聲響構建豐盛的生涯場景,傳遞每一處日常之美。在尋物形式中,“眸思”將成為一名靠得住的管家,被變動位置過的枴杖、最愛口胃的牛奶……它可以讓視障人士找尋日常物件變得輕松。

復旦年夜學天然說話瑜伽場地處置試驗室張奇傳授說:“人工智能成長一日千里,科技應當要轉變更多人的生涯,盼望‘眸思’可以或許輔助視障人士走落發門,讓他們可以測驗考試更多任務,為人生書寫更多能夠。”據先容,該項目標主導者都是“初出茅廬”的先生們,在組內腦筋風暴會上,年青學子總能提出首創性設法,可以或許找到另辟門路的處理措施。

自往年9月以來,復旦年夜學天然說話處置試驗室繚繞GPT4-v復現多模態年夜模子,對焦點要害點展開研討,盼望晉陞單項義務的正確率和強化年夜模子的進修。為了更好地感觸感染視障者的難處,團隊成員模仿真正的情境,蒙眼摸索視障者“暗中”世界。他們約請視障人士參加,進一個步驟摸清真正的而詳細的需求。

在基于幾億張圖片練習出“眸思”年夜模子基本上,針對視障者提出的各類需求,團隊又用上萬張圖片停止特別樣本練習,使“眸思”具有可以或許適配更多場景的才能。據流露,本年上半年,家教團隊將聯合AR進級APP內的定位精度細化至亞米級別。下半年,團隊盼望將“眸思”進級為基于錄像的判定。今朝,更多形式正在開闢中,好比,瀏覽形式、講解形式等。

據清楚,團隊打算與NGO組織、智算中間和硬件廠商等展開一起配合,努力于讓視障者不花錢應用產物和相干辦事。估計本年3月“聞聲世界”APP將完成第一輪測試,在中國一、二線城市和地域同步開啟試點,依據算力安排情形停止推行。(完)

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。