祖克柏年終期末報告，分享人工智慧管家Jarvis開發心得

jis2577

祖克柏沿用電影《鋼鐵人》的人工智慧管家名字Jarvis，在Jarvis的伺服器上採用了語言處理、語音辨識、人臉辨識等技術，結合自家的Messenger機器人、iOS語音程式、攝影機，可以語音或文字向Jarvis發號施令，控制家中燈光、溫度、門鎖、音響等設備，甚至辨識來訪的訪客人臉以決定是否開門。

今年初，臉書（Facebook）創辦人暨執行長祖克柏（Mark Zuckerberg）公布了他今年給自己的挑戰將是親手寫出人工智慧（AI）管家的程式，現在祖克柏家中的人工智慧管家沿用了電影《鋼鐵人》中的人工智慧管家的名字Jarvis，在花了約100個小時的開發時間之後，Jarvis已能用來播放音樂、控制燈光、辨識門口的友人，未來祖克柏仍然打算繼續加強Jarvis。
祖克柏設計了一個用來分析、接收及傳送指令的Jarvis伺服器，該伺服器嵌入語言處理、語音辨識及人臉辨識等人工智慧能力，所連結的使用者介面包括Messenger機器人、支援iOS的語音程式，以及家門口的攝影機，可用來控制家中的Crestron自動化系統、燈光、溫度、門鎖、Sonos音響、Spotify音樂服務、攝影機及烤麵包機。


在打造Jarvis時祖克柏碰到的第一個難題是家中設備的連結，一來家中系統多半使用不同的語言與協定，二來多數的家電尚未建置連網功能，若要讓更多人利用Jarvis來管理家中所有的裝置，除了需要有更多的連網裝置之外，產業亦必須打造一致的API與標準以利裝置間的互動。
祖克柏賦予Jarvis可同時理解自然語音及文字命令的能力，也教導它學習新的詞彙與概念，發現理解一件事的脈絡對任何AI來說都很重要，有更多脈絡的AI就愈能處理各種開放要求，例如他大部份的時候只會要求Jarvis放音樂（play me some music），但不會指定歌手或類型，Jarvis就會根據祖克柏過去的喜好選擇音樂，也可要求Jarvis換其他型態的音樂，讓Jarvis除了可立即調整之外，也可學習音樂的分類。Jarvis還能辨識發號施令的是祖克柏或是他的妻子Priscilla，以播放適合的音樂。
祖克柏說，他發現自己多半使用開放式要求而非指定要求，卻尚無商業產品支援此一應用，也許是個好機會。
為了辨識來客，祖克柏於家門口安裝了多個攝影機，以從各個角度來捕捉到訪者的人臉，當確認來客時，Jarvis便會檢查對方是否在到訪名單中，是否要自動開門，也會通知主人。視覺AI系統用途廣泛，例如它能判斷女兒Max是否已經醒了，也能辨識家中成員所處的房間藉以執行更開放式的命令。


祖克柏利用既有的Messenger機器人機制來打造與Jarvis的通訊介面，直接在Messenger上與Jarvis機器人溝通，Jarvis機器人即會將指令傳至Jarvis伺服器執行。
令祖克柏自己都感到訝異的是，Jarvis機器人雖然可同時支援語音與文字命令，但他大多數的時候是採用文字命令，也較希望收到Jarvis的文字回應，也許是因為文字較私密，而語音可能會帶來干擾的原故。此一狀況與Messenger及WhatsApp的使用趨勢相符，這兩個服務的文字傳訊量成長速度大過於語音傳訊量，代表未來的AI產品將不能只支援語音控制，亦應建立文字控制介面。


祖克柏另外打造了Jarvis語音辨識程式，目前只支援iOS版，之後也會有Android版。他在家中許多位置都擺放了安裝Jarvis語音辨識程式的iPhone，以方便他隨時以語音控制Jarvis，這個概念有點類似Amazon Echo，但祖克柏認為他需要與Jarvis互動時經常不在家，所以手機可能是個更適合的裝置。
在經過這一年的試驗後，祖克柏更加堅定了他先前的預測—未來的5到10年間人們就會擁有比人類感官更為精確的AI系統，不管是視覺、聽覺、觸覺或語言。
儘管祖克柏曾經考慮要開源Jarvis，但現階段的Jarvis與祖克柏家中的配置、電器及網路設定習習相關，假使他能打造一個集合更多家庭自動化功能的分層，便有機會開源它，並可望成為打造新產品的強大基礎。

panups