AGX Jetson Xavier™ 是NVIDIA於2018年底出品的的新一代人工智慧用途的嵌入式系統。產品線有模組與開發套件兩種選擇,是系列的最新產品。
Xavier Developer Kit是一套開發平台(以下簡稱xavier),已經有預載linux系統,他的硬體設計雖是嵌入式系統,但是其運算力度足以運行桌面系統,因此nvidia已經開發調校完成一份ubuntu作業系統,可以將xavier的硬體能力極致發揮。nvidia為了讓xavier能夠適應不同應用場合,因此出廠時只有安裝最精簡的作業系統,因此如果要試玩體驗xavier的完全性能,就必須完全安裝nvidia準備好的整套jetson系統。為了讓使用者能夠最快安裝,nvidia同時設計了一個安裝程式,讓使用者可以用圖形界面點選想要安裝的軟體模組。
在NVIDIA的開發者Youtube頻道(https://www.youtube.com/user/NVIDIADeveloper)有安排一個快速安裝短片(https://youtu.be/-nX8eD7FusQ),不過雖然短片只有短短數分鐘,但是實際跑完整個流程則是需要一個多鐘頭的時間。
xavier快速首次設定流程
開始之前還需要額外準備一些道具:
。一部電腦或筆電
。帶有HDMI界面的螢幕
。鍵盤、滑鼠
。USB集線器
。網路集線器
準備的電腦或筆電,要確定安裝ubuntu18.04以上的作業系統,因為目前的快速安裝程式僅有ubuntu版本,因此這個步驟是必須的。有關ubuntu 18.04的安裝或是升級可以參考ubuntu的官網說明(https://wiki.ubuntu.com/BionicBeaver/ReleaseNotes)
JETPACK是NVIDIA為了方便開發者使用他們的嵌入式系統所打包的安裝程式,如要取得最新的開發者程式包必須先JETPACK官網註冊(https://developer.nvidia.com/embedded-computing)才能免費下載。
接著到下載中心(https://developer.nvidia.com/embedded/downloads#?tx=$tools,setup)找到JetPack 4.1.1 DP下載JetPack SDK,點選Ubuntu(64-bit)連結,會得到一個安裝檔(JetPack-L4T-4.1.1-linux-x64_b57.run)。
下載後要將這個安裝檔更改權限為可執行,便可以執行這個安裝檔。這個安裝檔可以利用個人電腦透過USB線與網路線自動化安裝xavier所需的系統檔案。
chmod +x JetPack-L4T-4.1.1-linux-x64_b57.run
./JetPack-L4T-4.1.1-linux-x64_b57.run
將程式執行起來,如果這時候電腦的平台不正確就會出現錯誤訊息,根據訊息指出安裝程式必須在X86平台下才能執行。
另外出現以下的警告則表示執行環境的語言設定不是en,可藉由終端機命令先將執行環境變數設定後再執行一次,務必要作到程式執行沒有錯誤。
等到安裝程式正確運作之後,接著使用套件附帶的usb3延長線將xavier與電腦相連接,這裡要注意與電腦連接的usb線要連接xavier的前面板usb埠。
接著將xavier的HDMI、鍵盤、滑鼠以及網路線等一一接上,這裡要注意xavier只帶有一組USB Type A及一組USB Type C連接座,因此鍵盤滑鼠其中一項週邊必須依賴xavier附帶的USB Type C對USB Type B轉接線。或者,如果手邊有無線鍵盤滑鼠組合,可以將鍵盤滑鼠的無線USB發射器插在xavier唯一的USB Type A插座上。
在網路線的部份,必須利用網路集線器將電腦與xavier連接在同一個網域底下,然後一起連上internet。
回到安裝程式的部份,必須讓xavier進入工程模式(recovery mode)然後才能交給安裝程式進行自動化安裝。讓xavier進入工程模式的方法就是在關機狀態下同時按下開機鍵與工程模式鍵然後放開,之後xavier電源燈會亮起但是除此之外沒有其他反應,螢幕也會保持一片漆黑。
此時回到電腦端的安裝程式按下下一步,影片到了這一步就含糊帶過了,這邊我們繼續詳細解說如下,安裝程式接著會出現預設安裝路徑的設定畫面。原來安裝程式是利用電腦端的運算能力下載安裝檔案並且以交叉編譯(cross compiling)的方式將xavier所需的程式編譯完成,並且透過usb線將系統檔案燒錄進xavier中。
在設定完成預設安裝路徑之後,安裝程式接著下一步到了安裝項目的挑選,在首次體驗安裝還不清楚程式庫相依性問題的時候,挑選全部安裝可以避免遇到問題再安裝的問題,經過測試xavier的內置硬碟容量可以裝得下全部的預設安裝。補充說明:對初學者來說,在下圖Action欄位中都要設成install,以利後續說明。
指定完要安裝的軟體包之後,電腦端會經過一段時間的交叉編譯,接著安裝程式會提示上傳系統檔案到xavier,再接著會跳出終端機視窗提示xavier端正在進行系統安裝,此時安裝程式是透過網路與xavier進行溝通。安裝完成之後xavier就會重新開機,接著xavier連接的螢幕就會出現ubuntu的桌面,這個時候就可以移除與筆電或桌機連接的USB線,並且直接透過鍵盤與滑鼠進行xavier的操作。下面根據安裝程式出現的提示順序截圖。
開機預設帳號、密碼:
user: nvidia
password: nvidia
下一篇開玩測試。祝你好玩。
20240805 補充:
目前AGX Xavier可以使用的jetpack版本僅到5.1.3
如果要在AGX Xavier上遊玩大模型,可以在機器上編譯llama.cpp,只要在make之前加上
export CUDA_DOCKER_ARCH=sm_72
就可以用到他的32 TOPS算力。但是畢竟這是一部上古神器(以AI時間尺度來說),eMMC記憶體只有32GB,核心放完再放個模型就差不多滿了。
使用gemma2 2B Q4_K_M 模型可以有16.82每秒tokens的輸出~