搜尋澳門生活誌

免費自用的私人AI助理 | Ollama - 本地大型語言模型

MacauYeah・2025-01-06

不知道在澳門的朋友，有多少可以正常接觸openai？因為地方政策問題，像openai這種國外的大型語言模型下稱LLM，澳門區都沒法接觸到。但隨著時間過去，即使我們不能直接接觸到算力很強的收費AI，我們只要有電腦，也可以佈署一些開源版本的LLM。只要我們可以安裝到ollama這套本地運算軟件就好 ollama是一個giuthub上的開源工具，讓用戶能夠在自己的電腦上運行各種大型語言模型（LLM）。基本上只要電腦是普通的桌上型windows, linux, mac，都可以運行它。下以面就介紹一下筆者的安裝經驗。 windows windows ollama windows 本地安裝ollama，真的很簡單，就是直接去官網下載就好 httpsollama.comdownloadwindows 安裝完成後，在windows cmd再加一個基本的模型就可以了 ollama pull llama3.2 之後就可以開始跟llama問問題 ollama run llama3.2 windows openwebui 如果大家不習慣windows cmd的醜醜介面，想經過瀏覽器存取，我們可以再加裝openwebui。但這個必需要經第三方python或docker安裝。openwebui github指引 httpsgithub.comopenwebuiopenwebui 經python pip install openwebui openwebui serve 經docker docker run d p 80808080 addhost=host.docker.internalhostgateway v openwebuiappbackenddata name openwebui restart always ghcr.ioopenwebuiopenwebuimain 最後，打開browser，訪問 httplocalhost8080，openwebui就會要求大家先設立管理員帳號。就那麼簡單，大家就有一個真正的私人AI助理。 steamdeck steamdeck 因為很多linux功能都有被限制，所以筆者就直接使用 podman 安裝 git clone httpsgithub.commacauyeahollamasteamdeckpodman.git cd ollamasteamdeckpodman podman compose f podmancompose.yaml up d podman exec it ollama ollama pull llama3.2 同樣地，打開browser，訪問 httplocalhost8080就可以了，因為這個版本已有預設的管理員帳號，立即打開就可以使用了。 Ollama的開源模型上文中一直提及 llama3.2 其實是 Meta 公司的開源模型，因為它的參數相對少，算力要求較低，可以在沒有GPU的環境下執行。若然大家算力足夠，可以使用其他模型，詳見 httpsollama.comlibrary 。見到合心水的模型，大家可以經 pull 指令下載。例如小紅書的網紅們很多都推薦qwen2，我們可以 ollama pull qwen2 備註 openwebui 及 ollama 並不直接支援自己建立自己的資料庫。我們需要其他工具去補完，但筆者觀看各種教學，自己建資料庫的效果都不太好，所以暫時不做任何教學。只要我們一直經ollama pull，就可以更新語言模型。但如果大家追求即時的網絡最新資料，大家可以看看LLM RAG的相關文章。但筆者亦未有成功的案例，有更新會另作教學。 opewebui並不是PDF閱讀器，但它可以預覽PDF中的文本，我們需要手動複制PDF中的文件後，才能經ollama分析文件內容。若想切換模型，在指令介面中，我們多開一個分頁就可以了。若經openwebui，則可以在每句對話之前，經左上方選擇不同模型。