搜尋澳門生活誌

免費自用的私人AI助理 | Ollama - 本地大型語言模型

MacauYeah・2025-01-06

不知道在澳門的朋友，有多少可以正常接觸openai？因為地方政策問題，像openai這種國外的大型語言模型(下稱LLM)，澳門區都沒法接觸到。但隨著時間過去，即使我們不能直接接觸到算力很強的收費AI，我們只要有電腦，也可以佈署一些開源版本的LLM。只要我們可以安裝到ollama這套本地運算軟件就好 ollama是一個giuthub上的開源工具，讓用戶能夠在自己的電腦上運行各種大型語言模型（LLM）。基本上只要電腦是普通的桌上型windows, linux, mac，都可以運行它。下以面就介紹一下筆者的安裝經驗。 windows windows ollama windows 本地安裝ollama，真的很簡單，就是直接去官網下載就好 - https://ollama.com/download/windows 安裝完成後，在windows cmd再加一個基本的模型就可以了 ollama pull llama3.2 之後就可以開始跟llama問問題 ollama run llama3.2 windows openwebui 如果大家不習慣windows cmd的醜醜介面，想經過瀏覽器存取，我們可以再加裝openwebui。但這個必需要經第三方python或docker安裝。openwebui github指引 - https://github.com/open-webui/open-webui 經python pip install open-webui open-webui serve 經docker docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 最後，打開browser，訪問 http://localhost:8080，openwebui就會要求大家先設立管理員帳號。就那麼簡單，大家就有一個真正的私人AI助理。 steamdeck steamdeck 因為很多linux功能都有被限制，所以筆者就直接使用 podman 安裝 git clone https://github.com/macauyeah/ollama-steamdeck-podman.git cd ollama-steamdeck-podman podman compose -f podman-compose.yaml up -d podman exec -it ollama ollama pull llama3.2 同樣地，打開browser，訪問 http://localhost:8080就可以了，因為這個版本已有預設的管理員帳號，立即打開就可以使用了。 Ollama的開源模型上文中一直提及 llama3.2 其實是 Meta 公司的開源模型，因為它的參數相對少，算力要求較低，可以在沒有GPU的環境下執行。若然大家算力足夠，可以使用其他模型，詳見 https://ollama.com/library 。見到合心水的模型，大家可以經 pull 指令下載。例如:小紅書的網紅們很多都推薦qwen2，我們可以 ollama pull qwen2 備註: openwebui 及 ollama 並不直接支援自己建立自己的資料庫。我們需要其他工具去補完，但筆者觀看各種教學，自己建資料庫的效果都不太好，所以暫時不做任何教學。只要我們一直經ollama pull，就可以更新語言模型。但如果大家追求即時的網絡最新資料，大家可以看看LLM RAG的相關文章。但筆者亦未有成功的案例，有更新會另作教學。 opewebui並不是PDF閱讀器，但它可以預覽PDF中的文本，我們需要手動複制PDF中的文件後，才能經ollama分析文件內容。若想切換模型，在指令介面中，我們多開一個分頁就可以了。若經openwebui，則可以在每句對話之前，經左上方選擇不同模型。