본문 바로가기

ollama2

Ollama 사용시 미지원 AMD GPU 가속 적용하는 방법(RX6600, RX580 등) 안녕하세요. 몇달전 업데이트로 Ollama에서도 AMD GPU 사용이 가능하게 되었습니다. 그러나 여전히 구형 GPU들은 사용이 불가능 한데요. Github likelovewant 의 글을 참조하여 AMD GPU 가속 방법을 소개드립니다. 제가 사용하고 있는 GPU는 Radeon RX6600 8GB 입니다. 1. ollama 새로 설치 - https://github.com/likelovewant/ollama-for-amd/releases  - 오늘 기준 최신 버전은 0.5.7인데 likelovewant의 페이지의 OllamaSetup.exe는 0.5.4 입니다. - 최신 버전은 해당 방법이 적용되지 않을 수 있다고 해서 저는 0.5.4로 다시 설치 했습니다. 2. 본인이 가진 GPU의 LLVM targe.. 2025. 1. 27.
로컬 LLM 도구 Ollama + Chat Box 사용법과 간단한 소감 안녕하세요.오늘 하루 Ollama를 이용한 Local LLM 구동을 체험해보고 간단한 팁과 소감을 남깁니다. 1. Ollama를 이용한 로컬 AI LLM 구동의 장점 - 개인적인 데이터를 보안 위험없이 사용할 수 있다. - 인터넷 연결이 없어도 어디서든 사용할 수 있다. - AI 구독비용이 발생하지 않는다. 업무를 하다보면 보안 문제로 인터넷을 사용할 수 없는 경우가 있어 로컬 LLM을 시도해 보기로 했습니다. 2. Ollama 사용법 - 많은 능력자 분들이 정말 편하게 쓸 수 있게 해두었습니다. 1) https://ollama.com/ 에 접속하여 본인의 운영체계에 맞는 프로그램만 다운 받아 설치 하면 됩니다. 2) 설치가 끝나면 윈도우키+R 누른 후 CMD 입력  3) ollama를 입력해서 제대로 .. 2025. 1. 27.