Ollama 사용시 미지원 AMD GPU 가속 적용하는 방법(RX6600, RX580 등)

안녕하세요.

 

몇달전 업데이트로 Ollama에서도 AMD GPU 사용이 가능하게 되었습니다.

2025년 1월 기준 공식 지원 AMD GPU

 

그러나 여전히 구형 GPU들은 사용이 불가능 한데요. Github likelovewant 의 글을 참조하여 AMD GPU 가속 방법을 소개드립니다.

 

제가 사용하고 있는 GPU는 Radeon RX6600 8GB 입니다.

 

1. ollama 새로 설치

 - https://github.com/likelovewant/ollama-for-amd/releases 

 - 오늘 기준 최신 버전은 0.5.7인데 likelovewant의 페이지의 OllamaSetup.exe는 0.5.4 입니다.

 - 최신 버전은 해당 방법이 적용되지 않을 수 있다고 해서 저는 0.5.4로 다시 설치 했습니다.

 

2. 본인이 가진 GPU의 LLVM target ID가 뭔지 확인 합니다. 

  - RX6600의 경우 gfx1032 입니다. RX580 은 gfx803 입니다.

  - 그 외 모델의 경우 인터넷 검색 해서 ID를 알아냅니다.

 

3. 페이지 가운데쯤 ROCmlibs for 6.1.2 를 클릭합니다.

 

4. 마우스 스크롤 해서 화면 아래쪽으로 내리면 Assets 부분에 여러 파일들이 있는데 본인의 GPU에 맞는 rocm 파일을 다운로드 받아 압축을 풀면 rocblas.dll 파일과 library 폴더가 나옵니다.

  - 이 파일과 폴더를 ollama가 설치된 폴더에 덮어 쓰면 끝입니다.

 

5. ollama가 설치된 폴더로 이동합니다.

 - 탐색기를 열고 아래 위치를 복사해서 붙여 넣습니다.

 - C:\Users\PC\AppData\Local\Programs\Ollama\lib\ollama 

 - 4번에서 압축풀어서 나온 rocblas.dll 파일을 해당 폴더에 덮어 쓰기 합니다.

 - rocblas 폴더에 들어갑니다.

 - library 폴더도 마찬가지로 4번에서 압축풀어서 나온 library폴더로 덮어 쓰기 합니다.

 

6. 셋팅이 끝났습니다. 하지만 ollama가 이미 로딩 되어 있으면 변경된 파일이 적용되지 않습니다.

  - 컴퓨터를 재부팅 하시거나

  - 작업관리자에서 ollama와 관련된 프로세스들을 모두 종료 시켜 주신 후 ollama를 다시 실행 시키면 됩니다.

  - 이후 아무 모델이나 실행 시켜 보시고 종료 시킨 후

  - ollama ps 를 입력해 보면 GPU가 정상적으로 작동되는 것을 확인할 수 있습니다.

  - 아래의 경우 phi4 14b 모델인데 GPU VRAM이 작다보니 42%는 CPU, 58%는 GPU에 올라간것을 볼 수 있습니다.

  - 제대로 적용되지 않았을 경우 CPU 100%로 표시됩니다.