LLama 3.1은 Meta(FaceBook)에서 제공하는 로컬에 설치 가능한 AI모델입니다. 세 가지의 모델이 있는데 8b(80억파라미터) 모델은 GPT 3.5 Turbo와 비슷한 성능이라고 합니다.
Ollama를 다운로드 받아, Ollama를 통해 LLama 3.1(8b)을 개인 PC에 설치해봅니다.
- 아래 URL에 접근
- 각자 OS에 맞는 버젼 다운로드(현재 문서는 Windows 기반)
- 다운로드 받은 파일을 실행해서 설치
- 설치가 완료된 후 설치된 ollama를 찾아서 실행
- 또는 윈도우즈 PowerShell을 바로 실행해도 됨.
- PowerShell에서 다음 명령어를 실행해서 llama3.1 8b를 설치합니다.
- ollama run llama3.1:8b
- 위 명령어를 최초실행하면 llama3.1을 다운로드하고 실행까지 합니다.
- Default가 C드라이브에 설치되는 것으로 보입니다. 최소 5기가의 저장 공간이 필요합니다.
- 테스트해보기, PowerShell에서 llama를 실행한 후에 질문을 해봅니다.
- 한글도 가능합니다.
- 그런데! 개인 컴퓨터에 따라 매우 느립니다.
- 그래서 다들 맥북프로를…
