오픈소스 AI ollama 3.1 설치해보기(비전문가 버전)
감성태그
2024. 7. 30.
페이스북과 인스타로 유명한 메타에서 AI 오픈소스를 런칭해서 이슈가 되고 있습니다.
챗GPT부터 코파일럿, 미드저니, 제미나이까지 모두 빅테크 기업들만이 서비스 가능하다고 생각했는데
메타에서 오픈소스로 AI를 활용할수 있도록 서비스를 시작했습니다.
다운로드라는 말에서 알 수 있듯이 이 AI는 해당 PC에 설치되어 운영되는 서비스입니다.
기존에 인터넷으로 편리하게? 사용하는 것 과는 다릅니다.
왜 설치를 해야하는 수고로움이 있는데 이슈가 되고 있을까요?
기존의 서비스에서는 아무래도 개인정보 활용에 대한 찝찝한 무언가 있었죠?
예를들어 이름과 연락처 회비 내역이 있는 명단리스트 종이를 스캔해서 엑셀표로 만든다고 했을때
아무래도 AI가 정보를 저장하고 있는 것에 대한 근본적인 불안함이 있습니다.
오픈소스를 통해 개별의 고유의 특성이 반영된 진정한 나만의 AI만들기 인것이죠
좀 더 자세한 기술 설명은 아래를 참고해주세요.
그럼 아래는 8단계에 거친 설치과정을 통해 llama 3.1을 살펴보겠습니다.
Step2. os 버전 선택 (** os버전은 윈도우기준 10이상을 요구합니다.)
Step3. 다운로드 완료후 설치하면 아래처럼 라마아이콘이 나옵니다.(다음클릭의 압박은 없습니다.)
Step4.다시 사이트로 돌아와 1), 2)단계를 클릭합니다.
Step5. 왼편 을 보면 latest부터 405B, 70B, 8B를 선택할 수 있으며, 파라미터의 크기를 나타냅니다.
**저는 최소인 8B(파라미터 70억개)를 선택 했습니다. 옆에 ollama run llama3.1의 복사아이콘을 눌러 복사합니다
Step6. 윈도우에서 <CMD>를 검색하여 CMD를 실행합니다.
Step7. 복사했던 ollama run llama3.1를 붙여 넣기하고 엔터를 눌러 파일을 다운 받습니다.(4,7GB 분량)
완료하면 메세지를 넣을 수 있는 프롬프트가 열립니다.
이렇게 코딩도 출력해줍니다.
잠깐 사용 느낌
장점 : 나만의 AI를 만들수 있고, 개인정보 노출위험이 적다.
옛날 감성을 느낄 수 있다,
단점 : 아름다운 디자인에 익숙해져 있어 웬지 낯설다.
저사양 노트북이라 한줄 한줄 출력해주는게 눈물겹다.(속도가 느리다)
댓글