[2023-03-29] LLaMa on MacBook Pro 2019 <Intel, 8core, 32G M, 512 GB SSD)
안녕하세요. 클스 입니다.
얼마전 facebook에서 인류의 발전을 가속화하기 위해 경량 모델인 LLaMa를 공개했습니다.
맥북 프로 M1, M2에서 64GB 환경에서 구동하는 동영상은 많습니다. 그런데 제가 갖고 있는건
Intel 2019년 모델입니다 그래도 한번 돌려보고 싶어서...
ChatGPT에 버금가는 성능이라하여.. 궁금하기도 합니다.
1) github에서 소스 다운로드
https://github.com/facebookresearch/llama
https://github.com/antimatter15/alpaca.cpp/releases ==> 여기서 다운할거에요
alpaca-mac.zip 을 다운로드 받을거에요~ alpaca-mac.zip 인데 이름을 바꿔서 버전을 붙혀줬습니다.
압축을 푸니 chat_mac 실행파일 하나만 나오네요~
실행해보았습니다. 필요한 모델들이 있습니다. huggingface 에서 다운받도록 하겠습니다.
(py3.11.2) [~/Downloads]$ ./chat_mac
main: seed = 1680065783
llama_model_load: loading model from 'ggml-alpaca-7b-q4.bin' - please wait ...
llama_model_load: failed to open 'ggml-alpaca-7b-q4.bin'
main: failed to load model from 'ggml-alpaca-7b-q4.bin'
(py3.11.2) [~/Downloads]$
2) huggingface에서 모델 다운 받기
구글에서 검색해보면 결과가 엄청 많이 나옵니다. 많은 사람들이 연구를 하고 결과를 오픈하고 있습니다.
난 어떤걸 받아야 하지?
This is a https://huggingface.co/chavinlo/alpaca-native converted in GGML (alpaca.cpp) format and quantized to 4 bits to run on CPU with 5GB of RAM.
드디어 대망의 실행 순간이 왔습니다.
이정도 사양에서 돌아간다고 하네요~ /ggml-alpaca-7b-q4.bin 파일이 약 4.21GB 입니다.
alpaca 디렉토리를 생성합니다. 그리고 2개의 파일을 복사합니다.
앞으로는 alpaca를 이용해 회사 내부 데이터 학습해서 chatGPT같은 서비스가 많이 나올거라 예상됩니다.
Mac Studio Ultra가 있으니 그걸로 한번 돌려보고 싶네요~
다낭 여행한번 가보려고, 물어봤더니.. 뭔 소리여~~ 언능 한국어 학습된 모델이 나오면 좋겠습니다.
어딘가에 있을것 같네요~
> Explain facebook alpaca
Facebook Alpaca was created to help people connect with each other more easily and efficiently on Facebook by using artificial intelligence (AI). It is designed to understand user intent, recognize patterns in conversations, and generate natural language responses. By leveraging AI technology, it can provide users a faster way of finding information or connecting with friends without having to type out long queries.
> 다낭은 어느나라에 있어?
Dalian is located in Northeast China's Liaoning Province, bordering the Yellow and Bohai Seas. It has a temperate monsoon climate with four distinct seasons - spring, summer, autumn and winter. The average annual temperature of Dalian City is 8.5 degrees Celsius (47.3°F).
대련은 중국 동북부 랴오닝성에 위치하며 황해와 발해를 접하고 있습니다. 봄, 여름, 가을, 겨울의 사계절이 뚜렷한 온대 계절풍 기후입니다. 대련시의 연평균 기온은 섭씨 8.5도(47.3°F)입니다.
> DanWhere is Danang ?
Danang is a coastal city in central Vietnam located on the eastern side of the Panhandle region, near the demilitarized zone that separates North and South Korea. It has an estimated population of 519,286 people as of 20
그래도 영어는 대답을 잘하네요~
alpaca 한국어 학습시켜서 봇을 만는 분이 계시네요~
https://huggingface.co/beomi/KoAlpaca-Polyglot
https://github.com/Beomi/KoAlpaca
카카오톡 봇 : https://pf.kakao.com/_wdRxcxj ==> 사용자가 많아 답이 느림
텔레그램 봇 : https://t.me/KoAlpacaBot ==> 사용자가 없어 답이 빠름
감사합니다.
댓글
댓글 쓰기