[2023-03-31] aws cli 업데이트가 필요 합니다. 안녕하세요. 클스 입니다. aws cli를 v1 설치하고 v2로 업데이트를 하였습니다. 한 1년전인 것 같습니다. python 3.9.11 을 설치하고  v2를 설치했었습니다.  당연히 python 을 업데이트 하면 자동으로 aws cli 가 최신 파이썬을 물고 동작할 줄 알았는데 그렇지가 않네요 pyenv와 virtual env로 py3.11.2 를 만들고 $ aws --version 을 해보시면 python 3.9.11 에서 돌고 있다. 이렇게 표시됩니다. 그래서 다시 설치했더니 python 3.11.2 로 변경됐습니다. 아래는 최신 aws cli 설치 방법 입니다. https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html 참고하셔서 본인 환경에 맞게 설치하시면 됩니다, (py3.11.2) [~/data/s3]$ aws --version aws-cli/2.11.7 Python/3.11.2 Darwin/22.4.0 exe/x86_64 prompt/off 이제 최신 버전으로 표시되네요~ 이상 클스 였습니다.

[2023-03-29] LLaMa on MacBook Pro 2019 <Intel, 8core, 32G M, 512 GB SSD)  안녕하세요. 클스 입니다. 

[2023-03-27] Bing Chat 사용하기 안녕하세요 OK-AI 의 클스 입니다. 오늘 부터 Bing Chat을 대한 민국에서 사용할 수 있게되었습니다. MS Edge 브라우저가 MacOS용으로 다운로드도 되네요~ MS 신규 계정 가입이 많이 복작해졌네요~ 그림 찾기를 잘하셔야 됩니다. 저는 Mac을 사용하므로 오른쪽 MacOS를 선택합니다. 그리고 Mac Intel 을 사용하므로 위에걸 선택해서 다운로드 받고 설치합니다. 친절하게 most common (일반적으로 사용)이라고 해주네요 계속을 눌러 설치하면 됩니다. 설치가 완료되고, 로그인 하면 아래와 같이 시작합니다. 다음을 눌러 대기자 명단에 참석하면 채팅화면이 나옵니다. 대전시 에너지 자립도에 대해 물어보았습니다. 답변이 최신 정보를 기반으로 나옵니다. ChatGPT와는 차이점입니다. 그리고 아래 어디서 검색을 해서 답을 했는지 주석 처럼 나오고, 관련된 질문도 뽑아 줍니다. 이제 다시 MS의 시대가 올 것 같습니다. 글꼴 변경 : 우측하단 톱니바뀌(설정)을 눌러서 상단에서 글꼴을 검색합니다.  원하는 글꼴을 선택하시면 미려한 글자로 보실 수 있습니다. MS가 UI/UX에 대한 고민을 엄청 많이 한게 느껴집니다. 이상입니다.

[2023-03-27] pip install sentencepiece 설치 오류(macos) 안녕하세요.  클스  입니다. SentencePiece 는 Google에서  2018년도에 공개한  오픈소스 라이브러리로, 다양한 자연어처리 태스크에서 널리 사용되고 있습니다. 최근에는  Huggingface에서 공개한 Tokenizers 도 자주 사용되고 있지만 오늘은 Sentencepiece에 대한 내용을 주로 다루도록 하겠습니다. [출처:https://devocean.sk.com/blog/techBoardDetail.do?ID=164570&boardType=techBlog] 저는 MacOS에서 zsh 을 사용 중입니다. 그런데 오늘 brew update, upgrade를 하니 ~/.zshrc 에 이런걸 추가해라.. 라고 되어있어서 추가를 했더니  pip install sentencepiece 가 오류를 내면서 설치가 안되네요~ vi ~/.zshrc 에서 아래 두개는 삭제하고 source ~/.zshrc 해서 터미널을 새로 열었습니다. #LDFLAGS="-L/usr/local/opt/llvm/lib/c++ -Wl,-rpath,/usr/local/opt/llvm/lib/c++" #export PATH="/usr/local/opt/llvm/bin:$PATH" 그래서 https://pypi.org/project/sentencepiece/ 에가서 직접 빌드를 하고 설치를 하였습니다. % git clone https://github.com/google/sentencepiece.git % cd sentencepiece % mkdir build % cd build % cmake .. -DSPM_ENABLE_SHARED=OFF -DCMAKE_INSTALL_PREFIX=./root % make install % cd ../python % python setup.py bdist_wheel % pip install ...

  주소로 고객 검색 서비스 구축하기(feat. Elastic Search,  MacOS) - 5탄 안녕하세요.  클스  입니다. * 목표 - Elastic Search & Kibana 설치 (1탄) -  보기 - Elastic Search Client for Python 설치 및 프로그램 (2탄) -  보기 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3탄) -  보기 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3.5탄)    - Polars vs Pandas - 대량으로 검색 하기 (4탄) - 보기 - 데이터 백업 및 복구 <유지관리> (5탄)      - 현재글

주소로 고객 검색 서비스 구축하기(feat. Elastic Search v 8.6.2,  MacOS) - 3.5탄 (feat. Polars) 안녕하세요.  클스  입니다. Polars 란 Rust로 개발된 data frame 처리하는 라이브러리 입니다. pandas 보다 속도가 빠르다고 하네요~ Pandas로 현재는 1.5.3 버전이지만 2.0에서는 성능이 많이 개선되는 것 같습니다. 제가 사용하기에는 함수명이 Polars가 더 친숙합니다. 그래서 앞으로 업무에는 Polars를 많이 사용해보려고 합니다. polars : https://pola-rs.github.io/polars-book/user-guide/introduction.html https://towardsdatascience.com/pandas-vs-polars-a-syntax-and-speed-comparison-5aa54e27497e https://levelup.gitconnected.com/pandas-vs-polars-vs-pandas-2-0-fight-7398055372fb        걸리는 시간뿐아니라, 메모리 사용량, CPU 부하등도 같이 해줬네요~        https://pythonspeed.com/articles/polars-memory-pandas/ 다만, Polars는 아직 csv, excel 등을 읽을때, 한글 인코딩 처리라던지 몇가지 잘안되는 부분이 있는것 같습니다. 앞서 csv를 대량으로 elastic search에 업로드할 때 pandas로 개발했지만, 이번에는 Polars로 개발한 코드 입니다. ''' batch size 로 csv를 읽어서 elastic search에 insert 함 num_of_threads 는 CPU의 thread 갯수에서 절반 정도 해야 다른 작업도 합니다. ''' import polars as pl from elasticsearch ...

[2023-03-20] 구두 손질 (구두약, 구두솔) 어느덧 중년이 되니, 캐주얼한 구두를 더 찾는 것 같습니다. 비오면 비와서 두 켤레가 있어야 하고, 계절 따라 두켤레가 있어야 하고..  그러다 보니 구두가 많아 졌습니다. 또한 관리도 할게 많네요~ * 구두 약 : 캐주얼 구두에 사용할 무광 슈크림        제가 대부분 캐주얼 구두로 색상이 다양합니다. 그래서 무색을 구매했습니다. * 구두 솔 : 먼지, 오염물 제거와 실제 슈크림을 펴 발라주는 2개를 사용하면 좋습니다.

베이스어스 매트릭스 HDMI 선택기 (1:2 2:1)

  넥스트 HDMI 2.1 UHD 8K 고급형 케이블 Mac에서 HDMI 케이블이 필요해서 구매했습니다. "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

주소로 고객 검색 서비스 구축하기(feat. Elastic Search,  MacOS) - 4탄 안녕하세요.  클스  입니다. * 목표 - Elastic Search & Kibana 설치 (1탄) -  보기 - Elastic Search Client for Python 설치 및 프로그램 (2탄) -  보기 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3탄) - 보기 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3.5탄)    - Polars vs Pandas - 대량으로 검색 하기 (4탄)      - 현재글 - 데이터 백업 및 복구 <유지관리> (5탄)

주소로 고객 검색 서비스 구축하기(feat. Elastic Search,  MacOS) - 3탄 안녕하세요. 클스  입니다. * 목표 - Elastic Search & Kibana 설치 (1탄) -  보기 - Elastic Search Client for Python 설치 및 프로그램 (2탄) - 보기 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3탄)    - 현재글 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3.5탄)    - Polars vs Pandas - 대량으로 검색 하기 (4탄) - 데이터 백업 및 복구 <유지관리> (5탄)