[2023-03-27] pip install sentencepiece 설치 오류(macos)

[2023-03-27] pip install sentencepiece 설치 오류(macos)

안녕하세요. 클스 입니다.

SentencePiece는 Google에서 2018년도에 공개한 오픈소스 라이브러리로, 다양한 자연어처리 태스크에서 널리 사용되고 있습니다.

최근에는 Huggingface에서 공개한 Tokenizers도 자주 사용되고 있지만 오늘은 Sentencepiece에 대한 내용을 주로 다루도록 하겠습니다.

[출처:https://devocean.sk.com/blog/techBoardDetail.do?ID=164570&boardType=techBlog]

저는 MacOS에서 zsh 을 사용 중입니다. 그런데 오늘 brew update, upgrade를 하니 ~/.zshrc 에 이런걸 추가해라.. 라고 되어있어서 추가를 했더니  pip install sentencepiece 가 오류를 내면서 설치가 안되네요~

vi ~/.zshrc 에서 아래 두개는 삭제하고 source ~/.zshrc 해서 터미널을 새로 열었습니다.

#LDFLAGS="-L/usr/local/opt/llvm/lib/c++ -Wl,-rpath,/usr/local/opt/llvm/lib/c++"

#export PATH="/usr/local/opt/llvm/bin:$PATH"

그래서 https://pypi.org/project/sentencepiece/ 에가서 직접 빌드를 하고 설치를 하였습니다.

% git clone https://github.com/google/sentencepiece.git 
% cd sentencepiece
% mkdir build
% cd build
% cmake .. -DSPM_ENABLE_SHARED=OFF -DCMAKE_INSTALL_PREFIX=./root
% make install
% cd ../python
% python setup.py bdist_wheel
% pip install dist/sentencepiece*.whl

이후에는 pip install sentencepiece 하니

Requirement already satisfied: sentencepiece in py3.11.2/lib/python3.11/site-packages (0.1.97)

이상 입니다.