주소로 고객 검색 서비스 구축하기(feat. Elastic Search v 8.6.2, MacOS) - 3.5탄 (feat. Polars) 안녕하세요. 클스 입니다. Polars 란 Rust로 개발된 data frame 처리하는 라이브러리 입니다. pandas 보다 속도가 빠르다고 하네요~ Pandas로 현재는 1.5.3 버전이지만 2.0에서는 성능이 많이 개선되는 것 같습니다. 제가 사용하기에는 함수명이 Polars가 더 친숙합니다. 그래서 앞으로 업무에는 Polars를 많이 사용해보려고 합니다. polars : https://pola-rs.github.io/polars-book/user-guide/introduction.html https://towardsdatascience.com/pandas-vs-polars-a-syntax-and-speed-comparison-5aa54e27497e https://levelup.gitconnected.com/pandas-vs-polars-vs-pandas-2-0-fight-7398055372fb 걸리는 시간뿐아니라, 메모리 사용량, CPU 부하등도 같이 해줬네요~ https://pythonspeed.com/articles/polars-memory-pandas/ 다만, Polars는 아직 csv, excel 등을 읽을때, 한글 인코딩 처리라던지 몇가지 잘안되는 부분이 있는것 같습니다. 앞서 csv를 대량으로 elastic search에 업로드할 때 pandas로 개발했지만, 이번에는 Polars로 개발한 코드 입니다. ''' batch size 로 csv를 읽어서 elastic search에 insert 함 num_of_threads 는 CPU의 thread 갯수에서 절반 정도 해야 다른 작업도 합니다. ''' import polars as pl from elasticsearch ...