jupyter notebook plot with plotly  인터렉티브 챠트 그리기 안녕하세요. 클스 입니다. 1. 개요 - 데이터 분석을 하다보면 jupyter EDA 과정이나 분석 결과를 시각화하는 데 Jupyter Notebook을     많이 사용한다. - 그런데 matplotlib, seaborn 등을 사용해서 많이 그리게 되는데 문제는 정적인 이미지로 챠트가    그려지기 때문에 좀 더 세분화하여 보려면 챠트를 다시 그려야 한다. - 이때 챠트의 범위를 지정하여 세분화를 자동으로 할 수 있게 interactive한 챠트를 그릴 수 있는 것이    바로 plotly이다.  2. 소스 및 데이터 - 데이터는 아래와 같이 tm, 001 이다. data.csv 로 저장해둔다 tm, 001 2023-10-19 00:00:00, 2.071314 2023-10-19 00:10:00, 2.0601258 2023-10-19 00:20:00, 2.0492716 2023-10-19 00:30:00, 2.0405643 2023-10-19 00:40:00, 2.0341525 2023-10-19 00:50:00, 2.0311875 2023-10-19 01:00:00, 2.0286407 2023-10-19 01:10:00, 2.0251791 2023-10-19 01:20:00, 2.025551 2023-10-19 01:30:00, 2.026254 2023-10-19 01:40:00, 2.0247104 2023-10-19 01:50:00, 2.0253887 2023-10-19 02:00:00, 2.0254912 2023-10-19 02:10:00, 2.029705 2023-10-19 02:20:00, 2.0295382 2023-10-19 02:30:00, 2.0286813 2023-10-19 02:40:00, 2.028376 - plotly로 시각화 하기 import plotly.express a...

[2023-04-04] Pandas 2.0 릴리즈 되었습니다.  안녕하세요. 클스 입니다. Pandas는 Python으로 데이터 분석을 위해 많이 사용하고, 생태계도 넓습니다. 지속적으로 업데이트가 이뤄지기도 합니다. 대용량 빠른 처리를 위해 Polars로 나왔지만 아직 생태계는 Pandas가 넓기 때문에 기본적으로는 Pandas를 알아야 합니다 plotly 같이 시각화를 하는 library도 pandas가 설치되어 있지 않으면 아예 설치가 안됩니다. 그리고 Polars도 to_pandas 와 같이 호환되는 함수를 제공합니다. 다만, 아쉬웠던 점은 대용량 처리, 메모리 그리고 속도였습니다. 이런 것을 해결하기 위해 Polars가 나왔습니다. 그러나 Pandas 가 놀지만 않죠... 2.0에 속도를 향상시키기 위해 PyArrow 가 들어왔습니다. 주의) Pandas 1.5.3이 삭제가 됩니다. 그래서 virtual env를 하나 생성해서 설치하는 것을 권장 드립니다.

주소로 고객 검색 서비스 구축하기(feat. Elastic Search,  MacOS) - 3탄 안녕하세요. 클스  입니다. * 목표 - Elastic Search & Kibana 설치 (1탄) -  보기 - Elastic Search Client for Python 설치 및 프로그램 (2탄) - 보기 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3탄)    - 현재글 - 주소 데이터 검색 구조 설계 및 bulk 생성/업로드 (3.5탄)    - Polars vs Pandas - 대량으로 검색 하기 (4탄) - 데이터 백업 및 복구 <유지관리> (5탄)

Google Colab 에 영구적인 Package 설치 방법 1. 개요 Google Colab을 이용하면 머신러닝에 필요한 자원을 할당받아 활용할 수 있다. 그러나 주어진 세션의 한계 (12시간 마다 초기화), 혹은 런타임 초기화 시 모든 설치된 Package가 사라진다. 여러 패키지를 사용한다면 매번 설치하는 번거로움 있다. 그래서 영구적인 설정 법을 설명한다. 2. 개념 Colab을 연결해서 사용하기 시작하면 구글 드리이브에 아래 2개 디렉토리가 자동으로 생성된다. '/content/notebooks' '/content/mnt/My Drive/Colab Notebooks' Colab을에서 기본으로 만들어주다 보니  '/content/notebooks' 이 디렉토리는 세션이 종료되거나, 런타임을 초기화 하면 전부 지워진다. 그래서 내 드라이브 하위에 생성된 '/content/mnt/My Drive/Colab Notebooks' 이 디렉토리와 심볼릭 링크를 걸어서 사용하면 된다. 3. 방법 및 소스 소스는 Colab에 붙혀넣고 실행하면 된다. 나는 다른 폴더에 만들고 싶었으나 오류가 발생하였다. # 구글 드라이브에 Python Package 영구 설치 # 이후 모든 Notebook 파일 시작에 상단을 추가해서 실행해줘야 함. 단 1회만 하면됨 import os, sys from google.colab import drive drive.mount( '/content/mnt' ) nb_path = '/content/notebooks' nb_package_path = nb_path + '/packages' my_path = '/content/mnt/My Drive/Colab Notebooks' os.symlink(my_path, nb_path, target_is_directory= True ) sys.path.insert( 0 , nb_packa...