[2024-08-27] python 으로 excel(엑셀) 파일 다룰 때 주의점 안녕하세요. 클스 입니다. 오늘은 python으로 엑셀 파일을 다룰 때 경험을 써보겠습니다. ----------- 환경 ------------ 인텔 맥 프로 2019 16인치, 메모리 32기가 ----------------------------- 약 70만건 대량의 데이터를 엑셀에서 불러옵니다. 약 10분이 걸립니다. 그래서 매번 불러서 분석하기에 시간이 너무 많이 들어서 불러들인 엑셀을 df.to_csv 해서 저장합니다. 그 다음 부터는 csv를 부르니 엄청 빠릅니다. 30초 ''' # pip install openpyxl xlsxwriter pandas numpy plotly nbformat poetry install or poetry add openpyxl xlsxwriter pandas numpy plotly nbformat ''' import os import pandas as pd import numpy as np import plotly.express as px version = 'v3' data_dir = os.path.expanduser( '~/data' ) installation_type_mapping_full = { "0001" : "ㅁㅁㅁ" , "0002" : "ㅁㅁㅁ1" , ... 보안상 생략 ....} # "송달구분" 코드에 따른 맵핑 딕셔너리 생성 delivery_type_mapping = { "0001" : "ㅁㅁㅁ" , "0002" : "ㅁㅁㅁ1" , ... 보안상 생략 .... } excel_source_file1 = f ' {data_dir} /7월_...

jupyter notebook plot with plotly  인터렉티브 챠트 그리기 안녕하세요. 클스 입니다. 1. 개요 - 데이터 분석을 하다보면 jupyter EDA 과정이나 분석 결과를 시각화하는 데 Jupyter Notebook을     많이 사용한다. - 그런데 matplotlib, seaborn 등을 사용해서 많이 그리게 되는데 문제는 정적인 이미지로 챠트가    그려지기 때문에 좀 더 세분화하여 보려면 챠트를 다시 그려야 한다. - 이때 챠트의 범위를 지정하여 세분화를 자동으로 할 수 있게 interactive한 챠트를 그릴 수 있는 것이    바로 plotly이다.  2. 소스 및 데이터 - 데이터는 아래와 같이 tm, 001 이다. data.csv 로 저장해둔다 tm, 001 2023-10-19 00:00:00, 2.071314 2023-10-19 00:10:00, 2.0601258 2023-10-19 00:20:00, 2.0492716 2023-10-19 00:30:00, 2.0405643 2023-10-19 00:40:00, 2.0341525 2023-10-19 00:50:00, 2.0311875 2023-10-19 01:00:00, 2.0286407 2023-10-19 01:10:00, 2.0251791 2023-10-19 01:20:00, 2.025551 2023-10-19 01:30:00, 2.026254 2023-10-19 01:40:00, 2.0247104 2023-10-19 01:50:00, 2.0253887 2023-10-19 02:00:00, 2.0254912 2023-10-19 02:10:00, 2.029705 2023-10-19 02:20:00, 2.0295382 2023-10-19 02:30:00, 2.0286813 2023-10-19 02:40:00, 2.028376 - plotly로 시각화 하기 import plotly.express a...