2023년 10월 14일 토요일

[2023-10-13] mac intel, M1, M2에 tensorflow GPU 사용하도록 설치

[2023-10-13] mac intel, M1, M2에 tensorflow GPU 사용하도록 설치 (feat. 셔틀콕 D3)


안녕하세요. 클스 입니다.

2023년 10월 초에 구글에서 tensorflow 2.14 버전을 출시했습니다.

apple mac intel 칩이 장착된 2020년 이전 생산된 맥북들이 많습니다.
저도 2019년 맥 프로를 사용하고 있습니다.
워낙 nvidia가 cuda를 기반으로 머신러닝을 잘하는데, 안타깝게도 맥은 radeon 을 사용합니다.
2012년까지는 애플도 nvidia를 사용했다가, 발열로 인한 리콜을 한다음 radeon으로 변경한듯 싶습니다.

그 후로 머신러닝이 중요해지면서 GPU를 사용해야 하는 장비에는 nvidia 를 필수로 장착합니다.

아쉽게도 맥은 사용이 불가했었고, 일부 사람들이 맥에 장착된 radeon의 gpu를 사용할 수 있게 하려고
노력했습니다.

그 결과 지금은 metal 플러그인을 통해 지원이 가능해졌습니다.

그런데 버전 호환에 조합이 잘 필요하더군요~

그리고 nvidia의 독주를 막기위해 여러 회사의 gpu에서 동일하게 코딩이 가능하도록 언어를 개발하는
회사도 있습니다. 언어는 mojo 라고 합니다. 아래 유투브 링크 걸어 두었어요~

환경

- mac intel, mac m1, m2
- python 3.11.5 

호환성


1. Intel MacOS 에 tensorflow gpu 사용하기


   - tensorflow 2.12 버전만 tensorflow-macos가 지원한다.

   $ pip install tensorflow-macos 
     tensorflow 2.12 버전이 설치된다.
   $ pip install tensorflow-metal  

(py311) [~/projects/tf]$ pip install tensorflow-metal
Collecting tensorflow-metal
  Obtaining dependency information for tensorflow-metal from https://files.pythonhosted.org/packages/52/56/8373f5751011304a346f07e5423e69f809b626989d2541ae9e816ae7ced2/tensorflow_metal-1.1.0-cp311-cp311-macosx_12_0_arm64.whl.metadata
  Downloading tensorflow_metal-1.1.0-cp311-cp311-macosx_12_0_arm64.whl.metadata (1.2 kB)
Requirement already satisfied: wheel~=0.35 in /Users/keulstar/.pyenv/versions/3.11.5/envs/py311/lib/python3.11/site-packages (from tensorflow-metal) (0.41.2)
Requirement already satisfied: six>=1.15.0 in /Users/keulstar/.pyenv/versions/3.11.5/envs/py311/lib/python3.11/site-packages (from tensorflow-metal) (1.16.0)
Downloading tensorflow_metal-1.1.0-cp311-cp311-macosx_12_0_arm64.whl (1.4 MB)
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.4/1.4 MB 18.3 MB/s eta 0:00:00
Installing collected packages: tensorflow-metal
Successfully installed tensorflow-metal-1.1.0

   $ pip freeze | grep tensorflow
   
      tensorflow==2.12.0
      tensorflow-estimator==2.12.0
      tensorflow-io-gcs-filesystem==0.34.0
      tensorflow-macos==2.12.0
      tensorflow-metal==1.1.0

2. M1,M2 MacOs에 tensorflow gpu 사용하기

  
   - tensorflow 2.12 이후 버전에서 tensorflow-macos가 지원한다.
      tensorflow 2.14 버전이 기본으로 된다. intel 에서는 tensorflow-macos==2.14.0 을 설치하면
      지원하지 않는다고 설치가 안된다.

   $ pip freeze | grep tensorflow
      tensorflow==2.14.0
      tensorflow-estimator==2.14.0
      tensorflow-io-gcs-filesystem==0.34.0
      tensorflow-macos==2.14.0
      tensorflow-metal==1.1.0


소스 및 실행 결과

tf1.py 소스를 작성한다.

import tensorflow as tf

cifar = tf.keras.datasets.cifar100
(x_train, y_train), (x_test, y_test) = cifar.load_data()
model = tf.keras.applications.ResNet50(
include_top=True,
weights=None,
input_shape=(32, 32, 3),
classes=100,)

loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False)
model.compile(optimizer="adam", loss=loss_fn, metrics=["accuracy"])
model.fit(x_train, y_train, epochs=5, batch_size=64)


$ python tf1.py

리소스 모니터로 GPU 사용률을 확인한다. 처음에는 CPU가 많이 사용되다가, 데이터 로딩을 마치고
학습에 들어가면 GPU를 사용한다. 대략 CPU를 사용하는 것보다는 최소 20배 빠른듯 하다






참고로 제 경우는 맥 스투디오 울트라 최고 사양에서 3090과 비슷하다고는 하는데,
실제 돌려보니 80% 정도 성능 처럼 보입니다.

이만 클스 였습니다.




셔틀콕 추천드려요. 대한민국 배드민턴 동호회 공식 셔틀콕 입니다.

배드민턴 셔틀콕 에이스 D3 콕 ACE 1박스 25타 300개입 거위 깃털 2단 코르크 동호인용 경기용 대회용 배드민턴공 공인구 배린이 방과후, 1개  

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다


즐턴 하세요~

감사합니다.

라벨: , , , , , , , ,

2023년 8월 8일 화요일

[FastAPI] uvicorn, hypercorn에서 worker 여러개 띄우기 (feat. 배드민턴 셔틀콕 추천)

안녕하세요. 클스 입니다.

오늘은 FastAPI에 여러개 worker를 실행하는 것을 해보려고 합니다.

많은 요청을 처리하기 위해서 worker를 해주면 좋습니다.

worker의 계산은  2 x number_of_cores +1 이 적절하다고 합니다.


좀더 정확하게 산출해보려면 아래와 같이 계산하면 됩니다.

number_of_workers = number_of_cores x num_of_threads_per_core + 1
MacOS의 터미널에서 
$ sysctl -n hw.packages   ==> MacOS에 장착된 cpu socket 수
$ sysctl hw.physicalcpu hw.logicalcpu ==> cpu의 core 수, 총 thread 수
   num_of_threads_per_core(core당 thread 수) = hw.logicalcpu / hw.physicalcpu

$ sysctl -n hw.ncpu  혹은  ==> core 수
$ sysctl -n machdep.cpu.thread_count ==> core 수

uvicorn과 hypercorn으로 실행하는데 --reload 옵션이 있으면 --workers는 무시되고 1개만 뜹니다.

그리고 reload process가 1개 실행 됩니다.


참고로 FastAPI 공식 문서에서는 worker를 띄울때는 uvicorn 보다는 gunicorn을 사용하는게 좋다고 합니다.

그래서 저는 hypercorn을 많이 사용합니다.


# uvicorn

```sh
$ APP_ENV=dev uvicorn app:app --host "0.0.0.0" --port "8001" --reload
$ APP_ENV=dev uvicorn app:app --host "0.0.0.0" --port "8001" --workers 4
```

# hypercorn

```sh
$ APP_ENV=dev hypercorn app:app --bind 0.0.0.0:8001 --reload
$ APP_ENV=dev hypercorn app:app --bind 0.0.0.0:8001 --workers 4
```

* 4개를 실행한 결과 입니다.

INFO:     Started server process [91202]

INFO:     Waiting for application startup.

INFO:     Started server process [91203]

INFO:     Waiting for application startup.

INFO:     Started server process [91204]

INFO:     Waiting for application startup.

INFO:     Started server process [91201]

INFO:     Waiting for application startup.

INFO:     Application startup complete.

INFO:     Application startup complete.

INFO:     Application startup complete.

INFO:     Application startup complete.


======== 저는 배드민턴을 좋아하는 클스 입니다. =========

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."


아래를 눌러서 구매 부탁드립니다.


강산연 501 배드민턴 셔틀콕, 화이트, 12개입, 1개 샌디스크 울트라 듀얼 C타입 Type c OTG겸용, 128GB

라벨: , , , , , , , , ,