기본 콘텐츠로 건너뛰기

[FastAPI] uvicorn, hypercorn에서 worker 여러개 띄우기 (feat. 배드민턴 셔틀콕 추천)

안녕하세요. 클스 입니다.

오늘은 FastAPI에 여러개 worker를 실행하는 것을 해보려고 합니다.

많은 요청을 처리하기 위해서 worker를 해주면 좋습니다.

worker의 계산은  2 x number_of_cores +1 이 적절하다고 합니다.


좀더 정확하게 산출해보려면 아래와 같이 계산하면 됩니다.

number_of_workers = number_of_cores x num_of_threads_per_core + 1
MacOS의 터미널에서 
$ sysctl -n hw.packages   ==> MacOS에 장착된 cpu socket 수
$ sysctl hw.physicalcpu hw.logicalcpu ==> cpu의 core 수, 총 thread 수
   num_of_threads_per_core(core당 thread 수) = hw.logicalcpu / hw.physicalcpu

$ sysctl -n hw.ncpu  혹은  ==> core 수
$ sysctl -n machdep.cpu.thread_count ==> core 수

uvicorn과 hypercorn으로 실행하는데 --reload 옵션이 있으면 --workers는 무시되고 1개만 뜹니다.

그리고 reload process가 1개 실행 됩니다.


참고로 FastAPI 공식 문서에서는 worker를 띄울때는 uvicorn 보다는 gunicorn을 사용하는게 좋다고 합니다.

그래서 저는 hypercorn을 많이 사용합니다.


# uvicorn

```sh
$ APP_ENV=dev uvicorn app:app --host "0.0.0.0" --port "8001" --reload
$ APP_ENV=dev uvicorn app:app --host "0.0.0.0" --port "8001" --workers 4
```

# hypercorn

```sh
$ APP_ENV=dev hypercorn app:app --bind 0.0.0.0:8001 --reload
$ APP_ENV=dev hypercorn app:app --bind 0.0.0.0:8001 --workers 4
```

* 4개를 실행한 결과 입니다.

INFO:     Started server process [91202]

INFO:     Waiting for application startup.

INFO:     Started server process [91203]

INFO:     Waiting for application startup.

INFO:     Started server process [91204]

INFO:     Waiting for application startup.

INFO:     Started server process [91201]

INFO:     Waiting for application startup.

INFO:     Application startup complete.

INFO:     Application startup complete.

INFO:     Application startup complete.

INFO:     Application startup complete.


======== 저는 배드민턴을 좋아하는 클스 입니다. =========

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."


아래를 눌러서 구매 부탁드립니다.


강산연 501 배드민턴 셔틀콕, 화이트, 12개입, 1개 샌디스크 울트라 듀얼 C타입 Type c OTG겸용, 128GB

댓글

이 블로그의 인기 게시물

[quaser.dev][2014-09-14] 윈도우즈(10, 64bit)에 개발환경 설정하기

[quaser.dev][2014-09-14] 윈도우즈(10, 64bit)에 개발환경 설정하기

[2024-10-19] iPhone, iPad에서 ChatGPT로 PDF 생성시 한글 깨짐 해결 방법

iPhone, iPad에서 ChatGPT로 PDF 생성 시 한글 깨짐 해결 방법

[2025-04-16(수)] OpenAI gpt-4.1 시리즈 발표, Anthropic Claude에 대한 생각

OpenAI gpt-4.1 시리즈 발표, Anthropic Claude에 대한 생각 안녕하세요. 클스 입니다. 4/15일자로 openai가 gpt-4.1 시리즈를 발표 했습니다. 현재는 api로만 사용가능합니다. 점차 웹/앱 사용자에게 오픈 될거라 생각 됩니다. 비용상 문제로 4.1-mini, nano를 사용해서 chatbot을 만들어 보고 있습니다. 4o 시리즈 보다는 확실히 빠르고, 답변의 정확도는 올라간 것 같습니다. 앤트로픽 클로드와 비교를 많이 하는데, 업무 시스템 혹은 AI 솔루션을 개발하는 입장에서는 어떤 생태계를 제공하는가가 주요한 결정 입니다. AI관련 인력을 충분히 보유한 회사의 경우는 어떤걸 사용해도 좋을 결과를 가지겠지만 일반적인 챗봇 개발 절차를 보면 다음과 같이 볼 수 있습니다. 1. 문서를 준비한다. 대부분 pdf, text, markdown 2. 문서를 파싱해서 vectordb에 올린다.     - 별도 벡터디비 구성 필요. 어떤 db를 선택할지 고민 필요     - 어떤 Parser를 사용할지, 텍스트 오버래핑은 얼마가 적당한지 고민 필요        (회사의 문서가 워낙 많고, 다양하면 하나하나 테스트 해서 좋은걸 선택하는 것이 어렵다)     - 유사도 측정은 어떤 알고리즘을 써야할지 고민 필요     - llamaindex도 고민해야 함. 3. RAG flow를 만든다.     - langchain을 쓸지, 각 AI 벤더에서 제공하는 sdk를 쓸지 고민 필요       (대부분 락인이 되지 않으려면 langchain을 사용하면 좋지만, 벤더에 특화면 기능 적용이 늦음) 4. 챗봇 UI 앱을 만든다.     - 답변이 text 로 구성되다 보니. 그래프, 이미지등 복합적인 컨텐츠를 재배치 하여 표현하기 상당히 어렵네요. (이건 제가 실력이 모자라서 .. 패스) ...