2023년 9월 4일 월요일

[FastAPI] socket.io with fastapi_socketio (feat:python-socketio, saw: 톱 2종)

안녕하세요 클스 입니다.


팀에 하나의 제품을 개발할 때 인력이 약 15명 이상 있을 경우 react, vue, flutter등 

선택의 폭이 넓어집니다. 그런데 애매하게 5~8명이 back-end, front-end, db, infra 

전부 하면서 web, android, ios 앱을 개발하기엔 쉽지 않습니다.

우리는 무엇을 선택하면 좋을까요? 

현재 우리팀은 FastAPI, vuejs 를 기본으로 사용하고 있는데.. vuejs가 아직 react의 방대함

그리고 커뮤니티를 따라가지는 못하는  듯합니다.

확실히 react 보다는 사용하기는 제 경우는 쉬웠습니다. 사설이 길었네요~


여하튼 이번에는 웹에서 실시간으로 사용자에게 알림(시스템 변경, 작업 완료...)을 

실시간으로 전달하기위해 많이 사용하는 websocket과 socketio가 있는데

둘의 확실한 선택 기준은 서비스 환경에서 통신에 문제가 있는가 없는가에 따라 다릅니다.

socketio는 통신이 막히면 가능한 방식을 찾아서 연결해서 사용자에게 메시지를 전달합니다.

HTTP long polling 방식으로 전달을 합니다. 문제는 주기적으로  long polling를 합니다.

그리고 socketio client를 사용하면 서버가 재시작되면 자동으로 다시 연결해줍니다. 

개발자 입장에서는 확실히 좋은 기능입니다. 

그외 방기능, 브로드캐스팅, 속삭임등등 일반 채팅방을 쉽게 구현할 수 있습니다.

또한 일반적으로 kafka, redis 와 다양한 mq 서버들과 연동이 가능합니다.


1. 목표

  • 간단한 채팅방이 가능한 채팅 기능을 만들어 본다
  • fastapi에서 socketio를 많이 사용을 안 하는지? 업데이트가 잘 안되고 있어서
    github등의 예제로는 404 Not Found, 403 등의 오류가 나서 접속이 안되었다
    => 이것 때문에 쓴 글이기도 하다

2. 사용

  • socket.io 기반으로 python-socketio를 fastapi에 맞게 개발한 fastapi_socketio를 
    기반으로 한다.
  • client는 일단 html로 한다.
  • quasar에 socketio client를 추가해서 다시 만든다. 

3. 나의 선택

  • 나는 socketio를 사용하지 않을 듯하다. 이미 websocket + redis로 유사한 기능을
    개발했기도 하고
  • 하도 socketio가 좋다고 하지만, 사용성에 있어 생각보다 클리어하지 않았고
  • 무엇보다 nodejs 로 개발되었고..
  • 뭔가 뒤에서 무거운 작업을 많이 할 것도 같고..

4. 설치 및 소스

pnpm install fastapi_socketio 

FastAPI의 app.py   

app = createApp() # App 생성 이후에 socketio를 만들어 줌.

############################# socket.io fastapi-socketio BEGIN ####################################

from fastapi_socketio import SocketManager
sio = SocketManager(app=app)

app.add_route("/socket.io/", route=sio, methods=["GET", "POST"])
app.add_websocket_route("/ws/socket.io/", sio)


######### --------------------------
@app.sio.on('connect')
async def connect(sid, environ):
print('connect ', sid)

@app.sio.on('disconnect')
def disconnect(sid):
print('disconnect ', sid)

@app.sio.on('join')
async def handle_join(sid, *args, **kwargs):
print('join ', sid)

# 방 입장 이벤트 처리
@app.sio.on("enter_room")
async def handle_enter_room(sid, room):
print(f"{sid} entered room {room}")
sio.enter_room(sid, room) # 클라이언트를 지정한 방에 입장시킴

# 방에서 나가기 이벤트 처리
@app.sio.on("leave_room")
async def handle_leave_room(sid, room):
print(f"{sid} left room {room}")
sio.leave_room(sid, room) # 클라이언트를 지정한 방에서 나가게 함

@app.sio.on('message')
async def message(sid, data):
print('message ', data)
# 받은 메시지 다시 전송
    
await sio.send(f'Re2 >>>>>>> :{data}')

chat_client_socketio.html

<!DOCTYPE html>

<html lang="ko">

<head>
<meta charset="UTF-8">
<title>Chat</title>
<script src="https://cdn.socket.io/4.7.0/socket.io.min.js"></script>
<script>
// Create a socket connection 아래 transports: ['websocket', 'polling'] } 두개를 써줘야 한다.
var socket = io("ws://localhost:8001", { path: "/ws/socket.io/", transports: ['websocket', 'polling'] });
// var socket = io("http://localhost:8001", { path: "/socket.io/", transports: ['websocket', 'polling'] }
</script>
</head>

<body>
<h1>FastAPI Socket.IO Chat</h1>
<div id="chat"></div>
<input type="text" id="message" value="내 메시지" placeholder="메시지 입력..." />
<button onclick="sendMessage()">전송</button>

<!-- 방 입장 및 퇴장 버튼 -->
<input type="text" id="room" value='7번방' placeholder="방 이름 입력..." />
<button onclick="enterRoom()">방 입장</button>
<button onclick="leaveRoom()">방 퇴장</button>
<button onclick="sendMessageToRoom()">방에만 전송</button>

<script>
socket.on('message', (data) => {
const chat = document.getElementById('chat');
chat.innerHTML += `<p>${data}</p>`;
});

function sendMessage() {
const message = document.getElementById('message').value;
socket.emit('message', message);
// document.getElementById('message').value = '';
}

function sendMessageToRoom() {
const room = document.getElementById('room').value; // 방 이름 가져오기
const message = document.getElementById('message').value;

const messageData = {
message: message,
room: room
};

socket.emit('message', { message, room }); // 메시지와 방 이름 함께 전송
}

function enterRoom() {
const room = document.getElementById('room').value;
socket.emit('enter_room', room);
// document.getElementById('room').value = '';
}

function leaveRoom() {
const room = document.getElementById('room').value;
socket.emit('leave_room', room);
// document.getElementById('room').value = '';
}
</script>
</body>

</html>

* 서버 재시작 후 client가 자동 연결되는 로그


INFO:     Application startup complete.

INFO:     ('127.0.0.1', 61816) - "WebSocket /socket.io/?EIO=4&transport=websocket" [accepted]

INFO:     ('127.0.0.1', 61824) - "WebSocket /socket.io/?EIO=4&transport=websocket" [accepted]

connect  tek0e16lm0TKD5FCAAAC

connect  QrqGhNp0FnIQiF9GAAAD


* 채팅 화면



* 참고

- FastAPI,socketio,python-socketio,Quasar,websocket,fastapi_socketio,long polling,

- https://channel.io/ko/blog/tech-socketio-redis-adapter-improvement 

- https://news.hada.io/topic?id=1124 websocket 재연결 문제 해결한 라이브러리
  https://sarus.anephenix.com/

- 웹소켓으로 GIS 작업 : https://progworks.tistory.com/65



추가적으로 톱은 왜? 샀나? 애들이 어릴때 2층 침대를 샀는데, 큰애가 대학을 가면서 나가서

둘째이 독립 침대를 만들어주려고 다리를 짤라야 했다.



자르는 동영상


https://www.youtube.com/shorts/VN-hdmi_gBc


아래 제품 소개는 제가 직접 사서 써본거에요~ 목적은 애들 2층 침대가 있는데,

다리를 잘라서 단층으로 만들거에요~

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." 


1. 길이가 좀 짧은것(20CM) : 좁은 공간 작업 + 휴대성 (캠핑+벌초)

          대건 국산 파워이지 접톱 210MM 1개, DE-903

2. 길이가 좀 긴것(30CM) : 빠른 작업

  대건 국산 파워이지 접톱 300MM 1개, DE-906

라벨: , , , , , ,

2023년 8월 23일 수요일

[FastAPI] pydantic 에서 pydantic.errors.PydanticImportError: `BaseSettings` has been moved to the `pydantic-settings` 해결[SOLVED]

pydantic migration v1.x to v2.x 오류 해결


안녕하세요. 클스 입니다.

FastAPI를 이용해서 kakao 로그인을 구현하고자 했습니다.

poetry add 'pydantic['email']' 설치를 했습니다. 그랬더니 v1.x --> v2.2로 업그레이드 되면서

기존에 동작하던 configs.py 에서 아래와 같은 오류가 발생했습니다.


pydantic.errors.PydanticImportError: `BaseSettings` has been moved to the `pydantic-settings` 해결[SOLVED]


[원인]
from pydantic import BaseSettings 이 v2.x가 되면서 pydantic-settings로 이동되었다는겁니다.

[해결]
$ poetry self update  [선택사항]

$ poetry add 'pydantic[email]'   
$ poetry add 'pydantic-settings' 설치 합니다.

$ poetry update  [선택사항]

configs.py 소스에서 아래와 같이 수정하면 됩니다.

from asyncio import streams
# from pydantic import BaseSettings, Field # DELETE
from pydantic_settings import BaseSettings # NEW
from pydantic import Field

class DefaultSettings(BaseSettings):
APP_ENV: str

APP_NAME: str
APP_DESCRIPTION: str
APP_VERSION: str
APP_BUILD_NO: int

그리고 pydantic에서 local.env 파일을 설정할때 문자, 숫자에 대한 강력한 validation을 합니다.

[local.env 기존]에는 문자든 숫자든 상관없이 알아서 해줬는데

APP_ENV=local

#START
APP_NAME=admin_api
APP_VERSION=0.0.20230410.1
APP_DESCRIPTION=APIServer
APP_BUILD_NO=11
#END

[local.env 변경]에는 문자든 숫자든 상관없이 알아서 해줬는데 이제는 '문자열' 이렇게 해줘야 합니다.
숫자는 그냥하면 됩니다.

APP_ENV='local'

#START
APP_NAME='admin_api'
APP_VERSION='0.0.20230410.1'
APP_DESCRIPTION='APIServer'
APP_BUILD_NO=11
#END

이상입니다.

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

SKY 비트 USB4 4K 썬더볼트4 호환 40Gbps PD C타입-C타입 케이블 240W, 1.2m, 블랙, 1개





라벨: , , ,

2023년 8월 8일 화요일

[FastAPI] uvicorn, hypercorn에서 worker 여러개 띄우기 (feat. 배드민턴 셔틀콕 추천)

안녕하세요. 클스 입니다.

오늘은 FastAPI에 여러개 worker를 실행하는 것을 해보려고 합니다.

많은 요청을 처리하기 위해서 worker를 해주면 좋습니다.

worker의 계산은  2 x number_of_cores +1 이 적절하다고 합니다.


좀더 정확하게 산출해보려면 아래와 같이 계산하면 됩니다.

number_of_workers = number_of_cores x num_of_threads_per_core + 1
MacOS의 터미널에서 
$ sysctl -n hw.packages   ==> MacOS에 장착된 cpu socket 수
$ sysctl hw.physicalcpu hw.logicalcpu ==> cpu의 core 수, 총 thread 수
   num_of_threads_per_core(core당 thread 수) = hw.logicalcpu / hw.physicalcpu

$ sysctl -n hw.ncpu  혹은  ==> core 수
$ sysctl -n machdep.cpu.thread_count ==> core 수

uvicorn과 hypercorn으로 실행하는데 --reload 옵션이 있으면 --workers는 무시되고 1개만 뜹니다.

그리고 reload process가 1개 실행 됩니다.


참고로 FastAPI 공식 문서에서는 worker를 띄울때는 uvicorn 보다는 gunicorn을 사용하는게 좋다고 합니다.

그래서 저는 hypercorn을 많이 사용합니다.


# uvicorn

```sh
$ APP_ENV=dev uvicorn app:app --host "0.0.0.0" --port "8001" --reload
$ APP_ENV=dev uvicorn app:app --host "0.0.0.0" --port "8001" --workers 4
```

# hypercorn

```sh
$ APP_ENV=dev hypercorn app:app --bind 0.0.0.0:8001 --reload
$ APP_ENV=dev hypercorn app:app --bind 0.0.0.0:8001 --workers 4
```

* 4개를 실행한 결과 입니다.

INFO:     Started server process [91202]

INFO:     Waiting for application startup.

INFO:     Started server process [91203]

INFO:     Waiting for application startup.

INFO:     Started server process [91204]

INFO:     Waiting for application startup.

INFO:     Started server process [91201]

INFO:     Waiting for application startup.

INFO:     Application startup complete.

INFO:     Application startup complete.

INFO:     Application startup complete.

INFO:     Application startup complete.


======== 저는 배드민턴을 좋아하는 클스 입니다. =========

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."


아래를 눌러서 구매 부탁드립니다.


강산연 501 배드민턴 셔틀콕, 화이트, 12개입, 1개 샌디스크 울트라 듀얼 C타입 Type c OTG겸용, 128GB

라벨: , , , , , , , , ,

2022년 11월 29일 화요일

FastAPI 0.88.0 : uvicorn -> hypercorn 사용하자

FastAPI 0.88.0 : uvicorn -> hypercorn 사용하자

* 2022/11/28일 FastAPI 가 따끈따끈하게 릴리즈 되었습니다.

* 2023/3/18일 확인해보니 0.94.1 까지 나왔네요~

자세한 내용 보기 »

라벨: , ,