Changyu Lee

Dev Log

Dev Log
Search

Handling CPU-bound Tasks in FastAPI

Using ThreadPoolExecutor + uvicorn --workers for Effective Parallel Processing

Background

FastAPI is known for its powerful asynchronous capabilities, especially with I/O-bound tasks. However, when it comes to CPU-bound workloads (like OCR, image processing, or heavy computation), async def alone doesn't bring much performance gain.
This post walks you through how I improved the responsiveness and concurrency of my FastAPI app using:
•
ThreadPoolExecutor for CPU-bound operations
•
Uvicorn’s -workers option for true multi-processing

The Problem

While building an API for generating scripts using LLMs, I ran into performance bottlenecks due to:
•
Intensive OCR and image preprocessing (e.g., with PyMuPDF, OpenCV)
•
Running dozens of LLM summarization and generation calls
•
Handling large text files and saving structured data
Dev Log [05.29.25] : Handling CPU-bound Tasks in FastAPI

Situation

Why?

오류의 원인은 int()를 사용하여 배열 전체가 아니라 개별 요소를 변환하려고 했기 때문임
x는 텐서이므로 .min(), .max()가 텐서 전체 값이 아닌, 텐서의 요소별 연산으로 처리돼야 함.
•
x - x.min(): x가 텐서이므로 결과도 텐서 (스칼라 값 아님).
•
/ (x.max() - x.min()): 여전히 텐서.
•
int(...): 텐서는 스칼라 값이 아니므로 int()가 적용될 수 없음 → ValueError 발생.
해결책: int()를 사용하지 말고 .to(torch.uint8) 또는 .numpy().astype(np.uint8)를 사용해야 함.
Dev Log [03.05.25] : PyTorch Integer Type Conversion

Pydantic 모델에서 Union(|) 연산자로 상속 문제 해결하기

Pydantic을 사용하여 컨텐츠 요소(Content Element) 클래스를 설계할 때, 상속 구조에서 발생할 수 있는 한 가지 문제는 요소들이 부모 클래스(Base Class)로만 인식되는 경우다. 이를 해결하기 위해 | 연산자를 활용하는 방법을 소개한다.

문제 상황: 부모 클래스로만 인식되는 컨텐츠 요소

기본적으로 컨텐츠의 구성 요소는 공통된 속성을 가지며, 이를 기반으로 개별적인 요소(예: 설명, 대화 등)를 정의할 수 있다. 처음 구현한 코드에서 ContentElement를 부모 클래스로 두고, 이를 상속하는 Description과 Conversation 클래스를 만들었다. 그리고 Content 클래스의 elements 속성에 여러 요소를 포함하도록 설계했다.
이후 Content 클래스에서 elements 필드의 타입을 List[ContentElement]로 지정했지만, 실제로 데이터를 변환할 때 모든 요소가 ContentElement로만 인식되는 문제가 발생했다.
이 코드에서는 elements 내부에 Description과 Conversation 객체가 들어가더라도 Pydantic이 이를 부모 클래스 ContentElement로만 처리했다. 즉, 데이터 변환 시 객체가 원래의 서브클래스가 아닌 부모 클래스의 속성만 유지하는 문제가 발생했다.

해결 방법: | 연산자로 다형성 처리

이 문제를 해결하기 위해 | 연산자를 사용하여 여러 개의 서브클래스를 명확하게 정의할 수 있다. 즉, elements의 타입을 List[ContentElement | Description | Conversation]으로 명시적으로 지정하면, Pydantic이 요소들을 개별적인 서브클래스로 인식할 수 있다.
이렇게 변경한 후 테스트를 진행하면, elements 리스트 내부의 객체들이 원래의 서브클래스(Description, Conversation) 타입을 유지하는 것을 확인할 수 있다.
Dev Log [02.11.2025] : Pydantic 모델에서 Union(|) 연산자로 상속 문제 해결하기
static으로 GM에서 이벤트를 관리하는데, 이게 효율적인 것인지는 모르겠다.
예전 MRTK를 참고했을 때, CoreSystem(?) 같은 곳에서 이벤트를 관리하고 있었고, 이를 호출해서 손이나, 헤드 데이터를 받아서 사용할 수 있던 것으로 알고 있는데, 어쩌면 싱글톤이 되어 코드가 점점 하드코딩마냥 되가진 않을까 싶기도…
Dev Log [02.07.25] : Unity Event 오랜만에..
Dev Log 05.28.24 : 유니티 한글 입력 로직 구현
충격!) 파이썬에서 오버로딩(overloading)이 가능하다??
파이썬은 원래 오버로딩이 안 되는 언어라고 알려져 있었다. 왜냐하면 오버로딩을 하려면 타입이 필요한데 파이썬의 각 변수들은 타입이 지정되어 있지 않기 때문이다. 3.4 이후로 typing 모듈이 생기면서 파이썬에서도 타입 지정이라는 개념이 생기기는 했지만 여전히 optional 요소일 뿐이다. 그런데... 언제부터인지는 모르겠는데, 파이썬에도 타입에 따른 오버로딩이라는 개념이 생겼다. 예제 코드는 다음과 같이 생겼다. import functools as ft @ft.singledispatch def hello(arg) -> None: print("arg type not implemented") @hello.register def _(arg: int) -> None: print("Integer: {}".f..
https://invrtd-h.tistory.com/92
Dev Log 05.17.24 : Python Method Overloading
유니티 - 오브젝트를 선택된 상태로 만들기 : (3) Shader Outline
Unity 전체 링크 오브젝트를 선택된 상태로 만들기 : (1) bool 오브젝트를 선택된 상태로 만들기 : (2) 이미지로 만들기 오브젝트를 선택된 상태로 만들기 : (3) Shader Outline 오브젝트를 선택된 상태로 만들기 : (4) 오브젝트를 하나만 선택하기 링크의 경우, 오브젝트를 선택된 상태로 만들기 위해 이미지를 이용해 outline을 직접 만들었다. 이번에는 오브젝트를 선택된 상태로 만들기 위해 Shader를 이용해보자. 먼저 Shader 자체는 Outline Shader로 검색해서 적당한 shader를 구한다. Shader "Draw/OutlineShader" { Properties { _OutlineColor ("Outline Color", Color) = (1,0,0,1) _Ou..
https://bloodstrawberry.tistory.com/707
Dev Log 03.24.24 : Draw Outline of Selected Objects
Dev Log 03.09.24 : UI Rotation Following the Camera
Dev Log 03.04.24 : Object of type 'FieldInfo' is not JSON serializable
•
Solve: Make attiribute types explicit
Dev Log 03.03.24 : Pydantic Error - ConfigError: unable to infer type for attribute "introduction"

Goal

•
element update (memory strength += 1)

Explaination

The primary goal of the provided code is to iterate through a list of documents (docs), increase the memory_strength value of each document by one, and then update specific documents within certain lists based on their tags. The tags considered in this code are "StoryMemory", "CharacterRelation", "CharacterStatus". Depending on the tag, the document is updated in the corresponding list.
The approach used in the code:
•
It first increases the memory_strength value of each document and updates the document's content.
•
For documents with specific tags, it finds and removes the old version from the relevant list and adds a new version of the document.
The reason for using self.story_mem.remove(j) and self.story_mem.append(i.copy()) is to opt for a method where a new copy of the object is created and added to the list, rather than directly manipulating the reference of the object. This approach has several benefits:
1.
Maintaining Immutability: By creating a new copy of the object rather than modifying it directly, you can maintain the immutability of the original object. This is particularly useful in complex systems or in cases where there is a lot of interaction between different components, as it helps prevent unintended side effects.
2.
Clarity in State Management: Adding a new object helps clearly indicate changes in the system's state. That is, it becomes easier to track what has changed, and when.
3.
Preventing Errors Due to Reference: Directly modifying an object could affect other variables or objects that reference it. Using a new copy prevents these kinds of side effects due to shared references.
The reason for not using j = i.copy() is because, while this would update the j variable to refer to a new object, it does not affect the original list (self.story_mem, etc.) in any way. In other words, updating j to a new object leaves the original object in the list unchanged. Therefore, to actually update an object in the list, you need to explicitly remove the old object and add the modified new object to the list. This ensures that the list reflects the most current state of its elements.
Dev Log 02.18.24 : Python Object Reference
•
Problem: field required (type=value_error.missing)
•
Answer:
Dev Log 02.16.24 : Pydantic Error : Field Required
[Python 환경설정] VS code 설치 및 Anaconda와 연동하기
#서론 저번에는 아나콘다를 설치하고 환경을 구성했죠. 이번에는 실제로 Python으로 코딩할 때 사용하는 에디터를 설치하고 아나콘다와 연동해서 사용하는 방법을 알아보겠습니다. *아나콘다(Anaconda) 설치법 다시보기 에디터(Editor)는 프로그래밍을 위한 최적의 환경을 제공해주는 툴입니다. 통합개발환경(integrated Development Enviorment, IDE)라고도 불립니다. 보시는 바와 같이 에디터는 파일들의 위치를 보여주는 Explorer, 실제 코딩을 하는 Code editor 그리고 Terminal로 구성되어 있습니다. 다양한 에디터들이 존재하지만 Microsoft사에서 개발한 Visual Studio Code는 요즘 제일 핫한 코딩 에디터 중 하나입니다. 그럼 VS code를 ..
https://mylogcenter.tistory.com/7
Dev Log 02.15.24 : VS Code Python Interpreter Setting
Dev Log 02.14.24 : Python Mutable Obejct & Shallow Copy

Does C# have Initializer? NOPE!

Dev Log 02.10.24 : Initializer of Constructor..?
•
Before starting Developing, i felt that requirement analysis is really important
•
Made User Scenarios and listed up the functions that i need
Dev Log 02.01.24 : Tiny Experience on SW Requirement..

MY FIRST “WATCH DOG” PROJECT

•
Background: I updated my virtual environments packages such as openai, langchain using pip
The below is the code i wrote.
•
using the os.kill function, the process are monitoring the service process and run the backend application again.
Dev Log 01.27.24 : My First Watch Dog

Git Rebase Drop

문제가 된 상황: 커밋을 할 때 생각없이 OpenAI API키를 레포지토리에 올려버림..
두 개의 커밋에 그것이 작동 되어 급하기 없앨 필요가 생김
해결 방법: Git Rebase Drop & 브랜치 새로 파기
•
또 다시 문제가 발생했는데, confilcit 가 나버린 것임
다만 나는 다른 블로그와 상황이 달랐던 것이, 마스터 브랜치가 따로 진행된 바가 없었음
이를 해결하기 위해서 Github Repository에서 브랜치를 삭제해버림
•
삭제 이후 git rebase --continue 를 입력하고 난 뒤 다시 커밋 진행
•
새로운 브랜치가 탄생하여 문제 해결 완료

Reference

Dev Log 12.26.23 : Git Rebase Drop