3D Scene Understanding
•
Deep Learning & Modern Generative AI
번호 | 주제 | 핵심 학습 내용 |
1 | Neural Networks Basics | MLP, backprop, loss, optimization |
2 | CNN for Visual Perception | Convolution, pooling, receptive field |
3 | Representation Learning | Feature hierarchy, invariance |
4 | Self-Supervised Learning | Contrastive learning, pretext tasks |
5 | Transformers for Vision | ViT, attention, global context |
6 | Generative Models Basics | Autoencoder, VAE, GAN |
7 | Diffusion Models | Forward / reverse diffusion |
8 | Neural Scene Representation | NeRF, implicit fields |
9 | 3D Gaussian Splatting | 3D GS |
10 | World Model | World Model |
•
3D Data Science
◦
Point Cloud / Mesh / Voxel / Implicit Representation
◦
대규모 3D 데이터 전처리, 정합, 샘플링
번호 | 주제 | 핵심 학습 내용 |
1 | 3D Data Overview | 3D 데이터 유형 개요 (PCD, Mesh, Voxel, Implicit) |
2 | Point Cloud Fundamentals | Point attributes, density, sparsity |
3 | Point Cloud Preprocessing | Denoising, outlier removal |
4 | Point Cloud Sampling | FPS, random, importance sampling |
5 | Point Cloud Registration | ICP, global registration |
6 | Mesh Representation | Vertices, edges, faces, topology |
7 | Mesh Processing | Simplification, remeshing |
8 | Voxel Representation | Occupancy grid, TSDF |
9 | Implicit Representation | SDF, occupancy field |
10 | Large-scale 3D Pipelines | 데이터 로딩, 병렬 처리, storage |
•
Computer Vision
◦
Camera model, Epipolar geometry, Feature detection & matching
번호 | 주제 | 핵심 학습 내용 |
1 | Image Formation | Pinhole camera, projection |
2 | Camera Coordinate Systems | World / Camera / Image frame |
3 | Camera Calibration | Intrinsic / extrinsic |
4 | Feature Detection | Corners, blobs, edges |
5 | Feature Descriptors | SIFT, SURF, ORB |
6 | Feature Matching | Distance metrics, NN search |
7 | Epipolar Geometry | Epipolar constraint |
8 | Fundamental Matrix | F matrix estimation |
9 | Essential Matrix | E matrix, pose recovery |
10 | Robust Estimation | RANSAC, outlier rejection |
•
3D Computer vision
◦
Multiview Geometry, SfM, Visual SLAM
번호 | 주제 | 핵심 학습 내용 |
1 | Multiview Geometry Overview | 다중 시점 문제 정의 |
2 | Camera Pose Estimation | PnP, relative pose |
3 | Triangulation | Point triangulation |
4 | Two-view Geometry | Stereo, baseline |
5 | Bundle Adjustment | Joint optimization |
6 | Incremental SfM | View addition, track management |
7 | Visual Odometry | Frame-to-frame motion |
8 | Visual SLAM | Tracking & mapping |
9 | Loop Closure | Place recognition |
10 | Learning-based SLAM | Neural mapping, hybrid SLAM |
VLA / Physical AI
•
제어공학 / 자율주행 센서처리 / 센서 및 계측공학 / 임베디드 소프트웨어 / 컴퓨터 시뮬레이션
•
Applied Natural Language Processing (NLP)
주차 | 범위 | 내용 |
1 | Text Classification / Logistic Regression | |
2 | Word Embeddings | |
3 | Deep Learning for NLP / MLP & CNN | |
4 | Sequence Labelling & Machine Translation | |
5 | Transformers
| |
6 | Pre training, In-context Learning, Parameter Efficient Fine-tuning (PEFT) | |
7 | Post-Training and Reinforcement Learning / Benchmarking and Evaluation | |
8 | LLMs and Tool use LLMs Retrieval Augmented Generation | |
9 | Language Model Memorization | |
10 | LLM Agents | |
11 | Prompt/Context Engineering | |
12 | Vision Language Models | |
13 | Vision Language Actions Models |
•
강화학습 (Reinforcement Learning)
번호 | 주제 | 핵심 학습 내용 |
1 | RL 문제 정의 | Agent, Environment, Reward |
2 | Markov Decision Process | State, Action, Transition |
3 | Value Function | V(s), Q(s,a) |
4 | Dynamic Programming | Policy / Value Iteration |
5 | Model-Free RL | Monte Carlo, TD Learning |
6 | Q-learning & SARSA | Off-policy vs On-policy |
7 | Policy Gradient | REINFORCE |
8 | Actor–Critic | A2C, A3C |
9 | Deep Reinforcement Learning | DQN, PPO, SAC |
10 | Advanced RL | Model-based, Offline, Language-conditioned RL |
XR Adative AI
•
멀티미디어 개론
번호 | 주제 | 핵심 학습 내용 |
1 | 멀티미디어 개요 | Multimedia 정의, 역사 |
2 | 디지털 이미지 | Color model, sampling |
3 | 디지털 오디오 | Sampling, compression |
4 | 비디오 처리 | Frame, codec |
5 | 압축 기법 | JPEG, MPEG |
6 | 스트리밍 | Latency, buffering |
7 | 멀티미디어 동기화 | Audio–video sync |
8 | 인터랙티브 미디어 | User interaction |
9 | 멀티모달 미디어 | Cross-modal |
•
컴퓨터그래픽스
번호 | 주제 | 핵심 학습 내용 |
1 | 그래픽스 개요 | Rendering pipeline |
2 | 좌표 변환 | Model–View–Projection |
3 | 기하 모델링 | Mesh, surface |
4 | 카메라 모델 | View frustum |
5 | 조명 모델 | Phong, BRDF |
6 | 쉐이딩 | Vertex/Fragment shader |
7 | 텍스처링 | UV mapping |
8 | 그림자 | Shadow mapping |
9 | 렌더링 최적화 | LOD, culling |
10 | 실시간 그래픽스 | Game engine rendering |
•
AI를 위한 인간컴퓨터상호작용(HCI)
번호 | 주제 | 핵심 학습 내용 |
1 | HCI 개요 | Human-centered design |
2 | 인간 인지 | Perception, attention |
3 | 인터랙션 모델 | Norman model |
4 | 입력 장치 | Mouse, touch, gesture |
5 | 출력 장치 | Display, haptics |
6 | 사용성 평가 | Usability testing |
7 | 사용자 연구 | Qualitative / Quantitative |
8 | Explainable AI | Transparency |
9 | Adaptive Interface | Context-aware UI |
•
게임 프로그래밍
번호 | 주제 | 핵심 학습 내용 |
1 | 게임 루프 | Update–Render loop |
2 | 게임 오브젝트 | Entity, component |
3 | 물리 엔진 | Collision, rigid body |
4 | 입력 처리 | Keyboard, controller |
5 | AI 행동 | FSM, behavior tree |
6 | 애니메이션 | Skeleton, blending |
7 | 씬 관리 | Scene graph |
8 | UI 시스템 | HUD, menus |
9 | 최적화 | FPS, memory |
10 | 게임 엔진 | Unity / Unreal |
•
VR-AR-XR 프로그래밍 개론
◦
Meta Interaction Toolkit / XR Interaction Toolkit
◦
Unity Engine 기반
번호 | 주제 | 핵심 학습 내용 |
1 | XR 개요 | VR/AR/MR 정의 |
2 | XR 디스플레이 | HMD, optical see-through |
3 | 트래킹 | Head/hand tracking |
4 | 좌표계 | World vs local |
5 | 인터랙션 | Gaze, gesture |
6 | 공간 UI | 3D UI 요소 |
7 | AR 기술 | Marker / SLAM AR |
8 | XR 퍼포먼스 | Latency, FPS |
9 | XR 콘텐츠 | Scene design |
10 | XR + AI | Intelligent XR |
•
UI-UX 디자인
번호 | 주제 | 핵심 학습 내용 |
1 | UX 개요 | User experience |
2 | UI 요소 | Layout, typography |
3 | 정보 구조 | IA, navigation |
4 | 인터랙션 디자인 | Feedback, affordance |
5 | 사용자 여정 | User journey |
6 | 프로토타이핑 | Wireframe, mockup |
7 | UX 리서치 | Interview, survey |
8 | 접근성 | Universal design |
9 | Adaptive UI | Context-aware UI |
10 | XR UX | Spatial UX |
•
멀티모달 데이터처리
번호 | 주제 | 핵심 학습 내용 |
1 | 멀티모달 개요 | Vision, Audio, Text |
2 | 데이터 정합 | Temporal alignment |
3 | Feature Fusion | Early / Late fusion |
4 | Representation Learning | Joint embedding |
5 | Cross-modal Attention | Attention mechanism |
6 | Vision–Language | Image–text alignment |
7 | Audio–Visual | AV fusion |
8 | Multimodal Generation | Text→Image/3D |
9 | Multimodal Agents | Perception–Action |
10 | Multimodal XR | XR interaction data |