Tech

웹 서비스 아키텍처: 한 대의 서버에서 거대한 분산 시스템까지

Attention Sink LLM의 장문 처리를 위한 Attention 메커니즘

GPT-OSS는 Sliding Window Attention과 Attention Sink를 채용하여 높은 장문 처리 성능을 보임 (AA-LCR)

Triton Inference Server

다중 프레임워크 통합, 고속 추론 최적화, 자원 관리, 시스템 연계성까지 고려한 복합적인 시스템 설계 문제로 발전하고 있음

FlashAttention

Transformer 아키텍처는 자연어 처리, 컴퓨터 비전 등 다양한 도메인에서 핵심 모델 구조로 자리잡은 구조임. 이 구조의 중심 연산인 Scaled Dot-Product Attention은 입력 시퀀스 길이에 대해 O(n²)의 연산 및 메모리 복잡도를 갖는 구조임. 특히, 시퀀스 길이가 길거나 배치 크기가 커질수록…

GraphRAG 인덱싱 파이프라인 분석

GraphRAG 인덱싱 시스템은 비정형 원시 문서를 구조화된 지식 그래프와 의미적 임베딩으로 변환하는 엔터프라이즈급 ETL 파이프라인. LLM 기반 구조화된 정보 추출과 그래프 분석을 통해 검색 최적화된 다층 지식 베이스 구축.

Computation Graph Optimization

‌

Detail TensorRT-LLM Build

핵심 PluginConfig 구성 요소:

Prometheus & Grafana

Prometheus & Grafana in Trtion Inference Server

Model Context Protocol (MCP)

모델이 호출 가능한 기능의 스펙을 구조화된 형태로 인지하지 못함 – 세션 간 컨텍스트 유지가 불가능하여 다단계 작업에서 정보 손실 발생 – 실무 환경에서 요구되는 보안 정책, 자원 접근 제한, 호출 로깅 등의 기능을 자체적으로 구현해야 함

BM25

BM25(Best Matching 25)는 정보 검색에서 널리 사용되는 빈도 기반 랭킹 함수임. 문서와 질의(query) 간의 유사도를 계산하는 방식으로 작동하며, 문서가 주어진 질의와 얼마나 관련이 있는지를 정량화하여 검색된 문서를 관련성에 따라 순위별로 정렬하는 데 사용됨. BM25는 특히 전통적인 TF-IDF(단어…