토스 테크 블로그에 저의 글이 업로드 되었어요! 2024-07-25 토스 테크 블로그에 저의 글이 최근에 업로드 되었습니다! 고성능의 GPU 클러스터를 도입하는 과정을 담은 글인데요, 많관부! 바로 가기 P.S. 제 블로그 안 망했어요!! 공유하기 Twitter Facebook LinkedIn 이전 다음 댓글남기기
vLLM 스터디 1회차 — 도입부 & Engine 진입 2026-04-27 새로운 스터디를 시작했다. Aleksa Gordic의 Inside vLLM: Anatomy of a High-Throughput LLM Inference System을 돌아가면서 발표하는데, 단순 발표가 아니라 현재 vLLM 코드베이스까지 같이 따라가면서 보기로 했다.
B300 도입 준비: 아키텍처부터 프로덕션 서빙까지 2026-03-11 올해 팀에서 B300을 다수 도입할 예정이다. 학습도 하지만 주로 서빙 용도로, vLLM/SGLang/KServe 기반 Kubeflow 파이프라인 위에서 운용하게 된다.
댓글남기기