vLLM 스터디 1회차 — 도입부 & Engine 진입
새로운 스터디를 시작했다. Aleksa Gordic의 Inside vLLM: Anatomy of a High-Throughput LLM Inference System을 돌아가면서 발표하는데, 단순 발표가 아니라 현재 vLLM 코드베이스까지 같이 따라가면서 보기로 했다.
최근 포스트
B300 도입 준비: 아키텍처부터 프로덕션 서빙까지
올해 팀에서 B300을 다수 도입할 예정이다. 학습도 하지만 주로 서빙 용도로, vLLM/SGLang/KServe 기반 Kubeflow 파이프라인 위에서 운용하게 된다.
1월에 본 책, 영화, TV 시리즈 리뷰
1월에 본 책과 영화 리뷰 정리 1월에는 히가시노 게이고를 많이 읽은 달이었다