[알쓸G잡] GPU Trick or Tweak
앞서 다른 글에서도 언급했듯이 GPU는 구조적으로 CPU와 매우 다르다. 참조 따라서, 기존의 CPU 기반 설계에선 문제가 되지 않았던 코드들이 GPU 에서 동작하면서 예기치 못한 성능 저하를 일으키는 경우가 종종 있다. 본 글에서는 그러한 성능 저하를 일으키는 여러 ...
최근 포스트
[알쓸G잡] GPU 메모리 및 쓰레드 구조
1. Nvidia GPU 의 종류
1월에 본 책, 영화, TV 시리즈 리뷰
더 늦게 전에 정리하는 1월에 본 책 영화/TV 리뷰 1월에는 책보단 영화나 TV 시리즈를 많이 본 것 같다.
쿠버네티스 시크릿 만들고 팟에서 접근하기
업무상 쿠버네티스(K8s)를 많이 쓰는데 secret 을 직접 만들어 써본적은 없었다.
[논문리뷰] Online normalizer calcuation for softmax by Nvidia (2018)
Flash Attention2 논문을 읽다 보니 이해가 안 되는 부분이 많았다. 팀 내 ML 연구원들은 GPU 파트를 이해 못 했는데 난 오히려 GPU 파트 보단 ML 파트가 이해가 안 됐다;;