느낀 것들을 기록하는 매우 주관적이고 감성적인 공간

최근 포스트

[논문리뷰] FlashAttention 주요 아이디어 공유

앞선 글들에서 GPU 구조 및 최적화, 소프트맥스 병렬화 등을 다루어 보았다. 이러한 글들을 다루게 된 계기는 여럿 있었지만 그 중 하나는 GPU-aware 한 딥러닝 최적화 논문들을 리뷰하기 위함이었다.

[알쓸G잡] GPU Trick or Tweak

앞서 다른 글에서도 언급했듯이 GPU는 구조적으로 CPU와 매우 다르다. 참조 따라서, 기존의 CPU 기반 설계에선 문제가 되지 않았던 코드들이 GPU 에서 동작하면서 예기치 못한 성능 저하를 일으키는 경우가 종종 있다. 본 글에서는 그러한 성능 저하를 일으키는 여러 ...