최근 포스트

Task design

앞서 두 종류의 성장이라는 글에서 도메인과 스킬에 대해 이야기 해보았다. 스킬 이야기 중 첫 번째로, 아주 간단하고도 강력한 스킬인 task design에 대해 논해보려고 한다.

[논문리뷰] FlashAttention 주요 아이디어 공유

앞선 글들에서 GPU 구조 및 최적화, 소프트맥스 병렬화 등을 다루어 보았다. 이러한 글들을 다루게 된 계기는 여럿 있었지만 그 중 하나는 GPU-aware 한 딥러닝 최적화 논문들을 리뷰하기 위함이었다.