CUDA 프로그래밍 기본개념

CUDA는 일반적인 CPU연산이 아닌 GPU연산을 합니다. 그래서 일반적인 코딩을 할때보다 신경써주어야 할 부분들이 더 있습니다.

여러가지가 있는데 그 중에서 우선 GPU연산을 위해서는 CPU에 있는 데이터를 GPU용으로 바꾸어야 합니다.

메인보드 ram에 있는 데이터를 GPU ram으로 옮기는 거죠.

이때 메모리에 데이터를 어떻게 할당을 하고, GPU에는 여러가지 종류의 메모리가 있는데 그 중에서 어떤 메모리를 활용 하느냐에 따라서 성능차이가 많이 나게 됩니다.
메모리를 잘못 사용하면 CPU보다 느린 성능을 낼수도 있습니다.;;

그런 다음에 그 데이터를 이용해서 GPU상에서 계산을 합니다.
계산한 결과는 GPU에 있기 때문에 GPU에 있는 데이터를 CPU로 가지고 오면 CUDA의 역할이 끝나게 됩니다. 이런 과정이 CUDA 및 GPGPU프로그래밍의 기본적인 개념입니다.

일반적인 GPGPU에서는 이렇게 데이터를 GPU에 올리고 내리고 할때 그래픽스에 관한 지식이 있어야 가능하지만 CUDA의 목적은 그런 지식 없이도 일반적인 C프로그래머들이 접근하기 용이하게 만드는게 목적입니다. (그러나 여전히 제 수준에는 어렵다는..;;)