NPU는 Neural-network Processing Unit의 약자로 다양한 Neural Network를 가속하고 그 결과를 다양한 응용에 이용할 수 있게 해줍니다.
Machine Learning은 Object Detection, Segmentation, Depth Estimation, Noise Reduction, Natural Language Processing 응용 등에서 다양하게 쓰이고 있고 이의 핵심에는 Neural Network가 있습니다. 대표적인 Neural Network에는 Convolutional Neural Network (CNN)과 Transformer가 있는데 이는 둘 다 상업적으로 성공적으로 적용되어 활용되고 있습니다. 하지만 Neural Network는 기존의 CPU나 GPU에 최적화되어서 구현되기 힘듭니다. 따라서 Neural Network의 Workload를 분석하고 이를 바탕으로 최적의 Hardware 설계가 필요한데 이 Hardware를 NPU라 부르고 설계의 모든 과정을 NPU 파트에서 진행하고 있습니다.
이렇게 NPU를 설계하여 SoC에 탑재했을 때, CPU나 GPU만을 가지고 있는 SoC 대비 더 적은 전력을 사용하면서도 높은 성능을 구현할 수 있습니다. 이를 통해, 더 긴 Battery Time과 더 짧은 Response Time을 구현할 수 있게 되고 사용자 경험을 향상 시키며 더 복잡한 AI 모델을 실행할 수 있게 해줍니다.
현재 비전넥스트에는 다양한 Task에 AI를 사용하고 있습니다. Object Detection, Segmentation, Depth Estimation, Noise Reduction에 NPU를 사용하고 있지만 무엇보다 Vision에 특화된 SoC이기 때문에 화질에도 AI를 적용하여 차별성을 두고 있습니다.
특히 사람 눈에는 전혀 보이지 않는 극저조도 상황에서 Neural Network를 통해 Image Enhancement 과정을 거치게 되면 마치 밝은 화면을 찍은 것처럼 선명한 이미지를 얻을 수 있습니다. 이 때 많은 연산량과 데이터 이동, 전력 소모 등이 발생하게 됩니다. 현재 NPU 파트에서는 이를 최소화하기 위한 전용 NPU를 설계하고 있습니다.
저는 박사과정에서 Computer Vision을 가속하는 SoC를 설계했습니다. 그 당시에는 Neural Network가 Computer Vision에서 두각을 나타내기 전이어서 FAST, SIFT 등의 Model-based Pattern Recognition이 유행했습니다. 그래서 그 당시에 설계했던 칩은 SIFT 알고리즘을 가속하였지만 칩의 전체 Workload를 관장하는 조그마한 Scheduler에 Neural Network를 적용해서 설계했었고 이것이 제 커리어에서 AI를 가속한 첫 번째 경험이었습니다.
박사를 졸업할 때 즈음, Alexnet이 소개되고 ResNet이 엄청난 파장을 일으키면서 본격적으로 NPU 설계가 글로벌 기업과 소위 일류 대학을 중심으로 유행하기 시작했습니다. 그때 저도 CNN을 타깃으로 한 NPU를 개발하였고, 성공적으로 제품에 탑재한 경험을 쌓을 수 있었습니다.
이후에 비전넥스트에서 입사하여 그 때의 경험을 살려서 또 다른 종류의 NPU를 개발하고 있습니다. 비록 저의 주된 Skillset과 Background는 Computer Architecture과 Digital Circuit Design이지만 항상 AI 알고리즘의 변화를 주시하고 그 구조까지 이해하여 차별화 된 NPU Designer가 되려고 노력하고 있습니다. 최근에는 Transformer를 Cloud Computing의 도움 없이 Edge Device에서 가속하는 노력이 많이 보이는데 저도 이쪽을 다음 과제의 후보로 생각하고 연구 중에 있습니다.
01 NPU파트 업무에 대해서 간단히 설명 부탁 드립니다.NPU는 Neural-network Processing Unit의 약자로 다양한 Neural Network를 가속하고 그 결과를 다양한 응용에 이용할 수 있게 해줍니다.Machine Learning은 Object Detection, Segmentation, Depth Estimation, Noise Reduction, Natural Language Processing 응용 등에서 다양하게 쓰이고 있고 이의 핵심에는 Neural Network가 있습니다. 대표적인 Neural Network에는 Convolutional Neural Network (CNN)과 Transformer가 있는데 이는 둘 다 상업적으로 성공적으로 적용되어 활용되고 있습니다. 하지만 Neural Network는 기존의 CPU나 GPU에 최적화되어서 구현되기 힘듭니다. 따라서 Neural Network의 Workload를 분석하고 이를 바탕으로 최적의 Hardware 설계가 필요한데 이 Hardware를 NPU라 부르고 설계의 모든 과정을 NPU 파트에서 진행하고 있습니다.이렇게 NPU를 설계하여 SoC에 탑재했을 때, CPU나 GPU만을 가지고 있는 SoC 대비 더 적은 전력을 사용하면서도 높은 성능을 구현할 수 있습니다. 이를 통해, 더 긴 Battery Time과 더 짧은 Response Time을 구현할 수 있게 되고 사용자 경험을 향상 시키며 더 복잡한 AI 모델을 실행할 수 있게 해줍니다.02 NPU파트 주요 업무와 과제는 무엇이고, 어떻게 진행되나요?현재 비전넥스트에는 다양한 Task에 AI를 사용하고 있습니다. Object Detection, Segmentation, Depth Estimation, Noise Reduction에 NPU를 사용하고 있지만 무엇보다 Vision에 특화된 SoC이기 때문에 화질에도 AI를 적용하여 차별성을 두고 있습니다.특히 사람 눈에는 전혀 보이지 않는 극저조도 상황에서 Neural Network를 통해 Image Enhancement 과정을 거치게 되면 마치 밝은 화면을 찍은 것처럼 선명한 이미지를 얻을 수 있습니다. 이 때 많은 연산량과 데이터 이동, 전력 소모 등이 발생하게 됩니다. 현재 NPU 파트에서는 이를 최소화하기 위한 전용 NPU를 설계하고 있습니다.03 NPU파트 직무의 매력은 무엇인가요?NPU 설계는 디지털회로 설계와 컴퓨터 구조 등의 다소 전통적인 기술과 최신 AI 알고리즘을 접목한다는 점이 가장 매력적입니다.양쪽의 배경지식을 요구한다는 점에서 다소 어렵고 진입장벽이 높다고 생각하실 수도 있지만 그만큼 배울 것도 많고 아무나 할 수 없다는 점에서 자긍심과 커리어를 동시에 얻을 수 있는 분야라고 생각합니다.생각해 보세요, 내가 만든 Hardware에서 chatGPT를 돌릴 수 있다? 엄청나게 매력적이지 않나요?04 어떤 커리어 패스를 걸어오셨나요?저는 박사과정에서 Computer Vision을 가속하는 SoC를 설계했습니다. 그 당시에는 Neural Network가 Computer Vision에서 두각을 나타내기 전이어서 FAST, SIFT 등의 Model-based Pattern Recognition이 유행했습니다. 그래서 그 당시에 설계했던 칩은 SIFT 알고리즘을 가속하였지만 칩의 전체 Workload를 관장하는 조그마한 Scheduler에 Neural Network를 적용해서 설계했었고 이것이 제 커리어에서 AI를 가속한 첫 번째 경험이었습니다.박사를 졸업할 때 즈음, Alexnet이 소개되고 ResNet이 엄청난 파장을 일으키면서 본격적으로 NPU 설계가 글로벌 기업과 소위 일류 대학을 중심으로 유행하기 시작했습니다. 그때 저도 CNN을 타깃으로 한 NPU를 개발하였고, 성공적으로 제품에 탑재한 경험을 쌓을 수 있었습니다.이후에 비전넥스트에서 입사하여 그 때의 경험을 살려서 또 다른 종류의 NPU를 개발하고 있습니다. 비록 저의 주된 Skillset과 Background는 Computer Architecture과 Digital Circuit Design이지만 항상 AI 알고리즘의 변화를 주시하고 그 구조까지 이해하여 차별화 된 NPU Designer가 되려고 노력하고 있습니다. 최근에는 Transformer를 Cloud Computing의 도움 없이 Edge Device에서 가속하는 노력이 많이 보이는데 저도 이쪽을 다음 과제의 후보로 생각하고 연구 중에 있습니다.05 NPU파트에서 업무를 수행하면서 보람을 느낄 때는 언제인가요?제가 생각하기에 Hardware를 설계하는 업무는 어떤 것을 설계하든 설계한 Chip이 제대로 돌아가는 걸 눈으로 볼 때 가장 뿌듯하고 보람을 느낀다고 생각합니다.하지만 NPU 개발은 특히나 트렌드의 최전선에 있는 만큼 좀 더 다양한 루트로 동기부여 되는 경우가 많은 것 같습니다. 예를 들면, 새로운 Neural Network가 개발되었는데 엄청난 성능을 보인다거나 타 경쟁 NPU 회사가 투자를 받고 좋은 결과를 보이는 것도 NPU 분야의 활성화를 보여주는 척도이기 때문에 동기부여가 되는 중요한 요소 중의 하나입니다. 실제로 대학원 선후배들이 NPU 회사를 많이 창업했는데 좋은 소식을 들을 때마다 저도 맞는 길을 가고 있구나 라는 생각이 들고 동기부여가 되곤 합니다.06 후배들에게 알려주고 싶은 일잘법이 있다면?보통 저는 명언에 쉽게 감화되는 스타일은 아닌데요. 그렇지만 유일하게 좋아하고 자주 곱씹는 말이 하나 있습니다. 바로 “나는 피로 쓴 것 만을 사랑한다. 쓰려면 피로 써라.” 라는 니체의 말인데요. 그 어떤 일을 하든지 간에 고민의 깊이와 완성도를 높게 가져가는 태도에 대한 말이라고 생각합니다.저는 대가의 Insight나 번뜩이는 아이디어는 이러한 결에서 비롯된다고 믿고 있습니다. 업무를 하다 보면 점점 전선이 넓어지고 다양한 책임이 생기게 됩니다. 그래서 모든 업무에 깊이를 챙기고 완벽을 추구하는 것은 당연히 불가능하게 되겠지만 핵심 업무나 중요한 발표 등에서는 대충 하기 보다는 피로 쓴다는 마음으로, 하나하나 눌러 쓰는 마음가짐을 가지는 것이 일잘법 중 하나라고 생각합니다.