공지/소식/일정

학과소식

제목 한양대 최정욱 교수팀, 대규모 언어 모델 추론 비용 줄이는 저정밀도 양자화 기술 개발
작성자 관리자 작성일 2023-12-14 조회 154
첨부파일



최정욱 교수 연구팀이 대규모 언어 모델 추론 비용을 줄일 수 있도록 심층 신경망 연산을 저정밀도에서 수행하면서 성능 하락이 없도록 하는 데이터 표현 방식과 알고리즘을 개발했다고 한양대가 28일 밝혔다. 최정욱 교수팀이 개발한 기술은 언어 모델의 활성화를 8비트로 표현하면서도, 가중치를 4비트로 크게 낮춰 저장 공간뿐 아니라 연산기의 에너지와 면적을 모두 크게 낮추는 기술이다. 연구팀은 대규모 언어 모델의 가중치를 매우 낮은 정밀도로 표현할 때 기존의 고정소수점을 사용하는 대신, 부동소수점에서 사용되는 비정규 표현을 고정소수점에 함께 사용했을 때 언어 모델이 단어를 잘못 생성하는 것을 크게 막을 수 있다고 전했다.
최정욱 교수 연구팀은 저 정밀도 추론에서 값이 0으로 양자화되는 현상이 성능에 큰 영향을 미침을 발견하고, 이를 해결하기 위해 0 근처의 비정규 특이값을 따로 지정해 처리가 가능하도록 했다. 제안하는 데이터 표현 방식의 연산기를 7나노미터 공정으로 합성해 하드웨어적인 이점을 평가했으며, 8비트 연산기보다도 두 배의 에너지 및 면적 효율을 가지면서도 성능 하락을 막을 수 있어 실용적이라고 전했다. 공동 1저자인 한양대 일반대학원 융합전자공학과에 재학 중인 이장환, 김민수 박사과정 학생과 AI 반도체 기업 사피온 코리아, 서울대 성원용 교수가 함께 참여한 이번 연구는 세계 권위의 자연어처리 학회인 EMNLP 2023에서 12월 발표될 예정이다.

출처 : 한국대학신문 https://news.unn.net/news/articleView.html?idxno=555942
 
Prev Next List