국민대학교(총장 정승렬) 인공지능학부 김장호 교수(교신저자)가 이끄는 연구팀의 정진우 석사과정생과 AI빅데이터융합경영학과 학부생 이현준, 조현식이 참여한 논문 “SQuaT: Self-Supervised Knowledge Distillation via Student-Aware Quantized Teacher Features”가 모로코 탕헤르에서 개최된 AISTATS 2026에서 발표됐다. AISTATS는 1985년부터 개최되어 온 인공지능 분야의 이론과 응용 연구를 아우르는 최우수 국제학술대회이다.

이번 연구는 학습 label 없이도 quantized model의 성능을 향상시키는 새로운 방법론을 제안한 데 의미가 있다. 논문에서 제안한 SQuaT(Student-Aware Quantized Teacher Features)는 양자화(quantization)된 학생 모델이 표현할 수 있는 범위를 고려해, 고정밀 교사 모델의 중간 특징(feature)을 학생 모델에 맞게 정렬하는 방식이다.

기존의 label-free 양자화 인식 학습(Quantization-Aware Training, QAT) 방법은 주로 최종 출력값(logit) 기반의 지식 증류(knowledge distillation, KD)에 의존해 중간 특징 정보를 충분히 활용하지 못하는 한계가 있었다. 반면 특징 수준의 지식 증류를 활용하는 방법은 고정밀 교사 모델과 저비트 학생 모델 사이의 값 범위 차이로 인해 실제로 도달하기 어려운 학습 목표가 생긴다는 문제가 있었다.

연구팀은 학생 모델의 양자화 파라미터를 활용해 교사 모델의 중간 특징을 학생이 실제로 표현 가능한 양자화 공간으로 투영하는 student-aware projection 방식을 개발했다. 이를 통해 교사 모델과 학생 모델 간 특징 불일치를 줄이고, label-free 환경에서도 보다 안정적인 양자화 학습이 가능함을 보였다.

이번 성과는 경량 인공지능 모델의 성능을 높이면서도 추가 라벨링 비용을 줄일 수 있다는 점에서 의미가 있다. 연구팀은 제안한 SQuaT 코드를 공개해 다양한 양자화 및 지식 증류 연구에 활용할 수 있도록 했으며, 향후 효율적인 인공지능 모델 개발 연구를 지속해 나갈 계획이다.

△ AISTATS 학회 발표사진(국민대 이현준(AI빅데이터융합경영학과 4) 학생)