김수현, Yixin Qiu, 정백, 옥근우, 박원송, 이경전, 경량화된 초거대언어모델을 활용한 개인간 연합학습 구조연구: Healthcare Service 응용. 2023 경영정보관련 춘계통합학술대회, 2023.
Abstract
초거대언어모델(LLM: Large Language Model)을 기반으로 한 서비스가 다양한 분야에서 등장하고 있으며, 이러한 서비스를 개인화하여 제공하는 추세에 있다. 하지만 초거대언어모델 기반 서비스(예: ChatGPT)는 채팅 내용이 서버에 업로드되어 모델의 개선과 성능 향상에 사용될 수 있어 사용자 프라이버시 등의 안전 문제가 존재한다.
이를 해결하기 위해 경량화된 초거대언어모델을 활용하여 개인 간 연합학습 구조를 제안한다. 연구를 위해 ‘LLaMA(Large Language Model Meta AI)’를 채택하였다. 이 모델은 고성능과 작은 파라미터 양을 가지며, 개인 모바일 디바이스에 쉽게 설치가 가능하기 때문에 개인정보를 서버에 업로드할 필요 없이 개인 디바이스에 설치한 LLaMA 모델만으로 학습할 수 있고, 따라서 정보유출의 위험을 줄일 수 있다. LLaMA 모델은 사용자의 피드백에 따라 지속적으로 조정될 수 있다. 더 나아가, 개인 기기 간에 로컬 모델 가중치를 공유하여 최종 모델의 성능을 향상시키는 Personalized Federated Learning(PFL)의 가능성을 확인하고자 한다. 클라이언트 간의 데이터 공유 없이 클라이언트 개인의 데이터로부터 모델을 개인화는 동시에 성능을 높이는 구조가 가능할 것이라 예상된다. 본 연구에서 제안한 구조를 통해 사용자에게 보다 안전하고 고성능이며 개인화된 서비스를 제공할 수 있을 것이다.