멀티모달 LLM

한 줄 정의

멀티모달 LLM은 텍스트뿐 아니라 이미지·오디오·영상 같은 다른 형태의 정보도 같은 모델 안에서 이해하거나 생성할 수 있는 LLM입니다.

지금 상태 (2026-09 기준)

초기 접근은 텍스트와 이미지를 같은 벡터 공간에 대응시키는 방식(CLIP, 2021)에서 출발해, 텍스트 전용 LLM에 이미지 이해 기능을 나중에 붙이는 방식(GPT-4V, 2023-09)으로 이어졌습니다. 이후 처음부터 텍스트·이미지·오디오·영상을 함께 학습하는 "네이티브 멀티모달" 모델(Gemini, 2023-12)이 등장했고, 2024년 5월 GPT-4o는 오디오까지 입력·출력 모두를 하나의 모델이 실시간으로 처리하는 수준으로 발전시켰습니다. 2026년 현재 주요 프론티어 모델은 대부분 최소한 텍스트+이미지를 기본으로 다루며, 음성 실시간 대화까지 지원하는 모델도 늘고 있습니다.

개념

• CLIP(2021): 이미지와 그 이미지를 설명하는 텍스트를 같은 벡터 공간에 대응시키도록 대조 학습(contrastive learning)시킨 모델. LLM 자체는 아니지만, 이후 여러 멀티모달 LLM이 이미지를 "이해"하는 데 쓰는 비전 인코더의 기반 아이디어가 됐습니다.
• "나중에 붙이는" 방식(GPT-4V): 이미 학습된 텍스트 전용 LLM에 별도의 비전 인코더를 연결해 이미지 입력을 이해하게 만드는 방식. 텍스트 모델을 재학습하지 않고 기능을 확장할 수 있다는 장점이 있습니다.
• "처음부터 함께 학습" 방식(Gemini): 텍스트·이미지·오디오·영상 데이터를 처음부터 하나의 모델에 함께 학습시키는 방식. 서로 다른 모달리티 간 정보를 더 깊이 연결할 수 있다고 주장되지만, 검증은 벤치마크마다 다릅니다.
• 입출력 모두 멀티모달(GPT-4o): 이미지를 "이해"만 하던 것을 넘어, 텍스트·이미지·오디오를 입력과 출력 양쪽에서 하나의 모델이 처리하도록 만든 것. 별도의 음성인식(STT)·음성합성(TTS) 모델을 거치지 않아 응답 지연이 크게 줄었습니다(최소 232ms, 평균 약 320ms로 사람의 대화 반응 속도에 근접한다고 발표됨. 출처).