기여 내용
Core contributor로 post-training에 참여했습니다.
- DAPO 기반 강화학습을 지시 이행(instruction following) 과제에 적용할 수 있는지 검증했습니다. 최종 강화학습 단계도 이 영역의 데이터로 진행했습니다.
- Agentic coding용 학습 데이터를 합성하고, 이 데이터로 SFT를 진행해 코딩 성능이 개선되는 것을 확인했습니다.
A.X K1이란
A.X K1은 전체 519B, 활성 33B 파라미터를 가진 Mixture-of-Experts 언어 모델입니다. 약 10T 토큰으로 처음부터 사전학습했습니다. 128K 컨텍스트를 지원하고, 한국어를 효율적으로 처리하도록 어휘 크기를 160K로 정했습니다.
이 모델은 추론 능력과 추론 비용 사이의 간극을 줄이려고 만들었습니다. 추론용 모델과 대화용 모델을 따로 내놓지 않고, 사용자가 요청마다 단계별로 추론하게 할지 바로 답하게 할지 고를 수 있습니다.
Post-training 과정
1. 두 갈래 SFT. 두 모델을 나란히 fine-tuning합니다. instruct SFT는 바로 답하는 응답 291만 건으로, reasoning SFT는 명시적 추론 과정을 담은 460만 건으로 학습합니다. reasoning 데이터의 절반가량이 한국어입니다.
2. Think-Fusion. 두 모델을 선형으로 병합하되, 추론 깊이를 잃지 않도록 reasoning 모델 쪽에 0.8의 가중치를 줍니다. 병합한 모델은 Mode-Overlap Dataset으로 다시 fine-tuning합니다. 이 데이터셋은 프롬프트마다 thinking 응답과 non-thinking 응답을 함께 담고 있습니다. 병합만으로는 두 모드가 뒤섞이는데, 이 단계가 그 혼동을 바로잡습니다.
3. On-policy 강화학습. 병합한 모델을 시퀀스 단위 목적 함수와 정답 및 형식 보상으로 추가 학습합니다. 정확도를 높이는 동안에도 모드 전환이 흔들리지 않게 하려는 단계입니다.
독자 AI 파운데이션 모델 프로젝트
A.X K1은 과학기술정보통신부가 추진하는 독자 AI 파운데이션 모델 프로젝트에 SK텔레콤 정예팀이 내놓은 모델입니다. 과학기술정보통신부가 2026년 1월 15일 발표한 1차 단계 평가에서 A.X K1은 정예팀 5곳 가운데 2위를 기록해 2단계에 진출했습니다. 같은 평가에서 2개 팀은 탈락했습니다. 평가는 벤치마크(40점), 전문가 평가(35점), 사용자 평가(25점)로 이뤄졌습니다.
성과
thinking 모드에서 A.X K1은 DeepSeek-V3.1(685B-A37B), GLM-4.6(357B-A32B)과 견줄 만한 성능을 보였고, 수학과 한국어 추론에서는 확실히 앞섰습니다.
- 수학: AIME25에서 89.8점으로 DeepSeek-V3.1(88.4)과 GLM-4.6(86.0)을 앞섰습니다. 한국어판인 AIME25-ko에서는 86.9점으로 78.1점, 75.9점과 차이가 더 벌어졌습니다.
- 한국어 수학: HRM8K에서 89.4점을 기록했습니다. 비교 모델은 84.3점과 83.9점입니다.
- 지시 이행: IFBench에서 64.7점으로 41.5점, 43.4점을 크게 앞섰습니다.
- 한국어 코드: LiveCodeBench-ko에서 73.1점으로 66.2점, 55.9점보다 높았습니다.
- 한국어 지식: KMMLU에서 80.2점을 기록했습니다. 비교 모델은 76.5점과 79.9점입니다.
보고서는 뒤처진 영역도 함께 밝힙니다. 긴 컨텍스트 벤치마크와 복잡한 코딩 과제에서는 성능이 낮았고, 보고서는 그 원인을 더 작은 사전학습 규모와 연산 자원으로 봅니다.