RTX5090 체험 후기 (하) | Gcube 지큐브

이 글은 저번 체험에 대한 후기와 이어진다.

RTX5090을 사용해 Gemma3를 튜닝했었는데, 그 결과가 소실된 것을 Gcube 측에서 안타까워 하셔 체험 기회를 한번 더 제공해주셨다.

그래서 RTX5090을 3일 더 사용해볼 수 있게 되었다!

이전과 동일한 환경(Axolotl, torch On docker: ghcr.io/deveworld/gpu-dev)에서 튜닝을 진행했다.

물론 이전과 다른 점은 자체 데이터셋을 이용했다는 점이다.

AIHUB에서 제공하는 여러 한국어 코퍼스를 묶어 1차 데이터셋을 만든 후 google의 Gemini Flash 2.5 Preview를 이용해서 영어로 번역했다.

이후 원본 한국어와 영어 번역본을 합쳐 한국어-영어 데이터셋을 만들었다.

샘플링하여 확인해본 결과 AIHUB의 자체 한-영 병렬 데이터셋보다는 품질이 높았다.

물론 그렇게 고품질은 아니다. 더 정제할 시간이 부족하기도 하고 이정도면 충분하다는 생각이 들어 우선 Gemma3-1b-text에 이 데이터셋으로 파인튜닝을 진행해보았다.

(참고로 AIHUB의 자체 라이선스로 인해 데이터셋의 공개는 불가능 하다...)

잘 학습이 되었다.

1b 모델이기에 원래 한국어 성능이 낮기도 해서 결과가 우려스러웠다. 그러나 잠깐 추론 시켜보았는데, 생각보다 성능이 괜찮아 놀랐다.

(width 이슈로 강제 개행됨)

물론 가엾게 여겨나 thank you very much같은 부분을 살리지 못한 아쉬운 부분이 있지만,

파파고같은 다른 서비스에 비해서 온디바이스라는 큰 이점이 있다.

게다가 1b로 이정도 성능이고, 데이터셋도 충분히 발전할 수 있기에 많은 가능성을 열어준 테스트인 것 같다.

RTX5090에서 3일만에 1b 모델을 이렇게 파인튜닝 시킬 수 있는 것은 놀랍다고 생각한다.

이러한 실험적 테스트를 가능하게 해준 Gcube에 다시 감사의 인사를 전한다.