ML
The vLLM has a parameter called max_model_len. If your generated sequence exceeds it, vLLM cuts it off. No warning in the logs, no error raised. Your outputs just lose their tails. I ran DeepSeek-R1-Distill-Qwen-32B at max_model_len=8192 for a week of experiments. This model can generate
ML
TPU v4-64에서 Gemma3 파인튜닝을 위해서 Keras3 대신 MaxText를 새롭게 사용해본 경험을 공유해보고자 한다. GCP에서 TPU Queued Resources를 생성한다. 이후 worker 0 (GCP에서 나오는 TPU ip address)에 ssh를 연결해준다. (앞으로 특별한 말이 없다면 tpu node worker 0에서 실행한다) maxtext를 git에서 clone 해준다. git clone https://github.com/AI-Hypercomputer/maxtext &
ML
이 글은 저번 체험에 대한 후기와 이어진다. RTX5090을 사용해 Gemma3를 튜닝했었는데, 그 결과가 소실된 것을 Gcube 측에서 안타까워 하셔 체험 기회를 한번 더 제공해주셨다. 그래서 RTX5090을 3일 더 사용해볼 수 있게 되었다! 이전과 동일한 환경(Axolotl, torch On docker: ghcr.io/deveworld/gpu-dev)에서 튜닝을 진행했다. 물론 이전과 다른 점은
ML
최근 gcube RTX 5090 체험 테스트에 선정되어 무상으로 체험해보게 되었다. 그 논란의 물량도 얼마 없어 돈이 있어도 구하기 어려운 RTX 5090을, 심지어 무료로 말이다! 게다가 5090뿐만 아니라 4090, 5080도 함께 제공받았다. 모두 현시점에서 가장 성능이 좋은 소비자용 그래픽카드 3종류이다. 메모리가 작고 대역폭 병목을 제외한 성능만 본다면 현존 최고 성능이다. 이들
KorT
한국어 번역 품질 벤치마크 KorT를 출시했습니다! 최근 한강 작가님의 작품이 노벨 문학상을 수상하며 전 세계의 주목을 받았던 일을 기억하시나요? 사실, 상을 수상한 배경 뒤에는 좋은 번역이 있었습니다. 좋은 번역은 단순한 언어 변환을 넘어, 우리의 문화와 이야기를 세계 무대에 성공적으로 선보이는 데 결정적인 역할을 합니다. 이처럼 번역의 중요성은 점점 더 커지고
TPU
최근 구글이 출시한 Gemma3를 TPU Pods에서 파인튜닝해보기 위해 삽질중이다. 이 포스트는 삽질을 정리하기 위해 작성하고 있다. 요약 2025-03-20 gemma-llm으로 시도해보았지만 실패했다. 2025-03-21 Google Deepmind gemma-3 report 팀에 이메일을 보냈다. 답변이 없다 2025-03-22 🤗 Optimum TPU에서 파인튜닝이 되는 것을 확인했다. EasyDeL 프로젝트 또한 사용 가능하다. 2025-03-26 keras-hub에 gemma3가 merged되었다. jax를 백엔드로 keras3를
gemago
최근 AI가 화제입니다. 그러나 온디바이스 AI는 아직까지 많지 않은 편입니다. 외부로 유출되면 안되는 민감한 내용을 포함하면 API를 이용하기 힘들기 때문에 수요는 매우 많음에도 불구하고 말이죠. 특히 제 경우에는 개인정보가 포함된 내용을 번역하는데에서 어려움이 많았습니다. 그래서 저는 Google에서 새로 공개한 Gemma 모델을 활용해 소형 언어 모델의 장점을 최대한 살린 한-영 번역기
블로그 꾸준히 쓰는걸 목표로 삼겠습니다.