MoE

NVIDIAのオープンモデル「Nemotron3」は、なぜ“nano”と呼ばれながら24GBもの容量を持つのか。MoE（Mixture of Experts）という設計思想と、Denseモデルを選ばなかった理由から、NVIDIAのAI戦略と時代背景を読み解く。