自我介紹項目deepspeed zero 的三個狀態(tài)？1b 的模型需要多少顯存？16G。模型2g,梯度2g，優(yōu)化器狀態(tài)4g+4g(以adam為例，一階動量32位和二階動量32位)。如果有32位的模型參數(shù)的備份，就還有4g。一共2+2+4+4+4=16g。adam 優(yōu)化器的形式？Adam優(yōu)化器中：一階矩估計：用于引入動量，使參數(shù)更新具有“慣性”，加速收斂，同時平滑梯度，減少噪聲影響，讓參數(shù)更新更穩(wěn)定。二階矩估計：通過衡量梯度方差，自適應(yīng)調(diào)整各參數(shù)維度的學(xué)習(xí)率，使不同維度都能以合適速度更新，還能有效處理稀疏梯度問題。dpo ppo grpo的區(qū)別？為什么用llava 不用qwen-vl？在圖文檢索...