03-24 15:25 華東師范大學(xué) 算法工程師 發(fā)布于上海
關(guān)注
螞蟻一面被拷打
1.DeepSpeed Zero(123)
2.流水線并行
3.顯存中模型參數(shù)，梯度，優(yōu)化器參數(shù)的比例
4.混合精度，在模型訓(xùn)練的過(guò)程中混合精度的變化過(guò)程
5.流水線并行的時(shí)候氣泡現(xiàn)象
6.介紹PPO，DPO，GRPO
7.Prompt設(shè)計(jì)
8.模型重復(fù)輸出應(yīng)該如何解決
9.TopK,TopP,Temperature
10.介紹Encode結(jié)構(gòu)
11.有哪些位置編碼
12.RoPE如何實(shí)現(xiàn)
13.DeepSeek的注意力機(jī)制MLA
14.DeepSeek的混合專家模型MoE
15.模型的外推性
16.Layer normalization在前面和在后面的區(qū)別和優(yōu)缺點(diǎn)
17.Batch norm相比Layer norm
18.RMS norm為啥去掉減去均值的步驟也可以有效？
19.word embedding
20.有哪些高效微調(diào)的方法
21.了解QWQ模型嗎
2.流水線并行
3.顯存中模型參數(shù)，梯度，優(yōu)化器參數(shù)的比例
4.混合精度，在模型訓(xùn)練的過(guò)程中混合精度的變化過(guò)程
5.流水線并行的時(shí)候氣泡現(xiàn)象
6.介紹PPO，DPO，GRPO
7.Prompt設(shè)計(jì)
8.模型重復(fù)輸出應(yīng)該如何解決
9.TopK,TopP,Temperature
10.介紹Encode結(jié)構(gòu)
11.有哪些位置編碼
12.RoPE如何實(shí)現(xiàn)
13.DeepSeek的注意力機(jī)制MLA
14.DeepSeek的混合專家模型MoE
15.模型的外推性
16.Layer normalization在前面和在后面的區(qū)別和優(yōu)缺點(diǎn)
17.Batch norm相比Layer norm
18.RMS norm為啥去掉減去均值的步驟也可以有效？
19.word embedding
20.有哪些高效微調(diào)的方法
21.了解QWQ模型嗎
全部評(píng)論
相關(guān)推薦
創(chuàng)作發(fā)文得獎(jiǎng)勵(lì)：bro 寫(xiě)的真好，這就搖讓人給你捧場(chǎng)
查看圖片
字節(jié)跳動(dòng)公司福利 900人發(fā)布 點(diǎn)贊 評(píng)論 收藏
分享
Stan_蹣跚者：確很厲害，但是有一個(gè)小問(wèn)題：誰(shuí)問(wèn)你了？我的意思是，誰(shuí)在意？我告訴你，根本沒(méi)人問(wèn)你，在我們之中0人問(wèn)了你，我把所有問(wèn)你的人都請(qǐng)來(lái) party 了，到場(chǎng)人數(shù)是0個(gè)人，誰(shuí)問(wèn)你了？WHO ASKED？誰(shuí)問(wèn)汝矣？誰(shuí)があなたに聞きましたか？?? ????？我爬上了珠穆朗瑪峰也沒(méi)找到誰(shuí)問(wèn)你了，我剛剛潛入了世界上最大的射電望遠(yuǎn)鏡也沒(méi)開(kāi)到那個(gè)問(wèn)你的人的盒，在找到誰(shuí)問(wèn)你之前我連癌癥的解藥都發(fā)明了出來(lái)，我開(kāi)了最大距離渲染也沒(méi)找到誰(shuí)問(wèn)你了我活在這個(gè)被輻射蹂躪了多年的破碎世界的墳?zāi)估锬慷萌蚝藨?zhàn)爭(zhēng)把人類文明毀滅也沒(méi)見(jiàn)到誰(shuí)問(wèn)你了
點(diǎn)贊 評(píng)論 收藏
分享
03-29 17:59
門(mén)頭溝學(xué)院 大數(shù)據(jù)開(kāi)發(fā)工程師 
?？?65593684號(hào)：假的，字節(jié)hr都是不會(huì)找你內(nèi)推的，直接就是同學(xué)我們約個(gè)面試？他們有權(quán)限直接撈你的。 點(diǎn)贊 評(píng)論 收藏
分享
05-06 08:51
華北理工大學(xué) 后端 
求面試求offer啊啊啊啊：把華北改為華南再試一試，應(yīng)該就沒(méi)啥問(wèn)題了。改完可能都不用投，別人主動(dòng)聯(lián)系了。
點(diǎn)贊 評(píng)論 收藏
分享
弦五Strings：第二個(gè)我可以
ai做完cv 點(diǎn)贊 評(píng)論 收藏
分享