剛面完估計(jì)涼,趁著還記得寫(xiě)寫(xiě)論文項(xiàng)目實(shí)習(xí)穿插八股llama系列介紹下大模型訓(xùn)練流程說(shuō)下lora介紹下rope為什么都不用正余弦編碼了(感覺(jué)他不滿(mǎn)意,說(shuō)了相對(duì)位置編碼優(yōu)點(diǎn),可學(xué)習(xí)的一些,最后硬說(shuō)效果不好哈哈)為什么要sft,試過(guò)么,調(diào)得什么包,做過(guò)rf么,無(wú)通用的sft和業(yè)務(wù)的sft有什么區(qū)別為什么gpt的少量多語(yǔ)言數(shù)據(jù),多語(yǔ)言能力也很好,如何提高?(說(shuō)了跨語(yǔ)言,多語(yǔ)言對(duì)齊做些nlu翻譯任務(wù)和llama的少量微調(diào),沒(méi)答到他心趴上)對(duì)比學(xué)習(xí)主要難點(diǎn)sft和rf之后哪個(gè)模型的多樣性更好(我說(shuō)rf之后,他說(shuō)不對(duì)反了,我又改口,剛剛搜gpt,gpt和我的觀念和思路一樣??,所以到底是啥)如何提高回答的多樣性(說(shuō)了溫度,數(shù)據(jù),多任務(wù),數(shù)據(jù)加噪,又沒(méi)答到心趴??,我自己覺(jué)得挺對(duì)的)手撕 18,四數(shù)之和,按照三數(shù)之和雙指針寫(xiě)的,最后有點(diǎn)有個(gè)if的判斷條件寫(xiě)錯(cuò)了沒(méi)查到,給了感覺(jué)就20分鐘,就說(shuō)時(shí)間到了,我說(shuō)我馬上就寫(xiě)出來(lái),他說(shuō)但是時(shí)間到了,我說(shuō)我思路肯定沒(méi)問(wèn)題,他說(shuō)先不關(guān)心這些,問(wèn)我有啥要問(wèn)他的知道無(wú)望了就問(wèn)了評(píng)價(jià)一下表現(xiàn),說(shuō)這個(gè)代碼能力是基礎(chǔ)就不用講了(那你也給多我點(diǎn)時(shí)間我找找bug呀,也沒(méi)問(wèn)我寫(xiě)的啥思路),說(shuō)我大模型的了解一般(這個(gè)我認(rèn)可),總得來(lái)說(shuō)體驗(yàn)一般 ,本來(lái)就不太想去哈哈哈對(duì)了,我還問(wèn)他主要做啥,她說(shuō)現(xiàn)在也沒(méi)啥業(yè)務(wù),主要還是整數(shù)據(jù)train basemodel,我說(shuō)那就是進(jìn)去做數(shù)據(jù)工程嘍哈哈,評(píng)價(jià)不如打游戲一小時(shí) #牛客創(chuàng)作賞金賽#