翻遍各種大模型的實(shí)現(xiàn)，雖然結(jié)構(gòu)上可能保留了 dropout 的實(shí)現(xiàn)，但是采樣概率都設(shè)置為 0 了。唯一一個(gè)比較新的，還用 Dropout 的模型是 Meta 訓(xùn)練的 Galactica 模型。那為什么現(xiàn)在不用了呢？核心還是要弄清楚 Dropout 的使用場(chǎng)景。Dropout 之前在深度學(xué)習(xí)當(dāng)中是一個(gè)特別好用的方法，可以防止過擬合，提高泛化。所以說，當(dāng)模型較大，數(shù)據(jù)較少的時(shí)候，使用 Dropout 是比較合適的。現(xiàn)在大模型處在什么狀態(tài)呢？?預(yù)訓(xùn)練在預(yù)訓(xùn)練階段，目前可能還是處于欠擬合的狀態(tài)。之所以說可能，是基于目前公開的一些論文的出的結(jié)論。但是現(xiàn)在閉源的公司在采用大量數(shù)據(jù)合成的情況下，已經(jīng)訓(xùn)練足夠充分或者接近充分也說不定。以 llama 一系列論文為例，訓(xùn)練 llama 1 的時(shí)候，龍貓 Scaling law 里面提到 GPT3 是一個(gè)訓(xùn)練很不充分的模型。然后給出的數(shù)據(jù)配比的建議是，10B 的模型要采用 200B 的 token 來訓(xùn)練。但是 llama 1 采用了 7B 的模型，訓(xùn)練量 1T 的 token 發(fā)現(xiàn)性能依然有提升。而且預(yù)訓(xùn)練所有的語料一般只過一個(gè) epoch，某些特定的領(lǐng)域可能過 2個(gè) epoch，可以認(rèn)為樣本的重復(fù)率很低。所以，在數(shù)據(jù)足夠多，多樣性足夠而且沒有太多重復(fù)的情況下，大模型在預(yù)訓(xùn)練階段仍然沒有過擬合的風(fēng)險(xiǎn)。也就完全不需要采用 dropout。?Dropout 就完全不需要了么？如果上面的條件不能滿足，Dropout 還是有用武之地的。比如前面提到的 Galactica 模型。這個(gè)模型和其他大模型不太一樣的地方是訓(xùn)練了 4.25 個(gè) epoch，因?yàn)樗麄冋J(rèn)為高質(zhì)量的數(shù)據(jù)更重要一些，但是又沒有那么多，所以就 repeat 數(shù)據(jù)了。在論文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中，詳細(xì)列舉了數(shù)據(jù) Repeat 對(duì)訓(xùn)練 LLM 的影響，并且證明了 Dropout 可以緩解數(shù)據(jù)重復(fù)帶來的性能損失。在文章《Can LLMs learn from a single example?》中，也提到了在 SFT 的時(shí)候，少量的重復(fù)數(shù)據(jù)就會(huì)降低模型的性能。這也符合常理，SFT 的數(shù)據(jù)分布和預(yù)訓(xùn)練的通常是不太一樣的，重復(fù)的數(shù)據(jù)會(huì)讓模型擬合新的分布，從而忘掉舊的分布。文中同樣也提到 Dropout 可以緩解數(shù)據(jù)重復(fù)帶來的影響。所以 Dropout 在數(shù)據(jù)量較少，多樣性不高，需要 repeat 的場(chǎng)景下，依然是一個(gè)減少過擬合的很方便的手段。比如現(xiàn)在已經(jīng)有一些在 LoRA 微調(diào)的時(shí)候采用 Dropout 的研究了。

??杭州小事做好教育科技2024春招啟動(dòng)！ ??30-50W年薪急尋教育新星 | 校長(zhǎng)直面 | 2輪拿offer | 晉升通道全透明 ??【招聘對(duì)象】清北24/25屆畢業(yè)生（專業(yè)不限·無教資要求） ??【崗位方向】中學(xué)文/理教師、競(jìng)賽教練、素質(zhì)教育導(dǎo)師 ??【工作城市】杭/滬/深/寧/湖州/新加坡 ?首年綜合薪資30W+起跳 ?6次年度調(diào)薪+課時(shí)激勵(lì)+校長(zhǎng)儲(chǔ)備計(jì)劃 ?五險(xiǎn)一金+帶薪假期+多重福利 ?快速投遞通道：https://doc.weixin.qq.com/forms/AGUAhwdwACEAc8AvAbeAIgs38W8XhLSwf?page=1 ??【內(nèi)推碼】066

來我辦公室一趟停，往前翻直接說，你干了什么那等于你這周什么都沒做呀你說的這些都是工程問題啊，你解決的科學(xué)問題呢？你的創(chuàng)新點(diǎn)是什么？你還是沒明白我的意思你現(xiàn)在就是這個(gè)領(lǐng)域的專家難道你連這個(gè)故事都講不好嗎不會(huì)的記得問我，不要蠻干……去多看看文獻(xiàn)，別什么都來問我你怎么這么倔，聽不進(jìn)去建議……別我說什么就是什么，我說的就是對(duì)的嗎？你這是從文獻(xiàn)里讀出來的還是拍腦袋的……我說的都是拍腦袋的，你還得多讀讀文獻(xiàn)#一覺醒來，我成論文導(dǎo)師了…#

有沒有牛u遇到過這種情況，就是該實(shí)習(xí)生的崗位招聘，跟你要完簡(jiǎn)歷約了面試后就停止了。然后約的面試也挺離譜，是開了三四個(gè)小時(shí)的tx會(huì)議，給你一個(gè)特定的時(shí)間進(jìn)去。之前有次恒生電子約面，情況和上述類似，我提前進(jìn)了會(huì)議，發(fā)現(xiàn)有其他人在面試.....然后到了特定時(shí)間進(jìn)去面試，面的很簡(jiǎn)單，面完就沒了后續(xù)。。。今天下午開始面試，會(huì)不會(huì)這次也是這樣。。。后續(xù)過幾天更新。。。-----------------------------------------------------------------后續(xù)17分鐘面試結(jié)束，項(xiàng)目沒問，考察的全是基礎(chǔ)，問的問題跳來跳去毫無關(guān)聯(lián)，側(cè)重Spring，SQL語句，...