翻遍各種大模型的實(shí)現(xiàn)，雖然結(jié)構(gòu)上可能保留了 dropout 的實(shí)現(xiàn)，但是采樣概率都設(shè)置為 0 了。唯一一個(gè)比較新的，還用 Dropout 的模型是 Meta 訓(xùn)練的 Galactica 模型。那為什么現(xiàn)在不用了呢？核心還是要弄清楚 Dropout 的使用場景。Dropout 之前在深度學(xué)習(xí)當(dāng)中是一個(gè)特別好用的方法，可以防止過擬合，提高泛化。所以說，當(dāng)模型較大，數(shù)據(jù)較少的時(shí)候，使用 Dropout 是比較合適的。現(xiàn)在大模型處在什么狀態(tài)呢？?預(yù)訓(xùn)練在預(yù)訓(xùn)練階段，目前可能還是處于欠擬合的狀態(tài)。之所以說可能，是基于目前公開的一些論文的出的結(jié)論。但是現(xiàn)在閉源的公司在采用大量數(shù)據(jù)合成的情況下，已經(jīng)訓(xùn)練足夠充分或者接近充分也說不定。以 llama 一系列論文為例，訓(xùn)練 llama 1 的時(shí)候，龍貓 Scaling law 里面提到 GPT3 是一個(gè)訓(xùn)練很不充分的模型。然后給出的數(shù)據(jù)配比的建議是，10B 的模型要采用 200B 的 token 來訓(xùn)練。但是 llama 1 采用了 7B 的模型，訓(xùn)練量 1T 的 token 發(fā)現(xiàn)性能依然有提升。而且預(yù)訓(xùn)練所有的語料一般只過一個(gè) epoch，某些特定的領(lǐng)域可能過 2個(gè) epoch，可以認(rèn)為樣本的重復(fù)率很低。所以，在數(shù)據(jù)足夠多，多樣性足夠而且沒有太多重復(fù)的情況下，大模型在預(yù)訓(xùn)練階段仍然沒有過擬合的風(fēng)險(xiǎn)。也就完全不需要采用 dropout。?Dropout 就完全不需要了么？如果上面的條件不能滿足，Dropout 還是有用武之地的。比如前面提到的 Galactica 模型。這個(gè)模型和其他大模型不太一樣的地方是訓(xùn)練了 4.25 個(gè) epoch，因?yàn)樗麄冋J(rèn)為高質(zhì)量的數(shù)據(jù)更重要一些，但是又沒有那么多，所以就 repeat 數(shù)據(jù)了。在論文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中，詳細(xì)列舉了數(shù)據(jù) Repeat 對訓(xùn)練 LLM 的影響，并且證明了 Dropout 可以緩解數(shù)據(jù)重復(fù)帶來的性能損失。在文章《Can LLMs learn from a single example?》中，也提到了在 SFT 的時(shí)候，少量的重復(fù)數(shù)據(jù)就會降低模型的性能。這也符合常理，SFT 的數(shù)據(jù)分布和預(yù)訓(xùn)練的通常是不太一樣的，重復(fù)的數(shù)據(jù)會讓模型擬合新的分布，從而忘掉舊的分布。文中同樣也提到 Dropout 可以緩解數(shù)據(jù)重復(fù)帶來的影響。所以 Dropout 在數(shù)據(jù)量較少，多樣性不高，需要 repeat 的場景下，依然是一個(gè)減少過擬合的很方便的手段。比如現(xiàn)在已經(jīng)有一些在 LoRA 微調(diào)的時(shí)候采用 Dropout 的研究了。#算法# #簡歷中的項(xiàng)目經(jīng)歷要怎么寫# #算法崗面試# #互聯(lián)網(wǎng)大廠招聘# #大模型# #大模型面經(jīng)#

部門：QQ音樂base地：深圳流程：一面+二面+三面+HR面推進(jìn)速度：非?？?，每一面在一小時(shí)內(nèi)出結(jié)果一面 50min自我介紹論文介紹什么是MHAAttention運(yùn)算公式為什么除以根號dk介紹現(xiàn)有相對位置編碼和絕對位置編碼的異同點(diǎn)，都有哪些結(jié)構(gòu)RoPE的結(jié)構(gòu)RoPE相比于絕對位置編碼的優(yōu)勢是什么？為什么外推性更好？為什么RoPE理論上可以無限外推？RoPE為什么可以利用絕對位置和相對位置的優(yōu)勢？介紹RAG項(xiàng)目（基座模型是什么？幾b ？全參微調(diào)用了多少卡？數(shù)據(jù)多大？問答對的形式有圖片嗎？對RAG的理解是什么？為什么要用RAG？BGE模型的結(jié)構(gòu)什么是LoRA？有個(gè)兩層神經(jīng)網(wǎng)絡(luò)，參數(shù)1萬*一萬，低秩...

自我介紹介紹實(shí)習(xí)背景、方案、困難解決、效果聲紋部分：?聚類任務(wù)的目的是什么?為什么不用有監(jiān)督?框架、模型、自己從頭訓(xùn)還是微調(diào)、spk數(shù)量有多少、標(biāo)簽是真實(shí)標(biāo)注的嗎asr部分：?多學(xué)生交替會出現(xiàn)嗎?sensevoice的結(jié)構(gòu)介紹一下?ctcloss介紹一下?發(fā)射文字的位置在哪?為什么會在中間發(fā)射?非流式的會在哪個(gè)位置發(fā)射比賽部分：?最有效的是哪個(gè)部分?第一名的方案是什么樣的你了解嗎?還有什么思路嗎實(shí)習(xí)時(shí)間反問：?業(yè)務(wù)        是不是都用了大模型?base地#牛客AI配圖神器##我的實(shí)習(xí)日記##語音技術(shù)崗##語音算法##語音算法實(shí)習(xí)##語音算法工程師實(shí)習(xí)#?

時(shí)間：2025/4/22下午3:30, 面試時(shí)長：30分鐘。首先是面試官講解了餓了么數(shù)據(jù)小組的整體情況。問了一下我自己想做的崗位以及未來規(guī)劃。面試采用餓了么專用平臺，寫兩道SQL題，使用窗口函數(shù)即可。關(guān)于數(shù)據(jù)分析中，指標(biāo)的選取，有什么說法？（選取xxx指標(biāo)的依據(jù)是什么？）業(yè)務(wù)題，問題是餓了么平臺在支付寶的訂單下降了，應(yīng)該怎么分析，整個(gè)分析鏈條是怎樣的？問了一下我的項(xiàng)目要解決什么問題，遇到的難點(diǎn)是什么，怎么解決的。