騰訊-混元大模型面經(jīng)-華5碩-主頁(yè)內(nèi)tui??騰訊26屆春招提前批/26屆暑期實(shí)習(xí)生/日常實(shí)習(xí)生/25屆補(bǔ)錄招聘啟動(dòng) | 所有專(zhuān)業(yè)類(lèi)型均有崗位??中國(guó)民營(yíng)企業(yè)500強(qiáng)排行榜第6位【在招崗位】1. 技術(shù)類(lèi)：軟件開(kāi)發(fā)、技術(shù)運(yùn)營(yíng)、安全技術(shù)、測(cè)試與質(zhì)量管理、技術(shù)研究、解決方案與服務(wù)、硬件開(kāi)發(fā)2. 產(chǎn)品類(lèi)：游戲產(chǎn)品、內(nèi)容制作、通用產(chǎn)品、金融產(chǎn)品、項(xiàng)目管理3. 設(shè)計(jì)類(lèi)：游戲美術(shù)、平面交互4. 市場(chǎng)類(lèi)：戰(zhàn)略投資、市場(chǎng)營(yíng)銷(xiāo)、公共關(guān)系、銷(xiāo)售拓展5. 職能類(lèi)：財(cái)經(jīng)分析、人力資源、法律與公共政策、行政支持【招聘范圍】應(yīng)屆生（24屆、25屆可投）、實(shí)習(xí)生（在校生可投）、青云計(jì)劃（23屆/24屆/25屆博士、24屆/25屆碩士）【網(wǎng)申鏈接】https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw騰訊-混元大模型面經(jīng)-華5碩部門(mén)與崗位：TEG - 混元大模型團(tuán)隊(duì) - 大模型對(duì)齊一面自我介紹，過(guò)實(shí)習(xí)，講論文，論文過(guò)的比較細(xì)，有說(shuō)的籠統(tǒng)的地方面試官會(huì)實(shí)時(shí)進(jìn)行詢(xún)問(wèn)交流了解哪些大模型，簡(jiǎn)要挑一兩個(gè)介紹一下，當(dāng)時(shí)說(shuō)了 Qwen 和 DeepSeek，然后面試官又問(wèn)了這兩個(gè)有什么區(qū)別接著上一問(wèn)，為什么大家都開(kāi)始探索 MoE 架構(gòu)，MoE 相比 Dense 有什么好處在之前實(shí)習(xí)的時(shí)候用 LoRA 微調(diào)過(guò) Qwen，于是問(wèn)了有沒(méi)有全量微調(diào)過(guò)，有沒(méi)有對(duì)比過(guò)兩者的性能表現(xiàn)講一下大模型訓(xùn)練和推理的流程，SFT 和 RLHF 的作用分別是什么在 RLHF 中，目前主流的強(qiáng)化學(xué)習(xí)算法有哪幾個(gè)，寫(xiě)一下?lián)p失函數(shù)的表達(dá)式代碼：22. 括號(hào)生成代碼：多頭自注意力一面問(wèn)的八股還是比較多的，問(wèn)的也比較細(xì)，而且還寫(xiě)了兩道代碼題，整個(gè)面試花的時(shí)間也比較多，大概一個(gè)半小時(shí)左右二面自我介紹，過(guò)實(shí)習(xí)和論文，面試官會(huì)一起進(jìn)行探討，包括工作的動(dòng)機(jī)、貢獻(xiàn)和結(jié)果，也會(huì)提一些問(wèn)題和建議之前實(shí)習(xí)用 DeepSpeed 微調(diào)過(guò) Qwen2-72B，于是面試官問(wèn)了 ZeRO-1，ZeRO-2，ZeRO-3 三個(gè)模式的區(qū)別當(dāng)時(shí)你用 DeepSpeed ZeRO-3 來(lái)微調(diào) Qwen2-72B，每一張卡占用的顯存大概是多少，估算一下為什么是占這么多的顯存除了 DeepSpeed，還用過(guò)其他的什么優(yōu)化方法嗎我看你也用到了 LoRA，知道 LoRA 的原理嗎，A 和 B 兩個(gè)矩陣怎么初始化，有了解過(guò)其他的初始化方法嗎對(duì) RLHF 了解的多嗎代碼：3. 無(wú)重復(fù)字符的最長(zhǎng)子串二面更多的是結(jié)合具體的工作來(lái)問(wèn)的，從用到的東西來(lái)引出問(wèn)題，問(wèn)的也比較靈活。當(dāng)然因?yàn)椴块T(mén)主要是做對(duì)齊的，所以也大概聊了聊 RLHF三面自我介紹，挑一個(gè)覺(jué)得做的比較好的論文和實(shí)習(xí)講一下，面試官問(wèn)的比較詳細(xì)，為什么選現(xiàn)在這種方案，為什么 work，其他方案有考慮嗎在微調(diào) Qwen 的時(shí)候，數(shù)據(jù)是怎么構(gòu)造的，有用到什么數(shù)據(jù)清洗方法嗎，數(shù)據(jù)配比是怎么做的講一下 RLHF 的流程，之前有用 RLHF 做過(guò)模型對(duì)齊嗎在做對(duì)齊的時(shí)候，為什么 SFT 之后還要做 RLHF，只用 SFT 可以嗎知道哪些強(qiáng)化學(xué)習(xí)算法，除了 PPO 和 DPO 這些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改進(jìn)開(kāi)放題：對(duì)目前大模型的發(fā)展有什么看法代碼：零錢(qián)的兩個(gè)題 322. 零錢(qián)兌換518. 零錢(qián)兌換 II三面面試官更聚焦于對(duì)齊這一塊的內(nèi)容，考的比較深。由于之前沒(méi)有接觸過(guò)強(qiáng)化學(xué)習(xí)，答得還是比較吃力的，不過(guò)面試官還挺好的，會(huì)一起討論來(lái)做引導(dǎo)四面自我介紹，過(guò)論文和實(shí)習(xí)，問(wèn)的也比較細(xì)，這里能明顯的感受出來(lái)面試官的視角更系統(tǒng)，會(huì)把這些工作串起來(lái)問(wèn)我看你簡(jiǎn)歷上沒(méi)寫(xiě) RLHF，平常有用過(guò) RLHF 嗎推導(dǎo)一下神經(jīng)網(wǎng)絡(luò)反向傳播的過(guò)程一道排列組合的概率題開(kāi)放題：你覺(jué)得大模型目前還有哪些可以改進(jìn)的點(diǎn)四面整體更看重思維和基礎(chǔ)，沒(méi)有考察什么八股總結(jié)一共四輪技術(shù)面，整體來(lái)說(shuō)強(qiáng)度比較大，對(duì)于大模型八股的考察比較細(xì)，對(duì)大模型的理解問(wèn)的也比較深刻，包括一些數(shù)理邏輯基礎(chǔ)，考察的比較全面#26屆實(shí)習(xí)##大模型##八股##面經(jīng)##騰訊##內(nèi)推#騰訊-混元大模型面經(jīng)-華5碩-主頁(yè)內(nèi)tui騰訊-混元大模型面經(jīng)-華5碩-主頁(yè)內(nèi)tui??騰訊26屆春招提前批/26屆暑期實(shí)習(xí)生/日常實(shí)習(xí)生/25屆補(bǔ)錄招聘啟動(dòng) | 所有專(zhuān)業(yè)類(lèi)型均有崗位??中國(guó)民營(yíng)企業(yè)500強(qiáng)排行榜第6位【在招崗位】1. 技術(shù)類(lèi)：軟件開(kāi)發(fā)、技術(shù)運(yùn)營(yíng)、安全技術(shù)、測(cè)試與質(zhì)量管理、技術(shù)研究、解決方案與服務(wù)、硬件開(kāi)發(fā)2. 產(chǎn)品類(lèi)：游戲產(chǎn)品、內(nèi)容制作、通用產(chǎn)品、金融產(chǎn)品、項(xiàng)目管理3. 設(shè)計(jì)類(lèi)：游戲美術(shù)、平面交互4. 市場(chǎng)類(lèi)：戰(zhàn)略投資、市場(chǎng)營(yíng)銷(xiāo)、公共關(guān)系、銷(xiāo)售拓展5. 職能類(lèi)：財(cái)經(jīng)分析、人力資源、法律與公共政策、行政支持【招聘范圍】應(yīng)屆生（24屆、25屆可投）、實(shí)習(xí)生（在校生可投）、青云計(jì)劃（23屆/24屆/25屆博士、24屆/25屆碩士）【網(wǎng)申鏈接】https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw騰訊-混元大模型面經(jīng)-華5碩部門(mén)與崗位：TEG - 混元大模型團(tuán)隊(duì) - 大模型對(duì)齊一面自我介紹，過(guò)實(shí)習(xí)，講論文，論文過(guò)的比較細(xì)，有說(shuō)的籠統(tǒng)的地方面試官會(huì)實(shí)時(shí)進(jìn)行詢(xún)問(wèn)交流了解哪些大模型，簡(jiǎn)要挑一兩個(gè)介紹一下，當(dāng)時(shí)說(shuō)了 Qwen 和 DeepSeek，然后面試官又問(wèn)了這兩個(gè)有什么區(qū)別接著上一問(wèn)，為什么大家都開(kāi)始探索 MoE 架構(gòu)，MoE 相比 Dense 有什么好處在之前實(shí)習(xí)的時(shí)候用 LoRA 微調(diào)過(guò) Qwen，于是問(wèn)了有沒(méi)有全量微調(diào)過(guò)，有沒(méi)有對(duì)比過(guò)兩者的性能表現(xiàn)講一下大模型訓(xùn)練和推理的流程，SFT 和 RLHF 的作用分別是什么在 RLHF 中，目前主流的強(qiáng)化學(xué)習(xí)算法有哪幾個(gè)，寫(xiě)一下?lián)p失函數(shù)的表達(dá)式代碼：22. 括號(hào)生成代碼：多頭自注意力一面問(wèn)的八股還是比較多的，問(wèn)的也比較細(xì)，而且還寫(xiě)了兩道代碼題，整個(gè)面試花的時(shí)間也比較多，大概一個(gè)半小時(shí)左右二面自我介紹，過(guò)實(shí)習(xí)和論文，面試官會(huì)一起進(jìn)行探討，包括工作的動(dòng)機(jī)、貢獻(xiàn)和結(jié)果，也會(huì)提一些問(wèn)題和建議之前實(shí)習(xí)用 DeepSpeed 微調(diào)過(guò) Qwen2-72B，于是面試官問(wèn)了 ZeRO-1，ZeRO-2，ZeRO-3 三個(gè)模式的區(qū)別當(dāng)時(shí)你用 DeepSpeed ZeRO-3 來(lái)微調(diào) Qwen2-72B，每一張卡占用的顯存大概是多少，估算一下為什么是占這么多的顯存除了 DeepSpeed，還用過(guò)其他的什么優(yōu)化方法嗎我看你也用到了 LoRA，知道 LoRA 的原理嗎，A 和 B 兩個(gè)矩陣怎么初始化，有了解過(guò)其他的初始化方法嗎對(duì) RLHF 了解的多嗎代碼：3. 無(wú)重復(fù)字符的最長(zhǎng)子串二面更多的是結(jié)合具體的工作來(lái)問(wèn)的，從用到的東西來(lái)引出問(wèn)題，問(wèn)的也比較靈活。當(dāng)然因?yàn)椴块T(mén)主要是做對(duì)齊的，所以也大概聊了聊 RLHF三面自我介紹，挑一個(gè)覺(jué)得做的比較好的論文和實(shí)習(xí)講一下，面試官問(wèn)的比較詳細(xì)，為什么選現(xiàn)在這種方案，為什么 work，其他方案有考慮嗎在微調(diào) Qwen 的時(shí)候，數(shù)據(jù)是怎么構(gòu)造的，有用到什么數(shù)據(jù)清洗方法嗎，數(shù)據(jù)配比是怎么做的講一下 RLHF 的流程，之前有用 RLHF 做過(guò)模型對(duì)齊嗎在做對(duì)齊的時(shí)候，為什么 SFT 之后還要做 RLHF，只用 SFT 可以嗎知道哪些強(qiáng)化學(xué)習(xí)算法，除了 PPO 和 DPO 這些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改進(jìn)開(kāi)放題：對(duì)目前大模型的發(fā)展有什么看法代碼：零錢(qián)的兩個(gè)題 322. 零錢(qián)兌換518. 零錢(qián)兌換 II三面面試官更聚焦于對(duì)齊這一塊的內(nèi)容，考的比較深。由于之前沒(méi)有接觸過(guò)強(qiáng)化學(xué)習(xí)，答得還是比較吃力的，不過(guò)面試官還挺好的，會(huì)一起討論來(lái)做引導(dǎo)四面自我介紹，過(guò)論文和實(shí)習(xí)，問(wèn)的也比較細(xì)，這里能明顯的感受出來(lái)面試官的視角更系統(tǒng)，會(huì)把這些工作串起來(lái)問(wèn)我看你簡(jiǎn)歷上沒(méi)寫(xiě) RLHF，平常有用過(guò) RLHF 嗎推導(dǎo)一下神經(jīng)網(wǎng)絡(luò)反向傳播的過(guò)程一道排列組合的概率題開(kāi)放題：你覺(jué)得大模型目前還有哪些可以改進(jìn)的點(diǎn)四面整體更看重思維和基礎(chǔ)，沒(méi)有考察什么八股總結(jié)一共四輪技術(shù)面，整體來(lái)說(shuō)強(qiáng)度比較大，對(duì)于大模型八股的考察比較細(xì)，對(duì)大模型的理解問(wèn)的也比較深刻，包括一些數(shù)理邏輯基礎(chǔ)，考察的比較全面#26屆實(shí)習(xí)##大模型##八股##面經(jīng)##騰訊##內(nèi)推#

2025-04-09 20:57 網(wǎng)申投遞簡(jiǎn)歷4-21 一面 http://fangfengwang8.cn/feed/main/detail/ffbadb65eb5e47d392e6ea419ad38fcb?sourceSSR=users，其實(shí)一直在推進(jìn)度，只是我還有別的面試流程4-23 二面 http://fangfengwang8.cn/feed/main/detail/265157a02c384eb6aef47d2b3d50fed04-24上午 HR面 http://fangfengwang8.cn/feed/main/detail/5a16b58cb1cc431b811763a...

問(wèn)問(wèn)大家怎么看這2個(gè)暑期實(shí)習(xí)崗更好，有了解轉(zhuǎn)正率之類(lèi)的嗎#?？虯I配圖神器#

我好像就是那種看見(jiàn)別人發(fā)光，就覺(jué)得自己暗淡的人。從小我就喜歡給自己制造一些假想敵，跟人比成績(jī)、跟人比受歡迎程度、跟人比競(jìng)賽獎(jiǎng)項(xiàng)。所以，我一直不敢真正意義上的躺平，我就是那種在玩的時(shí)候都會(huì)想著學(xué)習(xí)、工作的無(wú)聊的人。這種付出=回報(bào)的機(jī)制，在校園相對(duì)單純的環(huán)境里，是能夠運(yùn)行下去的，所以我一路上重點(diǎn)，卷上top。一次次的成功，讓我更加對(duì)這個(gè)等式深信不疑。到了社會(huì)，個(gè)人的努力依舊重要，但更多是許多人力所不能及的因素。于是我頻頻受挫，當(dāng)然我也會(huì)去分析復(fù)盤(pán)，但“責(zé)備自己是最容易的生存方式”，于是越來(lái)越痛苦。我會(huì)對(duì)著朋友崩潰大哭，“我感覺(jué)一點(diǎn)也沒(méi)成長(zhǎng)，我落后了”。朋友問(wèn)“你跟誰(shuí)比的??？”。對(duì)啊，我到底和誰(shuí)在比...