騰訊-混元大模型面經(jīng)-華5碩-主頁內(nèi)tui??騰訊26屆春招提前批/26屆暑期實(shí)習(xí)生/日常實(shí)習(xí)生/25屆補(bǔ)錄招聘啟動(dòng) | 所有專業(yè)類型均有崗位??中國(guó)民營(yíng)企業(yè)500強(qiáng)排行榜第6位【在招崗位】1. 技術(shù)類：軟件開發(fā)、技術(shù)運(yùn)營(yíng)、安全技術(shù)、測(cè)試與質(zhì)量管理、技術(shù)研究、解決方案與服務(wù)、硬件開發(fā)2. 產(chǎn)品類：游戲產(chǎn)品、內(nèi)容制作、通用產(chǎn)品、金融產(chǎn)品、項(xiàng)目管理3. 設(shè)計(jì)類：游戲美術(shù)、平面交互4. 市場(chǎng)類：戰(zhàn)略投資、市場(chǎng)營(yíng)銷、公共關(guān)系、銷售拓展5. 職能類：財(cái)經(jīng)分析、人力資源、法律與公共政策、行政支持【招聘范圍】應(yīng)屆生（24屆、25屆可投）、實(shí)習(xí)生（在校生可投）、青云計(jì)劃（23屆/24屆/25屆博士、24屆/25屆碩士）【網(wǎng)申鏈接】https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw騰訊-混元大模型面經(jīng)-華5碩部門與崗位：TEG - 混元大模型團(tuán)隊(duì) - 大模型對(duì)齊一面自我介紹，過實(shí)習(xí)，講論文，論文過的比較細(xì)，有說的籠統(tǒng)的地方面試官會(huì)實(shí)時(shí)進(jìn)行詢問交流了解哪些大模型，簡(jiǎn)要挑一兩個(gè)介紹一下，當(dāng)時(shí)說了 Qwen 和 DeepSeek，然后面試官又問了這兩個(gè)有什么區(qū)別接著上一問，為什么大家都開始探索 MoE 架構(gòu)，MoE 相比 Dense 有什么好處在之前實(shí)習(xí)的時(shí)候用 LoRA 微調(diào)過 Qwen，于是問了有沒有全量微調(diào)過，有沒有對(duì)比過兩者的性能表現(xiàn)講一下大模型訓(xùn)練和推理的流程，SFT 和 RLHF 的作用分別是什么在 RLHF 中，目前主流的強(qiáng)化學(xué)習(xí)算法有哪幾個(gè)，寫一下?lián)p失函數(shù)的表達(dá)式代碼：22. 括號(hào)生成代碼：多頭自注意力一面問的八股還是比較多的，問的也比較細(xì)，而且還寫了兩道代碼題，整個(gè)面試花的時(shí)間也比較多，大概一個(gè)半小時(shí)左右二面自我介紹，過實(shí)習(xí)和論文，面試官會(huì)一起進(jìn)行探討，包括工作的動(dòng)機(jī)、貢獻(xiàn)和結(jié)果，也會(huì)提一些問題和建議之前實(shí)習(xí)用 DeepSpeed 微調(diào)過 Qwen2-72B，于是面試官問了 ZeRO-1，ZeRO-2，ZeRO-3 三個(gè)模式的區(qū)別當(dāng)時(shí)你用 DeepSpeed ZeRO-3 來微調(diào) Qwen2-72B，每一張卡占用的顯存大概是多少，估算一下為什么是占這么多的顯存除了 DeepSpeed，還用過其他的什么優(yōu)化方法嗎我看你也用到了 LoRA，知道 LoRA 的原理嗎，A 和 B 兩個(gè)矩陣怎么初始化，有了解過其他的初始化方法嗎對(duì) RLHF 了解的多嗎代碼：3. 無重復(fù)字符的最長(zhǎng)子串二面更多的是結(jié)合具體的工作來問的，從用到的東西來引出問題，問的也比較靈活。當(dāng)然因?yàn)椴块T主要是做對(duì)齊的，所以也大概聊了聊 RLHF三面自我介紹，挑一個(gè)覺得做的比較好的論文和實(shí)習(xí)講一下，面試官問的比較詳細(xì)，為什么選現(xiàn)在這種方案，為什么 work，其他方案有考慮嗎在微調(diào) Qwen 的時(shí)候，數(shù)據(jù)是怎么構(gòu)造的，有用到什么數(shù)據(jù)清洗方法嗎，數(shù)據(jù)配比是怎么做的講一下 RLHF 的流程，之前有用 RLHF 做過模型對(duì)齊嗎在做對(duì)齊的時(shí)候，為什么 SFT 之后還要做 RLHF，只用 SFT 可以嗎知道哪些強(qiáng)化學(xué)習(xí)算法，除了 PPO 和 DPO 這些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改進(jìn)開放題：對(duì)目前大模型的發(fā)展有什么看法代碼：零錢的兩個(gè)題 322. 零錢兌換518. 零錢兌換 II三面面試官更聚焦于對(duì)齊這一塊的內(nèi)容，考的比較深。由于之前沒有接觸過強(qiáng)化學(xué)習(xí)，答得還是比較吃力的，不過面試官還挺好的，會(huì)一起討論來做引導(dǎo)四面自我介紹，過論文和實(shí)習(xí)，問的也比較細(xì)，這里能明顯的感受出來面試官的視角更系統(tǒng)，會(huì)把這些工作串起來問我看你簡(jiǎn)歷上沒寫 RLHF，平常有用過 RLHF 嗎推導(dǎo)一下神經(jīng)網(wǎng)絡(luò)反向傳播的過程一道排列組合的概率題開放題：你覺得大模型目前還有哪些可以改進(jìn)的點(diǎn)四面整體更看重思維和基礎(chǔ)，沒有考察什么八股總結(jié)一共四輪技術(shù)面，整體來說強(qiáng)度比較大，對(duì)于大模型八股的考察比較細(xì)，對(duì)大模型的理解問的也比較深刻，包括一些數(shù)理邏輯基礎(chǔ)，考察的比較全面#26屆實(shí)習(xí)##大模型##八股##面經(jīng)##騰訊##內(nèi)推#騰訊-混元大模型面經(jīng)-華5碩-主頁內(nèi)tui騰訊-混元大模型面經(jīng)-華5碩-主頁內(nèi)tui??騰訊26屆春招提前批/26屆暑期實(shí)習(xí)生/日常實(shí)習(xí)生/25屆補(bǔ)錄招聘啟動(dòng) | 所有專業(yè)類型均有崗位??中國(guó)民營(yíng)企業(yè)500強(qiáng)排行榜第6位【在招崗位】1. 技術(shù)類：軟件開發(fā)、技術(shù)運(yùn)營(yíng)、安全技術(shù)、測(cè)試與質(zhì)量管理、技術(shù)研究、解決方案與服務(wù)、硬件開發(fā)2. 產(chǎn)品類：游戲產(chǎn)品、內(nèi)容制作、通用產(chǎn)品、金融產(chǎn)品、項(xiàng)目管理3. 設(shè)計(jì)類：游戲美術(shù)、平面交互4. 市場(chǎng)類：戰(zhàn)略投資、市場(chǎng)營(yíng)銷、公共關(guān)系、銷售拓展5. 職能類：財(cái)經(jīng)分析、人力資源、法律與公共政策、行政支持【招聘范圍】應(yīng)屆生（24屆、25屆可投）、實(shí)習(xí)生（在校生可投）、青云計(jì)劃（23屆/24屆/25屆博士、24屆/25屆碩士）【網(wǎng)申鏈接】https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw騰訊-混元大模型面經(jīng)-華5碩部門與崗位：TEG - 混元大模型團(tuán)隊(duì) - 大模型對(duì)齊一面自我介紹，過實(shí)習(xí)，講論文，論文過的比較細(xì)，有說的籠統(tǒng)的地方面試官會(huì)實(shí)時(shí)進(jìn)行詢問交流了解哪些大模型，簡(jiǎn)要挑一兩個(gè)介紹一下，當(dāng)時(shí)說了 Qwen 和 DeepSeek，然后面試官又問了這兩個(gè)有什么區(qū)別接著上一問，為什么大家都開始探索 MoE 架構(gòu)，MoE 相比 Dense 有什么好處在之前實(shí)習(xí)的時(shí)候用 LoRA 微調(diào)過 Qwen，于是問了有沒有全量微調(diào)過，有沒有對(duì)比過兩者的性能表現(xiàn)講一下大模型訓(xùn)練和推理的流程，SFT 和 RLHF 的作用分別是什么在 RLHF 中，目前主流的強(qiáng)化學(xué)習(xí)算法有哪幾個(gè)，寫一下?lián)p失函數(shù)的表達(dá)式代碼：22. 括號(hào)生成代碼：多頭自注意力一面問的八股還是比較多的，問的也比較細(xì)，而且還寫了兩道代碼題，整個(gè)面試花的時(shí)間也比較多，大概一個(gè)半小時(shí)左右二面自我介紹，過實(shí)習(xí)和論文，面試官會(huì)一起進(jìn)行探討，包括工作的動(dòng)機(jī)、貢獻(xiàn)和結(jié)果，也會(huì)提一些問題和建議之前實(shí)習(xí)用 DeepSpeed 微調(diào)過 Qwen2-72B，于是面試官問了 ZeRO-1，ZeRO-2，ZeRO-3 三個(gè)模式的區(qū)別當(dāng)時(shí)你用 DeepSpeed ZeRO-3 來微調(diào) Qwen2-72B，每一張卡占用的顯存大概是多少，估算一下為什么是占這么多的顯存除了 DeepSpeed，還用過其他的什么優(yōu)化方法嗎我看你也用到了 LoRA，知道 LoRA 的原理嗎，A 和 B 兩個(gè)矩陣怎么初始化，有了解過其他的初始化方法嗎對(duì) RLHF 了解的多嗎代碼：3. 無重復(fù)字符的最長(zhǎng)子串二面更多的是結(jié)合具體的工作來問的，從用到的東西來引出問題，問的也比較靈活。當(dāng)然因?yàn)椴块T主要是做對(duì)齊的，所以也大概聊了聊 RLHF三面自我介紹，挑一個(gè)覺得做的比較好的論文和實(shí)習(xí)講一下，面試官問的比較詳細(xì)，為什么選現(xiàn)在這種方案，為什么 work，其他方案有考慮嗎在微調(diào) Qwen 的時(shí)候，數(shù)據(jù)是怎么構(gòu)造的，有用到什么數(shù)據(jù)清洗方法嗎，數(shù)據(jù)配比是怎么做的講一下 RLHF 的流程，之前有用 RLHF 做過模型對(duì)齊嗎在做對(duì)齊的時(shí)候，為什么 SFT 之后還要做 RLHF，只用 SFT 可以嗎知道哪些強(qiáng)化學(xué)習(xí)算法，除了 PPO 和 DPO 這些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改進(jìn)開放題：對(duì)目前大模型的發(fā)展有什么看法代碼：零錢的兩個(gè)題 322. 零錢兌換518. 零錢兌換 II三面面試官更聚焦于對(duì)齊這一塊的內(nèi)容，考的比較深。由于之前沒有接觸過強(qiáng)化學(xué)習(xí)，答得還是比較吃力的，不過面試官還挺好的，會(huì)一起討論來做引導(dǎo)四面自我介紹，過論文和實(shí)習(xí)，問的也比較細(xì)，這里能明顯的感受出來面試官的視角更系統(tǒng)，會(huì)把這些工作串起來問我看你簡(jiǎn)歷上沒寫 RLHF，平常有用過 RLHF 嗎推導(dǎo)一下神經(jīng)網(wǎng)絡(luò)反向傳播的過程一道排列組合的概率題開放題：你覺得大模型目前還有哪些可以改進(jìn)的點(diǎn)四面整體更看重思維和基礎(chǔ)，沒有考察什么八股總結(jié)一共四輪技術(shù)面，整體來說強(qiáng)度比較大，對(duì)于大模型八股的考察比較細(xì)，對(duì)大模型的理解問的也比較深刻，包括一些數(shù)理邏輯基礎(chǔ)，考察的比較全面#26屆實(shí)習(xí)##大模型##八股##面經(jīng)##騰訊##內(nèi)推#

投遞情況：秋招：騰訊 - 一面掛美團(tuán) - 一面 - 二面掛欣旺達(dá) - 一面 - 二面 - HR面 - oc+offer數(shù)字馬力 - 一面 - 二面(口頭oc+換base，后面直接泡死)同盾科技 - 一面 - 二面 - HR面 - 群面 - oc+offer希望學(xué) - 一面 - 二面 - HR面掛(想要我先實(shí)習(xí)，先發(fā)實(shí)習(xí)offer再發(fā)正式offer)美團(tuán) - 一面掛(當(dāng)時(shí)狀態(tài)不好，面得一坨??)瑞幸咖啡 - 一面 - 二面 - HR面 - 泡死春招：作業(yè)幫 - 一面掛(都回答上來，直接反手掛)深信服 - 一面 - 二面 - HR面 - sp面 - oc+offer(感謝我深信服哥！面試體驗(yàn)也嘎...

??面試公司：鵝廠??面試崗位：后臺(tái)開發(fā)-運(yùn)營(yíng)開發(fā)??面試問題：全程拷打我的deepseek RAG項(xiàng)目說一下存儲(chǔ)引擎的區(qū)別問我平時(shí)主要開發(fā)的語言是什么我說java用的多，但是對(duì)go很感興趣，說了下原因問了go和java的區(qū)別面試官又引領(lǐng)著問了比如說go的導(dǎo)包方式怎么樣，了解嗎，簡(jiǎn)單說了一下如果學(xué)go打算怎么學(xué)說了后端體系差不多，就是框架不同問了linux和dockerlinux常用命令，說用的不多，就問docker了docker的原理，簡(jiǎn)單說了一下容器化技術(shù)無手撕全程40多分鐘反問了一下部門干什么的面試官說偏全棧，主要是云原生這一塊兒，用java也用go問了對(duì)go語言的看法面試官也認(rèn)為這是一個(gè)趨勢(shì)，想法一樣問怎么提升項(xiàng)目經(jīng)驗(yàn)多實(shí)習(xí)，多關(guān)注大模型應(yīng)用相關(guān)的項(xiàng)目，有優(yōu)勢(shì)           ??面試體驗(yàn)：感覺面試官全程引領(lǐng)，體驗(yàn)不錯(cuò)，問了項(xiàng)目中很多AI相關(guān)的東西，八股基本沒問，切實(shí)感覺如果項(xiàng)目有東西的話，面試官是不會(huì)太想問八股的個(gè)人感覺以后項(xiàng)目一個(gè)微服務(wù)一個(gè)大模型應(yīng)用比較好，27屆的，但是鵝廠似乎不只要26屆#牛客AI配圖神器##軟件開發(fā)筆面經(jīng)#

就在前天，我完成我人生第一段實(shí)習(xí)的離職，當(dāng)時(shí)沒有什么過多的觸動(dòng)，有些輕松，也有一點(diǎn)點(diǎn)不舍，我那天很快交接完了材料，給團(tuán)隊(duì)的大家留了小禮物，然后離開了公司。在回到學(xué)校的今天，我又打開工作號(hào)，再點(diǎn)進(jìn)那個(gè)退出但沒刪掉記錄的工作群，我的眼淚卻怎么也止不住了。可能是感受到大家的友善，可能是不舍過去幾個(gè)月一起工作的記憶吧，也可能是發(fā)現(xiàn)從始至終我沒有在這里感受到我進(jìn)入職場(chǎng)前所認(rèn)為職場(chǎng)司空見慣的“嫡系文化”與“勾心斗角”吧，我不太清楚....我只是覺得對(duì)大家的關(guān)懷有點(diǎn)點(diǎn)感觸。這遲鈍的反應(yīng)力，在我離開那里幾百公里以后，給了我心頭猛烈的一擊。#離職# #如果今天是你的last day，你會(huì)怎么度過？#