面試問題：- （針對簡歷提問）你工作里主要關(guān)注哪些指標？解釋一下AUC含義、計算和作用- 主流的開源大模型結(jié)構(gòu)有哪些？（prefix decoder，casual decoder、encoder-decoder）- 介紹一下layernorm和batchnorm的區(qū)別？- 在機器學(xué)習(xí)里，怎么處理長尾數(shù)據(jù)和多峰數(shù)據(jù)？- 怎么解決模型的冷啟動問題，你覺得LLM在冷啟動方面能夠起到什么作用？- 介紹一下常見的優(yōu)化算法（SGD ->Adagrad ->RMSProp ->Adam -> AdamW）？優(yōu)缺點- 為什么Adam不一定最優(yōu)而SGD最優(yōu)的？怎么理解分析？- （針對簡歷提問）你工作里的對比損失是怎么構(gòu)造的，有什么作用？介紹常見的對比損失的公式。代碼題：- 數(shù)組第K大。給定整數(shù)數(shù)組 nums 和整數(shù) k，請返回數(shù)組中第 k 個最大的元素。（力扣215原題）- 手寫對比損失的計算（結(jié)合項目），并簡單說了一下原理。（大概寫出來就好）二面我這個是交叉面，提問的有部分設(shè)計大模型，也當然我簡歷上有大模型，所以問了一些llm+搜推的內(nèi)容，但這部分交叉問題比較淺，能說個大概就很好，同時也有很多經(jīng)典的機器學(xué)習(xí)面經(jīng)問題。因為項目里提到了對標學(xué)習(xí)，所以面試官在代碼考核部分讓我寫個示例，所以寫進簡歷的一定要準備好（包括流程步驟，代碼實現(xiàn)大概要清楚）。面廣告算法的崗位，機器學(xué)習(xí)面經(jīng)暴率很高，建議熟背，就算是看過有印象，問到的時候也會基本很穩(wěn)。#面試問題記錄#

4.21 投簡歷4.23 約后天一面4.25 一面無手撕，上來先拷打論文，其中有個地方用了rag，面試官問我這里是怎么把文本轉(zhuǎn)換成向量儲存的。(我以為是問我工程上的實現(xiàn)，這是去年做的一個小模塊，回憶了半天細節(jié)，答得支支吾吾，面完了之后結(jié)合下一個問我才意識到其實是問我embedding過程)看我支支吾吾就直接問transformer是怎么把token處理成向量的。transformer的self-attention和cross self-attention區(qū)別在哪里。pre-norm和post-norm的區(qū)別？進一步，為什么現(xiàn)在主流大模型都用post-norm。lora的實現(xiàn)過程。大模型用的Lo...

字節(jié)一面：上來先筆試1.拷打項目2.MoE3.有沒有微調(diào)經(jīng)驗，如何微調(diào)，介紹原理4.RAG5.AI agent6.functioncall感覺拿我刷kpi了??也可能是我沒大廠實習(xí)的原因字節(jié)一面寄百度一面：1.拷打項目2.Blip和blip2區(qū)別3.clip怎么訓(xùn)練的4.chatglm的創(chuàng)新點是什么5.transformer八股6.拷打項目的sam模型7.筆試：開根數(shù)（本人沒準備筆試，用的梯度下降，被狠狠羞辱后想起二分）百度一面過快手一面：1.拷打項目2.拷打blip2和clip3.問了下clip 和blip的一些損失函數(shù)4.拷打transformer5.多模態(tài)如何融合的6.拷打原生大模型7.退火筆試：最小覆蓋子串快手一面過百度二面：和一面基本問題差不多，又格外拷打了vit的一些維度問題，和處理問題筆試：三數(shù)和百度二面過發(fā)了口頭offer，經(jīng)過對比后拒了，all in 快手快手二面：問的情景題：如何做視頻相關(guān)大模型的應(yīng)用，然后依舊拷打項目，感覺快手面試官人都不錯。筆試：鏈表刪除右節(jié)點快手二面過快手hr面：問了問入職時間，和一些基本信息，一共才面了10分鐘左右，給我有點慌，不會日常實習(xí)給我hr面掛了吧????????。我已經(jīng)很牛馬了??更新，老鐵廠oc了~第一份實習(xí)，太難了?? #實習(xí)進度記錄#  #面經(jīng)#  #快手#  #百度#

部門：QQ音樂base地：深圳流程：一面+二面+三面+HR面推進速度：非?？?，每一面在一小時內(nèi)出結(jié)果一面 50min自我介紹論文介紹什么是MHAAttention運算公式為什么除以根號dk介紹現(xiàn)有相對位置編碼和絕對位置編碼的異同點，都有哪些結(jié)構(gòu)RoPE的結(jié)構(gòu)RoPE相比于絕對位置編碼的優(yōu)勢是什么？為什么外推性更好？為什么RoPE理論上可以無限外推？RoPE為什么可以利用絕對位置和相對位置的優(yōu)勢？介紹RAG項目（基座模型是什么？幾b ？全參微調(diào)用了多少卡？數(shù)據(jù)多大？問答對的形式有圖片嗎？對RAG的理解是什么？為什么要用RAG？BGE模型的結(jié)構(gòu)什么是LoRA？有個兩層神經(jīng)網(wǎng)絡(luò)，參數(shù)1萬*一萬，低秩...