最近春招正在如火如荼地進(jìn)行中，看到很多人的簡歷上都包含大模型相關(guān)的工作，各家大廠和初創(chuàng)都很舍得給錢，動(dòng)輒百萬年包也變得不再稀奇。因此在大模型縱橫的這個(gè)時(shí)代，不僅大模型技術(shù)越來越卷，就連大模型相關(guān)的崗位和面試也開始越來越卷了。本文匯總了107道大模型算法崗常見的面試題（含答案），內(nèi)容如下：一、基礎(chǔ)篇1、目前主流的開源模型體系有哪些？Transformer體系：由Google提出的Transformer 模型及其變體，如BERT、GPT 等。PyTorch Lightning：一個(gè)基于PyTorch的輕量級深度學(xué)習(xí)框架，用于快速原型設(shè)計(jì)和實(shí)驗(yàn)。TensorFlow Model Garden：TensorFlow官方提供的一系列預(yù)訓(xùn)練模型和模型架構(gòu)。Hugging Face Transformers：一個(gè)流行的開源庫，提供了大量預(yù)訓(xùn)練模型和工具，用于NLP 任務(wù)。2、prefix LM 和 causal LM 區(qū)別是什么?prefix LM (前綴語言模型)：在輸入序列的開頭添加一個(gè)可學(xué)習(xí)的任務(wù)相關(guān)的前綴，然后使用這個(gè)前綴和輸入序列一起生成輸出。這種方法可以引導(dǎo)模型生成適應(yīng)特定任務(wù)的輸出。causal LM (因果語言模型)：也稱為自回歸語言模型，它根據(jù)之前生成的 token 預(yù)測下一個(gè)token。在生成文本時(shí)，模型只能根據(jù)已經(jīng)生成的部分生成后續(xù)部分，不能訪問未來的信息。3、涌現(xiàn)能力是啥原因?涌現(xiàn)能力 (Emergent Ability) 是指模型在訓(xùn)練過程中突然表現(xiàn)出的新的、之前未曾預(yù)料到的能力。這種現(xiàn)象通常發(fā)生在大型模型中，原因是大型模型具有更高的表示能力和更多的參數(shù)，可以更好地捕捉數(shù)據(jù)中的模式和關(guān)聯(lián)。隨著模型規(guī)模的增加，它們能夠自動(dòng)學(xué)習(xí)到更復(fù)雜、更抽象的概念和規(guī)律，從而展現(xiàn)出涌現(xiàn)能力。4、大模型LLM的架構(gòu)介紹?大模型LLM(Large Language Models) 通常采用基于Transformer的架構(gòu)。Transformer模型由多個(gè)編碼器或解碼器層組成，每個(gè)層包含多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)。這些層可以并行處理輸入序列中的所有位置，捕獲長距離依賴關(guān)系。大模型通常具有數(shù)十億甚至數(shù)千億個(gè)參數(shù)，可以處理大量的文本數(shù)據(jù)，并在各種NLP任務(wù)中表現(xiàn)出色。前饋神經(jīng)網(wǎng)絡(luò) (Feedforward Neural Network) 是一種最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)類型，它的信息流動(dòng)是單向的，從輸入層經(jīng)過一個(gè)或多個(gè)隱藏層，最終到達(dá)輸出層。在前饋神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元之間的連接不會形成閉環(huán)，這意味著信號在前向傳播過程中不會回溯。前饋神經(jīng)網(wǎng)絡(luò)的基本組成單元是神經(jīng)元，每個(gè)神經(jīng)元都會對輸入信號進(jìn)行加權(quán)求和，然后通過一個(gè)激活函數(shù)產(chǎn)生輸出。激活函數(shù)通常是非線性的，它決定了神經(jīng)元的輸出是否應(yīng)該被激活，從而允許網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜和非線性的函數(shù)。前饋神經(jīng)網(wǎng)絡(luò)在模式識別、函數(shù)逼近、分類、回歸等多個(gè)領(lǐng)域都有應(yīng)用。例如，在圖像識別任務(wù)中，網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)可能對應(yīng)于圖像的像素值，而輸出層節(jié)點(diǎn)可能代表不同類別的概率分布。訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)通常涉及反向傳播 (Backpropagation) 算法，這是一種有效的學(xué)習(xí)算法，通過計(jì)算輸出層的誤差，并將這些誤差信號沿網(wǎng)絡(luò)反向傳播，以調(diào)整連接權(quán)重。通過多次迭代這個(gè)過程，網(wǎng)絡(luò)可以逐漸學(xué)習(xí)如何減少輸出誤差，從而實(shí)現(xiàn)對輸入數(shù)據(jù)的正確分類或回歸。在設(shè)計(jì)和訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)時(shí)，需要考慮多個(gè)因素，包括網(wǎng)絡(luò)的層數(shù)、每層的神經(jīng)元數(shù)目、激活函數(shù)的選擇、學(xué)習(xí)速率、正則化策略等，這些都對網(wǎng)絡(luò)的性能有重要影響。5、目前比較受歡迎的開源大模型有哪些?GPT系列：由OpenAl開發(fā)的生成式預(yù)訓(xùn)練模型，如 GPT-3。BERT系列：由Google開發(fā)的轉(zhuǎn)換式預(yù)訓(xùn)練模型，如BERT、RoBERTa等。T5系列：由Google開發(fā)的基于Transformer的編碼器-解碼器模型，如T5、mT5等。6、目前大模型模型結(jié)構(gòu)都有哪些?Transformer：基于自注意力機(jī)制的模型，包括編碼器、解碼器和編碼器-解碼器結(jié)構(gòu)。GPT系列：基于自注意力機(jī)制的生成式預(yù)訓(xùn)練模型，采用解碼器結(jié)構(gòu)。BERT系列：基于自注意力機(jī)制的轉(zhuǎn)換式預(yù)訓(xùn)練模型，采用編碼器結(jié)構(gòu)。T5系列：基于Transformer的編碼器-解碼器模型。7、prefix LM 和 causal LM、encoder-decoder 區(qū)別及各自有什么優(yōu)缺點(diǎn)?prefix LM：通過在輸入序列前添加可學(xué)習(xí)的任務(wù)相關(guān)前綴，引導(dǎo)模型生成適應(yīng)特定任務(wù)的輸 出。優(yōu)點(diǎn)是可以減少對預(yù)訓(xùn)練模型參數(shù)的修改，降低過擬合風(fēng)險(xiǎn)；缺點(diǎn)是可能受到前綴表示長度的限制，無法充分捕捉任務(wù)相關(guān)的信息。causal LM：根據(jù)之前生成的 token預(yù)測下一個(gè) token, 可以生成連貫的文本。優(yōu)點(diǎn)是可以生成靈 活的文本，適應(yīng)各種生成任務(wù)；缺點(diǎn)是無法訪問未來的信息，可能生成不一致或有誤的內(nèi)容。encoder-decoder：由編碼器和解碼器組成，編碼器將輸入序列編碼為固定長度的向量，解碼器 根據(jù)編碼器的輸出生成輸出序列。優(yōu)點(diǎn)是可以處理輸入和輸出序列不同長度的任務(wù)，如機(jī)器翻譯；缺點(diǎn)是模型結(jié)構(gòu)較為復(fù)雜，訓(xùn)練和推理計(jì)算量較大。8、模型幻覺是什么?業(yè)內(nèi)解決方案是什么?模型幻覺是指模型在生成文本時(shí)產(chǎn)生的不準(zhǔn)確、無關(guān)或虛構(gòu)的信息。這通常發(fā)生在模型在缺乏足夠信息的情況下進(jìn)行推理或生成時(shí)。業(yè)內(nèi)的解決方案包括：使用更多的數(shù)據(jù)和更高質(zhì)量的訓(xùn)練數(shù)據(jù)來提高模型的泛化和準(zhǔn)確性。引入外部知識源，如知識庫或事實(shí)檢查工具，以提供額外的信息和支持。強(qiáng)化模型的推理能力和邏輯推理，使其能夠更好地處理復(fù)雜問題和避免幻覺。9、大模型的Tokenizer的實(shí)現(xiàn)方法及原理?大模型的Tokenizer通常使用字節(jié)對編碼 (Byte-Pair Encoding,BPE) 算法。BPE算法通過迭代地將最頻繁出現(xiàn)的字節(jié)對合并成新的符號，來構(gòu)建一個(gè)詞匯表。在訓(xùn)練過程中，模型會學(xué)習(xí)這些符號的嵌入表示。Tokenizer將輸入文本分割成符號序列，然后將其轉(zhuǎn)換為模型可以處理的數(shù)字表示。這種方法可以有效地處理大量文本數(shù)據(jù)，并減少詞匯表的規(guī)模。10、ChatGLM3的詞表實(shí)現(xiàn)方法?ChatGLM3 使用了一種改進(jìn)的詞表實(shí)現(xiàn)方法。它首先使用字節(jié)對編碼 (BPE) 算法構(gòu)建一個(gè)基本的詞表，然后在訓(xùn)練過程中通過不斷更新詞表來引入新的詞匯。具體來說，ChatGLM3 在訓(xùn)練 過程中會根據(jù)輸入數(shù)據(jù)動(dòng)態(tài)地合并出現(xiàn)頻率較高的字節(jié)對，從而形成新的詞匯。這樣可以有效地處理大量文本數(shù)據(jù)，并減少詞匯表的規(guī)模。同時(shí)，ChatGLM3 還使用了一種特殊的詞表分割方法，將詞表分為多個(gè)片段，并在訓(xùn)練過程中逐步更新這些片段，以提高模型的泛化能力和適應(yīng)性。11、GPT3、LLAMA、ChatGLM 的 Layer Normalization 的區(qū)別是什么?各自的優(yōu)缺點(diǎn)是什么?GPT3：采用了Post-Layer Normalization (后標(biāo)準(zhǔn)化)的結(jié)構(gòu)，即先進(jìn)行自注意力或前饋神經(jīng)網(wǎng)絡(luò)的計(jì)算，然后進(jìn)行Layer Normalization。這種結(jié)構(gòu)有助于穩(wěn)定訓(xùn)練過程，提高模型性能。LLAMA：采用了Pre-Layer Normalization (前標(biāo)準(zhǔn)化)的結(jié)構(gòu)，即先進(jìn)行Layer Normalization,然后進(jìn)行自注意力或前饋神經(jīng)網(wǎng)絡(luò)的計(jì)算。這種結(jié)構(gòu)有助于提高模型的泛化能力和魯棒性。ChatGLM：采用了Post-Layer Normalization的結(jié)構(gòu)，類似于GPT3。這種結(jié)構(gòu)可以提高模型的性能和穩(wěn)定性。#五一之后，實(shí)習(xí)真的很難找嗎？##面試##實(shí)習(xí)##大模型##碩士##研究生#
?？?09130932號：same，我當(dāng)時(shí)有些拿了oc被收回，也有領(lǐng)導(dǎo)去努力爭取還是沒法的。建議拿到offer后直接和HR溝通讓領(lǐng)導(dǎo)批，畢竟不可能瞞過去的。一般公司都有招殘疾人指標(biāo)，而且大廠對這些要寬容一些。只能說祝好運(yùn)，有實(shí)力拿大廠offer這些都是小問題，總能有地方去的
查看29道真題和解析
拼多多集團(tuán)-PDD三面234人在聊