bg  雙非院校 一個(gè)大模型方向B會 一段中廠實(shí)習(xí)新能源車企 多模態(tài) agent方向，涉及workflow，sft，rlhf百度某搜廣推組 使用llm做純文本 query個(gè)性化 改寫，涉及sft，rlhf主要區(qū)別：一個(gè)是做大模型產(chǎn)品的，一個(gè)是大模型作為手段來為搜廣推服務(wù)，但工作內(nèi)容是做大模型。本人還是傾向于秋招找大模型的工作，這兩個(gè)實(shí)習(xí)應(yīng)該如何選擇？#求助offer選擇# #offer# #大廠offer[話題]#

結(jié)合最近輔助修改的簡歷及項(xiàng)目，老師總結(jié)了部分大模型微調(diào)簡歷的踩雷點(diǎn)。???♂?錯(cuò)誤示范：在 x任務(wù)中，獲取 xxx 條數(shù)據(jù)，通過規(guī)則 or 腳本清洗出 x 條數(shù)據(jù)，然后微調(diào) y 大模型，在業(yè)務(wù)上提升 x 個(gè)點(diǎn)。???原因:大模型微調(diào)的平臺是現(xiàn)成的，基模是現(xiàn)成的，體現(xiàn)不出核心能力。?應(yīng)該怎么寫？首先介紹業(yè)務(wù)背景：業(yè)務(wù)是一個(gè)銷售對話業(yè)務(wù)，機(jī)器人是銷售，代替真人，直接面對用戶。我們會給模型設(shè)定任務(wù)，任務(wù)是 prompt 。步驟1??．提取訓(xùn)練數(shù)據(jù)問題：1.真人通話每通電話任務(wù)是未知的，我們訓(xùn)練數(shù)據(jù)是任務(wù)＋通話的 pair 對。2.真人通話很亂，與客戶的對話是各種交叉的，導(dǎo)致 asr 后并不是一人一輪。解決方案：1.首先通過大模型 prompt 對該通電話提取任務(wù)，得到任務(wù)＋ pair 對。需要用到 cot + reflection ＋多 Ilm 一致性+ debating 的模式。2.使用大模型根據(jù)以上任務(wù)和真人對話，讓大模型編寫出通話內(nèi)容。提問，為什么要編寫而不是直接用？步驟2??．制定訓(xùn)練數(shù)據(jù)集問題：1、正常的對話內(nèi)容，前面幾句和后面幾句基本上一致的。都是問候和拜拜，但是也有一些差異。2、因?yàn)槎际窍嗨茍鼍?，雖然任務(wù)不同，但是很多場景語義很相似。解決方案：1、基于輪次的權(quán)重采樣：通過輪次設(shè)定權(quán)重進(jìn)行 weighting sample 。解決問候和拜拜的高占比問題。2、基于語義的采樣：使用 bert 對對話內(nèi)容進(jìn)行 embedding ，然后使用層次聚類通過調(diào)節(jié)閾值聚類出相似語義的類。對一個(gè)類里的樣本進(jìn)行隨機(jī)采樣，提問，為什么要對重復(fù)語義的數(shù)據(jù)進(jìn)行下采樣？3、基于客戶類型和產(chǎn)品的采樣，因?yàn)楹芏喈a(chǎn)品是熱品，導(dǎo)致對話內(nèi)容有偏，用戶類型一樣，需按照類型調(diào)整整體比例采樣。提問，為什么要這么采樣？步驟3??．制定訓(xùn)練數(shù)據(jù)集我們直接把輸出當(dāng)作 target 進(jìn)行訓(xùn)練。使用的 lora 訓(xùn)練，但是 lora alpha 設(shè)定成為4倍的時(shí)候達(dá)到了比較好的效果，經(jīng)驗(yàn)值不同任務(wù)不一樣，提問，在各種情況下要怎么調(diào)？步驟4??.dpo訓(xùn)練問題：v1版本訓(xùn)練時(shí)，很多輸出內(nèi)容是對的，但是輸出的語氣不太像真人，機(jī)器人味還是很嚴(yán)重。解決方案：由于訓(xùn)練本身是有 ground truth 的，因此使用v1訓(xùn)練的模型，預(yù)測訓(xùn)練集，使用大模型對比兩者語氣不符合訓(xùn)練集的拿出來，使用訓(xùn)練集的 ground truth 和模型的預(yù)測數(shù)據(jù)作為 dpo 訓(xùn)練對，對v1版本模型重新訓(xùn)練。??這里老師只是簡要進(jìn)行概括解答，具體情況和詳細(xì)解答可以咨詢輔導(dǎo)，如果想了解項(xiàng)目輔導(dǎo)，提升面試能力，歡迎后臺聯(lián)系。#算法# #簡歷中的項(xiàng)目經(jīng)歷要怎么寫# #算法崗面試# #互聯(lián)網(wǎng)大廠招聘#

#機(jī)器人#  #實(shí)習(xí)#  #秋招#  #自動駕駛#

今天老師整理了大模型入門的幾個(gè)學(xué)習(xí)步驟、目標(biāo)和需要掌握的基礎(chǔ)知識，供初學(xué)者快速掌握基本路徑。1??前置知識： Python 基礎(chǔ)、 Linux 基礎(chǔ)??學(xué)習(xí)內(nèi)容1.熟練掌握 Python 語言，熟悉常用的Python 庫和工具，如 NumPy 、 Pandas 、  Scikit - learn 、 PyTorch 等。2.具備 NLP 相關(guān)的基礎(chǔ)知識，包括文本預(yù)處理、分詞、詞性標(biāo)注等。3.對大模型有一定了解，包括Transformer 模型的結(jié)構(gòu)和原理、基于注意力機(jī)制的自然語言處理技術(shù)等。2??Step1:NLP相關(guān)基礎(chǔ)知識??學(xué)習(xí)內(nèi)容1.了解文本預(yù)處理、分詞、詞性標(biāo)注、命名實(shí)體識別、詞向量表示等基礎(chǔ)知識。2.掌握機(jī)器學(xué)習(xí)中的數(shù)據(jù)預(yù)處理、特征提取、分類、回歸等基礎(chǔ)算法，并了解其在 NLP 領(lǐng)域的應(yīng)用。3.了解大規(guī)模 NLP 任務(wù)中的常用技術(shù)和方法，如深度學(xué)習(xí)中的 Transformer 模型、 BERT 、 GPT 等。3??Step2:GPT API 調(diào)用及 Prompt 設(shè)計(jì)??學(xué)習(xí)內(nèi)容了解 GPT API 的調(diào)用方式和基本操作，熟悉 Prompt 設(shè)計(jì)技巧和要點(diǎn)，能夠結(jié)合自己的任務(wù)調(diào)用 API 實(shí)現(xiàn)對應(yīng)的任務(wù)代碼。4??Step3:模型微調(diào)（ Fine - tuning )??學(xué)習(xí)內(nèi)容了解常見的微調(diào)模型的基本流程和原理，熟悉數(shù)據(jù)集的構(gòu)造、訓(xùn)練、評估等過程，能夠獨(dú)立構(gòu)建 QA 對，在服務(wù)器上對模型進(jìn)行微調(diào)。5??Step4: RAG （外掛數(shù)據(jù)庫）??學(xué)習(xí)內(nèi)容RAG 作為目前最火的一個(gè) LLM 落地方向，可以結(jié)合私有數(shù)據(jù)（表格、 word 、 txt 、 pdf 、數(shù)據(jù)庫皆可）實(shí)現(xiàn)本地問答，且訓(xùn)練成本較低，可以快速實(shí)現(xiàn)效果。??有需要提升面試能力和輔導(dǎo)項(xiàng)目的同學(xué)可以后臺聯(lián)系我～