大模型自己學(xué)搞一個什么項目好啊。有微調(diào)的項目，不過面試時面試官不認(rèn)可。然后之前一段大模型實習(xí)，純打雜還傻了吧唧實習(xí)了兩個多月?，F(xiàn)在搞了一個文生圖實習(xí)，感覺也還是做一些雜活，知道現(xiàn)在再找實習(xí)也來不及了，想自己學(xué)一個項目，該學(xué)啥呢，RAG Agent？還是其他？大家有什么建議嘛 #秋招# #大語言模型# #大模型# #阿里# #騰訊# #美團(tuán)# #字節(jié)#

崗位是大模型方向，面經(jīng)可以看之前的帖子，附上timeline：10.11 一面/技術(shù)面10.17 二面/技術(shù)面10.23 三面/HR面10.24 OC#斑馬智行##NLP算法工程師##大語言模型##25屆秋招#

一二面連在一起，當(dāng)時被打了個措手不及一面/HR面 2024/9/5 下午13:30-13:40自我介紹從實習(xí)中學(xué)到了什么實習(xí)和在學(xué)校的差異你覺得有哪些找工作時最關(guān)注哪些因素家鄉(xiāng)是哪里，base選擇做一個自我分析，談下自己面試這個崗位時有哪些優(yōu)勢，同時有哪些不足需要去改進(jìn)反問：面試流程問題，HR面和一面技術(shù)面一起，后邊再來一輪技術(shù)面就OK了二面/技術(shù)面 2024/9/5 下午13:40-14:40直接開始八股Transformers中為什么用LN不用BN圖像中BN是怎么用的在NLP中如果句子長度不一致，用BN會有什么后果給定一個三維矩陣bsz * seq_len * dim，BN和L...

人工智能大語言模型微調(diào)技術(shù)：SFT 監(jiān)督微調(diào)、LoRA 微調(diào)方法、P-tuning v2 微調(diào)方法、Freeze 監(jiān)督微調(diào)方法 1.SFT 監(jiān)督微調(diào) 1.1 SFT 監(jiān)督微調(diào)基本概念 SFT（Supervised Fine-Tuning）監(jiān)督微調(diào)是指在源數(shù)據(jù)集上預(yù)訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)模型，即源模型。然后創(chuàng)建一個新的神經(jīng)網(wǎng)絡(luò)模型，即目標(biāo)模型。目標(biāo)模型復(fù)制了源模型上除了輸出層外的所有模型設(shè)計及其參數(shù)。這些模型參數(shù)包含了源數(shù)據(jù)集上學(xué)習(xí)到的知識，且這些知識同樣適用于目標(biāo)數(shù)據(jù)集。源模型的輸出層與源數(shù)據(jù)集的標(biāo)簽緊密相關(guān)，因此在目標(biāo)模型中不予采用。微調(diào)時，為目標(biāo)模型添加一個輸出大小為目標(biāo)數(shù)據(jù)集類別個數(shù)的輸出層，...

我這里有個大模型的比賽，感覺比較好拿獎，還有豐厚的獎金，想找隊友 #大模型# #nlp# #llm# #大語言模型#

莫名其妙送到百度發(fā)來的廣告我有點好奇這是文心一言的體驗資格嗎？ #百度# #大語言模型#

大語言模型的預(yù)訓(xùn)練[5]：語境學(xué)習(xí)、上下文學(xué)習(xí)In-Context Learning：精調(diào)LLM、Prompt設(shè)計和打分函數(shù)（Scoring Function）設(shè)計以及ICL底層機制等原理詳解 1.In-Context Learning背景與定義 背景 大規(guī)模預(yù)訓(xùn)練語言模型（LLM）如 GPT-3 是在大規(guī)模的互聯(lián)網(wǎng)文本數(shù)據(jù)上訓(xùn)練，以給定的前綴來預(yù)測生成下一個 token（Next token prediction）。通過預(yù)測詞的訓(xùn)練目標(biāo)、大規(guī)模數(shù)據(jù)集以及超高參數(shù)量的模型相結(jié)合，產(chǎn)生了性能極強的 LLM，它可以 “理解” 任何文本輸入，并在其基礎(chǔ)上進(jìn)行“寫作”，除此以外，GPT-3 的論文...

ChatGLM3-6B：新一代開源雙語對話語言模型，流暢對話與低部署門檻再升級 1.ChatGLM3簡介 ChatGLM3 是智譜AI和清華大學(xué) KEG 實驗室聯(lián)合發(fā)布的新一代對話預(yù)訓(xùn)練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型，在保留了前兩代模型對話流暢、部署門檻低等眾多優(yōu)秀特性的基礎(chǔ)上，ChatGLM3-6B 引入了如下特性： 更強大的基礎(chǔ)模型： ChatGLM3-6B 的基礎(chǔ)模型 ChatGLM3-6B-Base 采用了更多樣的訓(xùn)練數(shù)據(jù)、更充分的訓(xùn)練步數(shù)和更合理的訓(xùn)練策略。在語義、數(shù)學(xué)、推理、代碼、知識等不同角度的數(shù)據(jù)集上測評顯示，ChatGLM3-6B-Ba...

大語言模型的預(yù)訓(xùn)練[6]：思維鏈(Chain-of-thought，CoT)定義原理詳解、Zero-shot CoT、Few-shot CoT 以及在LLM上應(yīng)用 1.思維鏈定義 背景 在 2017-2019 年之間，隨著 Transformer 模型的提出，計算資源與大規(guī)模語料庫不斷出現(xiàn)，自然語言處理領(lǐng)域發(fā)生了翻天覆地的變化，傳統(tǒng)的全監(jiān)督學(xué)習(xí)的范式逐漸達(dá)到了瓶頸，很難在傳統(tǒng)的訓(xùn)練方式上取得大幅度提升。這時大規(guī)模預(yù)訓(xùn)練模型的如 Bert、RoBERTa 等模型的出現(xiàn)使得研究方向轉(zhuǎn)向了以預(yù)訓(xùn)練模型為基礎(chǔ) + 下游任務(wù) Fine-tune 的范式。 然而隨著語言模型規(guī)模的不斷增大，F(xiàn)ine-t...

“超級AI助手：全新提升！中文NLP訓(xùn)練框架，快速上手，海量訓(xùn)練數(shù)據(jù)，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您實現(xiàn)更智能的應(yīng)用！” 1.簡介 目標(biāo)：基于pytorch、transformers做中文領(lǐng)域的nlp開箱即用的訓(xùn)練框架，提供全套的訓(xùn)練、微調(diào)模型（包括大模型、文本轉(zhuǎn)向量、文本生成、多模態(tài)等模型）的解決方案； 數(shù)據(jù)： 從開源社區(qū)，整理了海量的訓(xùn)練數(shù)據(jù)，幫助用戶可以快速上手； 同時也開放訓(xùn)練數(shù)據(jù)模版，可以快速處理垂直領(lǐng)域數(shù)據(jù)； 結(jié)合多線程、內(nèi)存映射等更高效的數(shù)據(jù)處理方式，即使需要處理百GB規(guī)模的數(shù)據(jù)，也是輕而易舉； 流程：每一個項目有完整的模型訓(xùn)練步驟，如：...

NL2SQL基礎(chǔ)系列(2)：主流大模型與微調(diào)方法精選集，Text2SQL經(jīng)典算法技術(shù)回顧七年發(fā)展脈絡(luò)梳理 Text-to-SQL（或者Text2SQL），顧名思義就是把文本轉(zhuǎn)化為SQL語言，更學(xué)術(shù)一點的定義是：把數(shù)據(jù)庫領(lǐng)域下的自然語言（Natural Language，NL）問題，轉(zhuǎn)化為在關(guān)系型數(shù)據(jù)庫中可以執(zhí)行的結(jié)構(gòu)化詢語言（Structured Query Language，SQL），因此Text-to-SQL也可以被簡寫為NL2SQL。 輸入：自然語言問題，比如“查詢表t_user的相關(guān)信息，結(jié)果按id降序排序，只保留前10個數(shù)據(jù)” 輸出：SQL，比如“SELECT * FROM...

大規(guī)模語言LLaVA：多模態(tài)GPT-4智能助手，融合語言與視覺，滿足用戶復(fù)雜需求 一個面向多模式GPT-4級別能力構(gòu)建的助手。它結(jié)合了自然語言處理和計算機視覺，為用戶提供了強大的多模式交互和理解。LLaVA旨在更深入地理解和處理語言和視覺信息，從而實現(xiàn)更復(fù)雜的任務(wù)和對話。這個項目代表了下一代智能助手的發(fā)展方向，它能夠更好地理解和應(yīng)對用戶需求。 效果展示 demo鏈接：https://llava.hliu.cc/ 當(dāng)我來這里旅游時，我應(yīng)該注意哪些事情? 在平靜的湖面上游覽碼頭時，有幾件事你應(yīng)該小心。首先，要注意天氣狀況，因為圖像顯示的是多云的天空。這可能表明天氣突然變化的可能性，如...

隨著生成式人工智能的蓬勃發(fā)展，大語言模型 (LLM) 正成為人工智能領(lǐng)域的核心技術(shù)，推動了 AI 編程、智能客服、AI 辦公等應(yīng)用場景的落地。然而，這些技術(shù)通常依賴強大的云計算資源，而將其擴(kuò)展到端側(cè)設(shè)備需要克服計算能力、延時和功耗等眾多挑戰(zhàn)。樂鑫科技憑借其領(lǐng)先的無線 SoC 技術(shù)，為這一挑戰(zhàn)提供了解決方案。暨火山引擎 2024 冬季 FORCE 原動力大會宣布與樂鑫、ToyCity、Folotoy 及魂伴科技聯(lián)合發(fā)布 AI+ 硬件智躍計劃之后，公司官網(wǎng)上線了 AI 大模型解決方案。樂鑫攜手火山引擎豆包大模型，致力于為用戶提供卓越的端到端解決方案，融合前沿技術(shù)，為智能設(shè)備注入強大的智能內(nèi)核。 方...

#OPPO開獎# 請問一下大家，oppo和實在智能這兩家的nlp/llm實習(xí)怎么選。面試官都是直系上司，也都聊著很好。但是實在智能這邊描述的項目更具體，感覺暑假三個月的時間能學(xué)到更多東西以及做更多事情。原來沒有實習(xí)過，想問一下大家有沒有什么辦法！#實習(xí)##nlp##oppo##大語言模型#

MedicalGPT：基于LLaMA-13B的中英醫(yī)療問答模型（LoRA）、實現(xiàn)包括二次預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎勵建模、強化學(xué)習(xí)訓(xùn)練[LLM:含Ziya-LLaMA]。 **** 訓(xùn)練醫(yī)療大模型，實現(xiàn)包括二次預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎勵建模、強化學(xué)習(xí)訓(xùn)練。 分四階段訓(xùn)練GPT模型，來自Andrej Karpathy的演講PDF State of GPT，視頻 Video 版本迭代 V1：發(fā)布中文醫(yī)療LoRA模型，基于Ziya-LLaMA-13B-v1模型，SFT微調(diào)了一版醫(yī)療模型，醫(yī)療問答效果有提升，發(fā)布微調(diào)后的LoRA權(quán)重， V0：以醫(yī)療為例，訓(xùn)練領(lǐng)域大模型，實現(xiàn)了四階段訓(xùn)練：包括二...

#AI##大語言模型#【LZD智能發(fā)品——用AI重塑東南亞電商生態(tài)的核心引擎】???? 項目價值：作為Lazada商品發(fā)布鏈路的"中樞神經(jīng)系統(tǒng)"，我們通過自主研發(fā)的多模態(tài)大模型與AIGC技術(shù)，正在革新東南亞電商基礎(chǔ)設(shè)施，你的代碼將直接觸達(dá)6國市場億萬消費者。?? 技術(shù)縱深：攻克多模態(tài)理解難題：構(gòu)建多模態(tài)深度學(xué)習(xí)框架，實現(xiàn)圖文信息到商品要素的智能映射打造電商領(lǐng)域?qū)貯IGC：基于GPT與Diffusion模型創(chuàng)新，解決生成內(nèi)容與平臺流量規(guī)則的匹配挑戰(zhàn)建設(shè)東南亞首個商品知識圖譜：融合多語言語義理解，突破小語種市場本地化難題?? 成長加速度：接觸完整的電商技術(shù)生態(tài)：從內(nèi)容生成、質(zhì)量評估到流量預(yù)測的全鏈路實戰(zhàn)國際化技術(shù)視野：解決英語/泰語/越南語等多語言場景下的獨特AI問題?? 社會影響力：你的工作正在降低東南亞中小商家的數(shù)字化門檻，讓所有商家能享受AI紅利。我們尋找這樣的你：? 渴望用算法解決真實商業(yè)問題的實戰(zhàn)派? 對生成式AI、多模態(tài)學(xué)習(xí)有深度熱情的技術(shù)探險家? 具備國際視野，愿意用技術(shù)推動?xùn)|南亞數(shù)字經(jīng)濟(jì)的基礎(chǔ)建設(shè)【LazGenie——定義電商運營的下一代AI協(xié)同智能體】??? 價值革命：這不是普通的聊天機器人，而是重塑東南亞商家命運的商業(yè)決策中樞。作為首個深度植入阿里國際業(yè)務(wù)系統(tǒng)的智能副駕，LazGenie處理運營決策請求，直接提升小二人效，助力商家實現(xiàn)GMV增長突破。你的代碼將成為東南亞電商經(jīng)濟(jì)的"隱形推手"。?? 技術(shù)制高點：攻克LLM在商業(yè)場景的認(rèn)知邊界：構(gòu)建基于賣家畫像的動態(tài)知識蒸餾框架，讓通用大模型掌握跨境電商業(yè)務(wù)DNA首創(chuàng)"場景感知型"對話系統(tǒng)：融合工作臺操作流上下文，實現(xiàn)從被動響應(yīng)到主動決策的服務(wù)范式躍遷?? 你的創(chuàng)造時刻：參與構(gòu)建商業(yè)級LLM應(yīng)用范式：從prompt engineering到RAG增強，探索大模型在萬億級交易場景的落地極限設(shè)計智能體的決策神經(jīng)中樞：開發(fā)融合用戶行為預(yù)判的混合推理引擎，讓AI助手具備"提前三步思考"的商業(yè)直覺我們尋找這樣的你：? 渴望用算法解決真實商業(yè)問題的實戰(zhàn)派? 對生成式AI、多模態(tài)學(xué)習(xí)有深度熱情的技術(shù)探險家? 具備國際視野，愿意用技術(shù)推動?xùn)|南亞數(shù)字經(jīng)濟(jì)的基礎(chǔ)建設(shè)

人工智能的新篇章：深入了解大型語言模型(LLM)的應(yīng)用與前景 LLM（Large Language Model）技術(shù)是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)，旨在訓(xùn)練能夠處理和生成自然語言文本的大型模型。 LLM 技術(shù)的核心思想是使用深度神經(jīng)網(wǎng)絡(luò)，通過大規(guī)模的文本數(shù)據(jù)預(yù)訓(xùn)練模型，并利用這些預(yù)訓(xùn)練模型進(jìn)行下游任務(wù)的微調(diào)或直接應(yīng)用。 LLM 技術(shù)的主要特點是可以從大規(guī)模文本數(shù)據(jù)中學(xué)習(xí)到豐富的語言知識和語言模式，使得模型能夠?qū)ψ匀徽Z言的語義、語法等進(jìn)行理解和生成，具備更強的語言處理能 LLM 技術(shù)在自然語言處理領(lǐng)域具有廣泛的應(yīng)用前景。以下是一些應(yīng)用前景的示例： 語言理解和生成：LLM 技術(shù)可以應(yīng)用...