碩一 nlp算法社招面經(jīng)
為了準(zhǔn)備社招刷了leetcode200-300題左右，側(cè)重刷高頻hard題，注重最優(yōu)解法。面的公司地點(diǎn)均在上海，總共5家。
一、字節(jié)跳動(dòng)-抖音 nlp算法工程師
一面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、算法題：手撕multi-head self-attention，使用tensorflow或torch框架（盡量按google源碼的思路）；
3、開方式問題：介紹deberta中的兩個(gè)優(yōu)化點(diǎn)，disentangled attention和enhanced mask decoder；
4、開方式問題：說出pre-norm和post-norm的區(qū)別（答案在蘇劍林的《科學(xué)空間》）；
5、基礎(chǔ)問題：layer normalization和batch normalization的區(qū)別。
二面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、算法題：手撕transformer decoder部分的inference過程，重點(diǎn)看beam search的實(shí)現(xiàn)，使用tensorflow或torch框架（盡量按google源碼的思路）；
3、開方式問題：如何解決含有象征、隱喻等修辭手法的文本分類問題。
三面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、基礎(chǔ)問題：介紹bert的原理、結(jié)構(gòu)，以及bert中哪些結(jié)構(gòu)（layer或block）的訓(xùn)練參數(shù)比較多；
3、基礎(chǔ)問題：attention結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)相比有什么優(yōu)點(diǎn)（還問了一些比較基礎(chǔ)的問題，貌似有點(diǎn)忘了）；
4、業(yè)務(wù)問題：如何用一些業(yè)務(wù)指標(biāo)衡量模型的效果；
5、算法題：（共三個(gè)小問題）
（1）針對(duì)某個(gè)表達(dá)式如5+6*4（只含有加減乘除），設(shè)計(jì)并使用一種數(shù)據(jù)結(jié)構(gòu)能夠?qū)Ρ磉_(dá)式進(jìn)行求值（使用二叉樹即可）；
（2）在（1）的基礎(chǔ)上，倘若表達(dá)式中出現(xiàn)未知變量，如a+a*b，改進(jìn)（1）中的結(jié)果使其在知道未知變量具體賦值的時(shí)候能夠返回表達(dá)式的結(jié)果（實(shí)現(xiàn)類似tensorflow中placeholder的機(jī)制）；
（3）在（2）的基礎(chǔ)上，倘若已知loss function返回的結(jié)果，實(shí)現(xiàn)一下梯度的反向傳播。
hr面（0.5h）：
自我介紹---》為什么想換工作---》薪資期望---》其他常規(guī)流程
二、拼多多-智能客服 nlp算法工程師
一面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、基礎(chǔ)問題：又問了一遍layer normalization和batch normalization的區(qū)別；
3、基礎(chǔ)問題：bert模型采用mask的具體策略，以及為什么要這么設(shè)計(jì)；
4、開放式問題：常用的文本數(shù)據(jù)增強(qiáng)方法（全面完整的回答可以從語種層面，letter、subword、word和語序?qū)用?，利用mlm過程、利用wordnet近義詞替代等角度）；
5、開放式問題：模型蒸餾的具體實(shí)現(xiàn)過程，KL散度和交叉熵的聯(lián)系與區(qū)別；
6、算法題：給定一個(gè)圖的節(jié)點(diǎn)集合和邊集合，找出圖中一個(gè)有多少個(gè)連通子圖（并查集或bfs）
二面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、開放式問題：寫出中文bert-base預(yù)訓(xùn)練模型所有的參數(shù)量，細(xì)分到每一個(gè)結(jié)構(gòu)的參數(shù)量；
3、基礎(chǔ)問題：attention結(jié)構(gòu)中Q、K、V的含義及作用；
4、基礎(chǔ)問題：bert結(jié)構(gòu)中embedding部分具體是怎么樣的（word embedding+position embedding+segment embedding）；
5、基礎(chǔ)問題：絕對(duì)位置和相對(duì)位置的區(qū)別（最好舉例作答）；
6、開放式問題：position embedding的實(shí)現(xiàn)方式有哪兩種（functional position embedding，如transformer和華為的NEZHA；parametric position embedding，如bert）；
7、基礎(chǔ)問題：layer normalization中的兩個(gè)可學(xué)習(xí)參數(shù)的作用；
8、算題題：已知二叉樹的前序和中序遍歷的前提下重構(gòu)二叉樹。
三面（0.5h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、場(chǎng)景題：基于項(xiàng)目中聊到的多輪對(duì)話改寫模型，是否能夠用另一種不同的方法實(shí)現(xiàn)；
3、場(chǎng)景題：在真實(shí)的客訴場(chǎng)景中，客戶可能不會(huì)一次性把話說完整，比如某客戶會(huì)先說“hi”，然后說“想問一下”，最后說“如果你們這邊的產(chǎn)品有問題該怎么辦”。如何設(shè)計(jì)客服機(jī)器人解決上述的問題（停頓檢測(cè)）；
4、算法題：將兩個(gè)升序的數(shù)組合并，合并后的數(shù)組保持升序，設(shè)計(jì)時(shí)間復(fù)雜度盡可能低的算法。
hr面（0.5h）：
自我介紹---》為什么想換工作---》薪資期望---》其他常規(guī)流程
三、bilibili 人工智能與大數(shù)據(jù)平臺(tái) nlp算法工程師
一面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、基礎(chǔ)問題：再問了一遍layer normalization和batch normalization的區(qū)別；
3、基礎(chǔ)問題：transformer網(wǎng)絡(luò)中一共有多少種不同的attention（3種）；
4、開放式問題：bert及其變體中常用的mask方式及特點(diǎn)（dynamic mask，whole word mask，phrase mask， entity mask）；
5、開放式問題：中文場(chǎng)景的nlu任務(wù)和英文場(chǎng)景有什么不同；
6、開放式問題：模型蒸餾的具體實(shí)現(xiàn)過程；
7、算法題：數(shù)組中連續(xù)子數(shù)組和的最大值。
二面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、業(yè)務(wù)問題：如何用一些業(yè)務(wù)指標(biāo)衡量模型的效果，如何使用一些非模型的方法解決內(nèi)容的識(shí)別問題；
3、開放式問題：介紹一下是如何做語義相似度的（simcse，simbert，sentence bert等）
4、開放式問題：是否了解triple loss，以及它的功能是什么；
5、算題題：實(shí)現(xiàn)一個(gè)函數(shù)能夠計(jì)算softmax和交叉熵；
6、基礎(chǔ)問題：softmax函數(shù)在梯度反向傳播過程中會(huì)出現(xiàn)梯度的鈍化，實(shí)際過程中該如何解決。
三面（0.5h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、算法題：判斷鏈表是否有環(huán)，并輸出環(huán)的入口節(jié)點(diǎn)；
3、場(chǎng)景題：平時(shí)是否使用過b站，如何看待b站的彈幕文化。
hr面（0.5h）：
自我介紹---》為什么想換工作---》薪資期望---》其他常規(guī)流程
四、太保金科 研究院 nlp算法研究員
一面（0.5h）：
1、自我介紹+了解哪些nlp的前沿研究；
2、場(chǎng)景題：如何用gpt-3的prompt機(jī)制挖掘以新冠疫情為主題的稀疏文本以及如何在保險(xiǎn)場(chǎng)景實(shí)現(xiàn)zero-shot；
3、場(chǎng)景題：在文本分類任務(wù)中，如果打亂文本中字或詞的順序，是否會(huì)對(duì)分類結(jié)果產(chǎn)生影響；
4、算法題：給定一個(gè)長度為n的初始數(shù)組nums[0, 1, 2, ..., n-1]，求出i != nums[i]對(duì)任意i都成立的排列組合總數(shù)（動(dòng)態(tài)規(guī)劃）。
二面（1h）：
1、自我介紹+聊項(xiàng)目經(jīng)歷；
2、場(chǎng)景題：如何在一個(gè)3GB內(nèi)存空間中部署一個(gè)深度學(xué)習(xí)模型；
3、開放式問題：說一下目前主流或前沿的nlp預(yù)訓(xùn)練模型（百度ERNIE3.0，華為NEZHA，openAI gpt-3，nvidia MegatronLM，macrosoft T5）及相關(guān)的加速方法（混合精度訓(xùn)練、Zero Redundancy Optimizer）；
4、開放式問題：簡單聊一下ERNIE1.0到3.0發(fā)展歷程和gpt-1到gpt-3的發(fā)展歷程；
5、開放式問題：說一下對(duì)多任務(wù)訓(xùn)練（multi task learning）和多領(lǐng)域訓(xùn)練（multi domain learning）的理解，最好舉一個(gè)例子；
三面（0.5h）：
1、筆試題：給定訓(xùn)練集和測(cè)試集，要求在24h內(nèi)自己設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。要求在epoch=1和learning_rate=0.03的限制下，測(cè)試集評(píng)估的準(zhǔn)召達(dá)到95%以上;
2、智力題：有5個(gè)相鄰的山洞（一字排開），山洞里有一只兔子，兔子每天白天會(huì)移動(dòng)到相鄰的洞中，你是一個(gè)獵人，每天晚上可以查看一個(gè)洞。設(shè)計(jì)一個(gè)可以找到兔子的策略。
hr面（0.5h）：
自我介紹---》為什么想換工作---》薪資期望---》其他常規(guī)流程
一面（1h）：
1、自我介紹；
2、開放式問題：說一下目前主流或前沿的預(yù)訓(xùn)練模型，包括nlp（百度ERNIE3.0，華為NEZHA，openAI gpt-3，nvidia MegatronLM，macrosoft T5）和cv（我只知道CLIP）領(lǐng)域；
3、基礎(chǔ)問題：說一下數(shù)據(jù)并行和模型并行的主要區(qū)別；
4、基礎(chǔ)問題：混合精度訓(xùn)練的原理，有哪些優(yōu)缺點(diǎn)，針對(duì)這些優(yōu)缺點(diǎn)是如何改進(jìn)的；
5、開放式問題：說一下DeepSpeed有哪些方面的突破；
6、算法題：N皇后；
7、算法題：用遞歸和迭代兩種方式實(shí)現(xiàn)二叉樹的層次遍歷；
8、算法題：袋子中有5個(gè)白球和8個(gè)紅球，現(xiàn)規(guī)定摸球規(guī)則：（1）第一次摸球無論紅白，均拿出；（2）倘若這一次摸到球的顏色與上一次的相同，則將這一次摸到的球拿出；若不同，則將這一次摸到的球放回。求最后一個(gè)球是白球的概率（動(dòng)態(tài)規(guī)劃）。
這個(gè)崗位主要偏開發(fā)而非算法，和我自己的條件不匹配，一面后就沒有后續(xù)了。
#自然語言處理##面經(jīng)##Python##社招#
投遞快手等公司10個(gè)崗位
金山WPS二面48人在聊