#數(shù)據(jù)人的面試交流地##實習(xí)進度記錄##數(shù)據(jù)人的面試交流地#作業(yè)幫時間是隨機的，今天下午測的。作業(yè)幫是10道選擇題加2到算法題：選擇題：考了數(shù)據(jù)結(jié)構(gòu)排序二叉樹，linux命令：awk '$NF' test 這里的test是一個有多行數(shù)據(jù)的文件，這命令是輸出該文件末行的內(nèi)容。還考了mapreduce優(yōu)化數(shù)據(jù)傾斜的辦法這里我好像選錯了有兩個選項一個是把count(distinct ) 替換為sum()group by 還有是將小文件先保存到內(nèi)存中這兩個好像是對的都可以優(yōu)化數(shù)據(jù)傾斜此問題。還考了Flink的一些特性不過我還沒學(xué)過flink，還考了kafka的高性能和低性能的一些問題，這我也是一臉懵。還考了六個盤的漢洛塔要移動幾次才通過。然后是算法題，第一個是簡單的二分查找，不過我只通過了94%，后面看估計是我對左右指針移動還是有點問題。第二個是leetcode32題，最長有效括號，可惜了我兩個月前還寫過但是還是沒寫對，只通過了63%。也不知道能不能過。閱文（寄了，以為是8.30考沒想到是8.30結(jié)束結(jié)果只寫了20分鐘）：這好像是前面是單選題，中間是不定項，后面是問答題單選題：考了hive內(nèi)置函數(shù)，考了hive與spark的對比，hadoop節(jié)點默認備份是多少~（還考了斗破蒼穹的主角是誰雖然我沒看過印像中好像叫蕭炎）不定項：有mysql中delete，drop和truncate這三者的區(qū)別特點（我對truncate完全沒印象），還考了flink的一些知識。問答題：第一個是mapredce工作流程這個還好，第二個是如何解決spark數(shù)據(jù)傾斜的方法。這里時間不夠了我一點沒寫，也沒多少印象。這里我現(xiàn)在寫一下加深點印象1.可以增加隨機前綴或后綴：來打散數(shù)據(jù)分布，在后繼計算中去除前后綴從而負載均衡2.廣播小表，如果是原因是小表與大表join可以將小表廣播到每個節(jié)點，避免產(chǎn)生數(shù)據(jù)傾斜。3.salting方法：為傾斜數(shù)據(jù)填加鹽值，打散傾斜數(shù)據(jù)4.分區(qū)策略調(diào)整：通過自定義分區(qū)器或者合理選擇內(nèi)置分區(qū)器來均勻分布數(shù)據(jù)5.增大并行度：針對只有少量數(shù)據(jù)造成的傾斜任務(wù)，增加并行度可以更快地處理這些小任務(wù)6.數(shù)據(jù)預(yù)處理：合并一些小文件，fliter操作等第三四個就是寫sql語句，第三個挺簡單的就是第四題來不及看了。ok就是這些了，預(yù)祝大家都能找到自己想要的工作實現(xiàn)，我還是繼續(xù)去沉淀去了，這一個月也不知道自己在忙些啥好像就是一直在刷算法題和sql題，八股都沒怎么看，對組件的掌握還是太淺了。#實習(xí)##數(shù)據(jù)開發(fā)工程師實習(xí)##暑期實習(xí)加油##牛客AI配圖神器#

數(shù)據(jù)模型崗面試總結(jié)一面:20min○自我介紹〇詳細講一下我做的那個風(fēng)控項目，講完問特征工程怎么做的，為什么選這些特征，為什么這么做，介紹下XGBoost，與LR作比較，除了blending還了解其他模型融合嗎○在學(xué)校里有沒有做過什么詳細項目，講一下項目流程，在項目里做了哪些貢獻，扮演什么角色，如何分工O pandas中如何進行測試集訓(xùn)練集的劃分我簡歷上寫了熟悉SQL，問了兩道基礎(chǔ)的SQL題O學(xué)校課程情況，介紹一下學(xué)的課程，能否長期實習(xí)等，然后就是反問數(shù)禾科技內(nèi)推數(shù)禾科技2025屆秋季校園招聘正式啟動[慶祝][慶祝]數(shù)禾科技（全稱“上海數(shù)禾信息科技有限公司”）成立于2015年8月，是分眾傳媒、紅...

5.8眾安保險和閱文筆試撞了，求問 這一輪不去眾安下次還有補發(fā)機會嘛#眾安保險# #閱文#

一個大消息傳來，資本市場看到了新機會。據(jù)中國證券報報道，證監(jiān)會主席吳清5月7日在國新辦新聞發(fā)布會上表示，要繼續(xù)推動資本市場開放。不過更吸引人的是，要“創(chuàng)造條件支持優(yōu)質(zhì)中概股企業(yè)回歸內(nèi)地和香港股市”。顯然，不管是在A股占據(jù)一席之地，還是緊跟現(xiàn)在企業(yè)上市的“潮流”前往港股，中概股上市的大機會已經(jīng)得到了明確。而這股潮流優(yōu)先惠及的，就是那些一直在上市路上搖擺，舉棋不定乃至困難頗多的玩家。最好的機會窗口日前，瑞銀財富管理投資總監(jiān)辦公室大中華區(qū)股票主管李智穎，在接受深圳衛(wèi)視《直新聞》采訪時提到，當下美國對中概股“摘牌”威脅常態(tài)化，全球金融市場風(fēng)波不平，實際上反而有利于促進中概股回流，尤其是給港股貢獻機會。...