#面試問題記錄# 面試螞蟻金服到了技術(shù)3面，但沒有hr面了問題如下；1項目介紹一下2 干的數(shù)據(jù)開發(fā)技術(shù)組件和模型以及數(shù)據(jù)治理說一下3離線數(shù)倉怎么確保任務(wù)及時性，任務(wù)產(chǎn)生了dqc告警怎么解決4 干財務(wù)工作模型該怎么設(shè)計5數(shù)據(jù)治理該怎么治理，比如模型治理，運行效率，和任務(wù)合理性以及跨層很多問題6 實時任務(wù)一旦延遲該怎么快速解決延遲，如何確保數(shù)據(jù)不重復(fù)，不丟數(shù)據(jù)，如何知道延遲7flink任務(wù)優(yōu)化可以從哪些方面入手，對于效率問題該怎么操作8kafka分區(qū)和寫入該怎么設(shè)計，怎么能確保下游消費數(shù)據(jù)不延遲，不丟數(shù)據(jù)9 實時數(shù)倉如何做到指標實時，并且數(shù)據(jù)不會算錯，10對于olap引擎知道哪一些，哪個更好，后續(xù)推薦用哪一款來批流一體#?？虯I配圖神器#

1. 基本情況方向：數(shù)據(jù)工程，時間：40分鐘結(jié)束、16:00開始，無手撕，多場景2. 自我介紹3. 一些能夠回憶起來的（或許有不正確的地方）：（1）提問R：你這個項目是課程作業(yè)還是什么？R：那你說說Hive和ClickHouseR：你談到了OLAP，那和OLTP有啥區(qū)別？R：沒了？ClickHouse適合那種場景？R：可以用作實時數(shù)倉嗎？R：課程中有數(shù)據(jù)庫相關(guān)的嗎？只有數(shù)據(jù)結(jié)構(gòu)與算法？R：MySQL系統(tǒng)學(xué)習(xí)過嗎？R：數(shù)據(jù)怎么導(dǎo)入到ClickHouse的？R：直接到ClickHouse？R：數(shù)倉分層？四層講講。R：那為什么要分層呢？DWS已經(jīng)差不多了為什么還需要ADS呢？R：場景題：在你的表上新...

#數(shù)據(jù)人的面試交流地##實習(xí)進度記錄##數(shù)據(jù)人的面試交流地#作業(yè)幫時間是隨機的，今天下午測的。作業(yè)幫是10道選擇題加2到算法題：選擇題：考了數(shù)據(jù)結(jié)構(gòu)排序二叉樹，linux命令：awk '$NF' test 這里的test是一個有多行數(shù)據(jù)的文件，這命令是輸出該文件末行的內(nèi)容。還考了mapreduce優(yōu)化數(shù)據(jù)傾斜的辦法這里我好像選錯了有兩個選項一個是把count(distinct ) 替換為sum()group by 還有是將小文件先保存到內(nèi)存中這兩個好像是對的都可以優(yōu)化數(shù)據(jù)傾斜此問題。還考了Flink的一些特性不過我還沒學(xué)過flink，還考了kafka的高性能和低性能的一些問題，這我也是一臉懵。還考了六個盤的漢洛塔要移動幾次才通過。然后是算法題，第一個是簡單的二分查找，不過我只通過了94%，后面看估計是我對左右指針移動還是有點問題。第二個是leetcode32題，最長有效括號，可惜了我兩個月前還寫過但是還是沒寫對，只通過了63%。也不知道能不能過。閱文（寄了，以為是8.30考沒想到是8.30結(jié)束結(jié)果只寫了20分鐘）：這好像是前面是單選題，中間是不定項，后面是問答題單選題：考了hive內(nèi)置函數(shù)，考了hive與spark的對比，hadoop節(jié)點默認備份是多少~（還考了斗破蒼穹的主角是誰雖然我沒看過印像中好像叫蕭炎）不定項：有mysql中delete，drop和truncate這三者的區(qū)別特點（我對truncate完全沒印象），還考了flink的一些知識。問答題：第一個是mapredce工作流程這個還好，第二個是如何解決spark數(shù)據(jù)傾斜的方法。這里時間不夠了我一點沒寫，也沒多少印象。這里我現(xiàn)在寫一下加深點印象1.可以增加隨機前綴或后綴：來打散數(shù)據(jù)分布，在后繼計算中去除前后綴從而負載均衡2.廣播小表，如果是原因是小表與大表join可以將小表廣播到每個節(jié)點，避免產(chǎn)生數(shù)據(jù)傾斜。3.salting方法：為傾斜數(shù)據(jù)填加鹽值，打散傾斜數(shù)據(jù)4.分區(qū)策略調(diào)整：通過自定義分區(qū)器或者合理選擇內(nèi)置分區(qū)器來均勻分布數(shù)據(jù)5.增大并行度：針對只有少量數(shù)據(jù)造成的傾斜任務(wù)，增加并行度可以更快地處理這些小任務(wù)6.數(shù)據(jù)預(yù)處理：合并一些小文件，fliter操作等第三四個就是寫sql語句，第三個挺簡單的就是第四題來不及看了。ok就是這些了，預(yù)祝大家都能找到自己想要的工作實現(xiàn)，我還是繼續(xù)去沉淀去了，這一個月也不知道自己在忙些啥好像就是一直在刷算法題和sql題，八股都沒怎么看，對組件的掌握還是太淺了。#實習(xí)##數(shù)據(jù)開發(fā)工程師實習(xí)##暑期實習(xí)加油##牛客AI配圖神器#

1.簡單介紹一下項目2.假設(shè)現(xiàn)在有一張表數(shù)據(jù)重復(fù)，用兩種方式去重3.數(shù)倉分層及其作用4.數(shù)倉為什么要分層5.緩慢變化維是指什么，常見處理方式6.ETL分別指哪三個步驟7.星型模型和雪花模型的概念及其區(qū)別8.Hadoop有哪些組件9.Hive的外部表和內(nèi)部表有啥區(qū)別反問：入職之后主要干啥，剛才答得怎么樣PS：面完之后我感覺是kpi，但是面試官又追問我什么時候可以入職（聽他的意思有種想讓我51后入職的感覺，但是我說最早可能得6月，然后他說回去組內(nèi)再商量一下），然后夸我基礎(chǔ)扎實，我說是不是安慰我（因為感覺他問的很簡單，然后我上午面試剛被拷打完。。。），然后他解釋說他之前面的幾個人答得很不好（？？？）...