正经夜光杯

这个屌丝很懒，什么也没留下！

热门标签

【面试题】大数据方向_大数据方向问题_反问面试官大数据技术问题

作者：正经夜光杯 | 2024-08-13 21:02:16

踩

反问面试官大数据技术问题

4.数仓分层架构的设计及每一层干什么的？

5.你们数仓中拉链表怎么设置的？

https://mp.weixin.qq.com/s/R1UKVq3u-i6mW4GEXRentg

拉链表专门用于解决在数据仓库中数据发生变化如何实现数据存储的问题。

拉链表的设计是将更新的数据进行状态记录，没有发生更新的数据不进行状态存储，用于存储所有数据在不同时间上的所有状态，通过时间进行标记每个状态的生命周期，查询时，根据需求可以获取指定时间范围状态的数据，默认用9999-12-31等最大值来表示最新状态。

你们拉链表有分区吗？拉链表分区是怎么控制的？（我说的是每天全量刷新，他接着问如果你们数据量特别大呢？怎么解决的？）

事实表有哪些？事实表中的历史数据怎么修改？（这个没答上来，面试官说你们没有做过快照表吗？这个没听说过）

你们工作中实际的工作流程是怎么样的？

你们元数据管理怎么做的？

6.你们数仓部门几个人？

7.你们集群是什么规模？每台服务器什么配置？

8.数仓中用的存储格式是什么？ORC和Parquet一般是什么场景下用？

9.Hive中的UDF和UDTF？

UDF（User-Defined-Function）普通函数，一进一出

UDAF（User-Defined Aggregation Function）聚合函数，多进一出

•count:统计检索到的总行数。
•sum:求和
•avg:求平均
•min:最小值
•max:最大值
•数据收集函数（去重）: collect_set(col)
•数据收集函数（不去重）: collect_list(col)

1
2
3
4
5
6
7
8

UDTF（User-Defined Table-Generating Functions）表生成函数，一进多出

10.开窗函数的介绍？排序的函数？

窗口函数（Window functions）是一种SQL函数，非常适合于数据分析，因此也叫做OLAP函数，其最大特点是：输入值是从SELECT语句的结果集中的一行或多行的“窗口”中获取的。你也可以理解为窗口有大有小（行有多有少）。

通过OVER子句，窗口函数与其他SQL函数有所区别。如果函数具有OVER子句，则它是窗口函数。如果它缺少OVER子句，则它是一个普通的聚合函数。

窗口函数可以简单地解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，最终输出一行，窗口函数聚合后还可以访问当中的各个行，并且可以将这些行中的某些属性添加到结果集中。

窗口排序函数

row_number：在每个分组中，为每行分配一个从1开始的唯一序列号，递增，不考虑重复；

rank: 在每个分组中，为每行分配一个从1开始的序列号，考虑重复，挤占后续位置；

dense_rank: 在每个分组中，为每行分配一个从1开始的序列号，考虑重复，不挤占后续位置；

11.Sort by和Order by的区别？

order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

sort by不是全局排序，其在数据进入reducer前完成排序.
因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。

12.行转列和列转行用的哪些函数？

collect_ws
collect_set
collect_list

collect_set去除重复元素；collect_list不去除重复元素

13.Hive中Join的工作原理？mapJoin的工作原理？

https://blog.csdn.net/u013668852/article/details/79768266

14.工作中如果做一个指标需要依赖于别人开发设计好的一张宽表，这种场景你们是怎么处理的？

15.数仓怎么搭建起来的？

16.你们数仓怎么建模型的？怎么分层的？

17.如果要让你设计一个模型的话，你会怎么设计？（可以随便举个例子来说）

18.指标分析你们主要是用的什么？

19.谈谈你对Hive的优化以及写SQL过程中的优化？

20.Select * 与Select 写全部列名这两个有什么区别吗？

结论：两者差别几乎可忽略。所以查询所有字段（或者大多数字段）的时候，大可 select * 来操作。如果某些不需要的字段数据量特别大，还是写清楚字段比较好，因为这样可以减少网络传输。

（1）减少数据的负担。

SELECT *，需要数据库先 Query Table Metadata For Columns，一定程度上为数据库增加了负担（影响网络传输的性能），但是实际上，两者效率差别不大。

（2）考虑到今后的扩展性。

因为程序里面你需要使用到的列毕竟是确定的， SELECT * 只是减少了一句 SQL String 的长度，并不能减少其他地方的代码。

（3）索引问题

select abc from table; 和 select * from table;

在 abc 字段有索引的情况下，mysql 是可以不用读 data，直接使用 index 里面的值就返回结果的。但是一旦用了 select *，就会有其他列需要读取，这时在读完 index 以后还需要去读 data 才会返回结果，这样就造成了额外的性能开销。

综上：除平时练习使用，其他情况都不推荐使用 SELECT * FROM XXX 。

21.一个SQL题：如何去求这一天24小时每隔5分钟的股票的一个峰值和低估值？（不是实时的，数据可以是昨天一天的数据）

22.维度建模如何建？

确认主题确认粒度确认度量确认事实表确认维度表

23.Redis有哪些数据结构？zset底层咋实现的？

String：使用一种叫简单动态字符串（SDS）的数据类型来实现

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

的技术提升。**