当前位置:   article > 正文

短链接学习day2

短链接学习day2

用户敏感信息脱敏展示:

@RequestParam 和 @PathVariable的区别

注解是用于从request中接收请求的,两个都可以接收参数,关键点不同的是@RequestParam 是从request里面拿取值,而 @PathVariable 是从一个URI模板里面来填充。

@PathVariable:主要用于接收http://host:port/path/{参数值}数据。

@RequestParam:主要用于接收http://host:port/path?参数名=参数值数据,这里后面也可以不跟参数值。

BeanUtil.toBean()方法

在Hutool工具包中,BeanUtil类的toBean()方法用于将一个对象或Map转换成指定类型的JavaBean对象。我们先创建了一个数据源对象product,然后,通过调用BeanUtil.toBean()方法,将数据源对象product转换成目标类型 productVo的JavaBean对象vo。

需要注意的是,转换过程中,BeanUtil.toBean()方法通过反射机制创建了目标类型的实例,并将数据源对象的属性值复制到目标对象中。所以,需要保证数据源对象和目标类型的属性名称和类型保持一致,否则无法正确转换属性值。所以在创建ProductVo时,是继承于Product的。另外,还需要在项目中引入Hutool的相关依赖才能使用BeanUtil类的方法。

PhoneDesensitizationSerializer:
  1. package com.nageoffer.shortlink.admin.common.serialize;
  2. import cn.hutool.core.util.DesensitizedUtil;
  3. import com.fasterxml.jackson.core.JsonGenerator;
  4. import com.fasterxml.jackson.databind.JsonSerializer;
  5. import com.fasterxml.jackson.databind.SerializerProvider;
  6. import java.io.IOException;
  7. /**
  8. * 手机号脱敏反序列化
  9. */
  10. public class PhoneDesensitizationSerializer extends JsonSerializer<String> {
  11. @Override
  12. public void serialize(String phone, JsonGenerator jsonGenerator, SerializerProvider serializerProvider) throws IOException {
  13. String phoneDesensitization = DesensitizedUtil.mobilePhone(phone);
  14. jsonGenerator.writeString(phoneDesensitization);
  15. }
  16. }

UserRespDTO:

不知道为什么我都加了注解,也有文件,可是脱敏就是不生效,压根没走PhoneDesensitizationSerializer。

补充:后续发现是因为我手机号是乱输入的,很短,然后不符合它的脱敏规则。

用户注册:

检查用户名是否存在:

  • 海量用户如果说查询的用户名存在或不存在,全部请求数据库,会将数据库直接打满。

方法1:将数据库已有的用户名全部放到缓存里。

该方案问题:

  • 是否要设置数据的有效期?只能设置为无无有效期,也就是永久数据。
  • 如果是永久不过期数据,占用 Redis 内存太高。

方法2:使用布隆过滤器。

布隆过滤器是一种数据结构,用于快速判断一个元素是否存在于一个集合中。具体来说,布隆过滤器包含一个位数组和一组哈希函数。位数组的初始值全部置为 0。在插入一个元素时,将该元素经过多个哈希函数映射到位数组上的多个位置,并将这些位置的值置为 1。

在查询一个元素是否存在时,会将该元素经过多个哈希函数映射到位数组上的多个位置,如果所有位置的值都为 1,则认为元素存在;如果存在任一位置的值为 0,则认为元素不存在。

优点:

  • 高效地判断一个元素是否属于一个大规模集合。
  • 节省内存。

缺点:

  • 可能存在一定的误判。
布隆过滤器误判理解
  • 布隆过滤器要设置初始容量。容量设置越大,冲突几率越低。
  • 布隆过滤器会设置预期的误判值。
误判能否接受

布隆过滤器的误判是否能够接受?

答:可以容忍。为什么?因为用户名不是特别重要的数据,如果说我设置用户名为 aaa,系统返回我不可用,那我大可以在 aaa 的基础上再加一个a,也就是 aaaa。

布隆过滤器的使用:
  1. <dependency>
  2. <groupId>org.springframework.boot</groupId>
  3. <artifactId>spring-boot-starter-data-redis</artifactId>
  4. </dependency>
  5. <dependency>
  6. <groupId>org.redisson</groupId>
  7. <artifactId>redisson-spring-boot-starter</artifactId>
  8. </dependency>
  1. spring:
  2. data:
  3. redis:
  4. host: 127.0.0.1
  5. port: 6379
  6. password: 123456

创建布隆过滤器实例:

  1. import org.redisson.api.RBloomFilter;
  2. import org.redisson.api.RedissonClient;
  3. import org.springframework.boot.context.properties.EnableConfigurationProperties;
  4. import org.springframework.context.annotation.Bean;
  5. import org.springframework.context.annotation.Configuration;
  6. /**
  7. * 布隆过滤器配置
  8. */
  9. @Configuration
  10. public class RBloomFilterConfiguration {
  11. /**
  12. * 防止用户注册查询数据库的布隆过滤器
  13. */
  14. @Bean
  15. public RBloomFilter<String> userRegisterCachePenetrationBloomFilter(RedissonClient redissonClient) {
  16. RBloomFilter<String> cachePenetrationBloomFilter = redissonClient.getBloomFilter("xxx");
  17. cachePenetrationBloomFilter.tryInit(0, 0);
  18. return cachePenetrationBloomFilter;
  19. }
  20. }

tryInit 有两个核心参数:

  • expectedInsertions:预估布隆过滤器存储的元素长度。
  • falseProbability:运行的误判率。

错误率越低,位数组越长,布隆过滤器的内存占用越大。

错误率越低,散列 Hash 函数越多,计算耗时较长。

一个布隆过滤器占用大小的在线网站:Bloom Filter Calculator

使用布隆过滤器的两种场景:

  • 初始使用:注册用户时就向容器中新增数据,就不需要任务向容器存储数据了。
  • 使用过程中引入:读取数据源将目标数据刷到布隆过滤器。
  1. private final RBloomFilter<String> userRegisterCachePenetrationBloomFilter;
  2. /**
  3. * 查询用户名是否存在
  4. * @param username
  5. * @return 存在,true 不存在,false
  6. */
  7. @Override
  8. public Boolean hashUsername(String username) {
  9. return userRegisterCachePenetrationBloomFilter.contains(username);
  10. }
用户注册:

一定要记得写枚举的时候是用逗号分割。

redis使用:

由于很久没用过redis了,所以我忘记了怎么启动了。

可以参考这个文档,为了防止下一次找不到redis文件了,记得一定要配置环境变量。

redis的启动需要先打开redis-server.exe然后再用可视化工具连接即可。

如果redis没有密码,但是本地application.yml又配置了redis密码,就会导致报错:Factory method 'redisson' threw exception with message: Unable to connect to Redis server: 127.0.0.1/127.0.0.1:6379

Window下Redis的安装和部署详细图文教程(Redis的安装和可视化工具的使用)_redis安装-CSDN博客

自动填充字段

自动填充字段 | MyBatis-Plus

难点:

由于在注册时,将用户记录添加到数据库时,同时将用户名添加到布隆过滤器中。但是为了防止redis的主节点挂掉后,从节点变成主节点时,有些数据还没复制,就会导致脏数据,就会可能导致用户名重复,所以为了防止这个情况,我们需要将username设置为唯一索引,让数据库兜底。

如何防止恶意请求毫秒级触发大量请求去一个未注册的用户名?

因为用户名没注册,所以布隆过滤器不存在,代表着可以触发注册流程插入数据库。但是如果恶意请求短时间海量请求,这些请求都会落到数据库,造成数据库访问压力。这里通过分布式锁,锁定用户名进行串行执行,防止恶意请求利用未注册用户名将请求打到数据库。

用redisson实现分布式锁。

UserServiceImpl:

  1. private final RedissonClient redissonClient;
  2. /**
  3. * 注册用户
  4. *
  5. * @param requestParam
  6. */
  7. @Override
  8. public void register(UserRegisterReqDTO requestParam) {
  9. if(hashUsername(requestParam.getUsername())){
  10. throw new ClientException(UserErrorCodeEnum.USER_NAME_EXIST);
  11. }
  12. RLock lock = redissonClient.getLock(LOCK_USER_REGISTER_KEY+requestParam.getUsername());
  13. try{
  14. if(lock.tryLock()){
  15. int inserted=baseMapper.insert(BeanUtil.toBean(requestParam,UserDO.class));
  16. if(inserted<1){
  17. throw new ClientException(UserErrorCodeEnum.USER_SAVE_ERROR);
  18. }
  19. userRegisterCachePenetrationBloomFilter.add(requestParam.getUsername());
  20. return;
  21. }
  22. throw new ClientException(UserErrorCodeEnum.USER_NAME_EXIST);
  23. }finally {
  24. lock.unlock();
  25. }
  26. }
  1. /**
  2. * 短链接后管 Redis 缓存常量类
  3. * 类描述: RedisCacheConstant
  4. **/
  5. public class RedisCacheConstant {
  6. public static final String LOCK_USER_REGISTER_KEY="short-link:lock_user-register:";
  7. }

用户分库分表:

为什么要分库分表?
  • 数据量庞大。
  • 查询性能缓慢,之前可能是 20ms,后续随着数据量的增长,查询时间呈指数增长。
  • 数据库连接不够。
什么是分库分表?

分库和分表有两种模式,垂直和水平。

分库两种模式:

  • 垂直分库:电商数据库拆分为用户、订单、商品、交易等数据库。

  • 水平分库:用户数据库,拆分为多个,比如User_DB_0 - x。

分表两种模式:

  • 垂直分表:将数据库表按照业务维度进行拆分,将不常用的信息放到一个扩展表。

  • 水平分表:将用户表水平拆分,展现形式就是 User_Table_0 - x。

什么场景下分库分表?

数据量过大或者数据库表对应的磁盘文件过大。

Q:多少数据分表?

什么情况下分库?

连接不够用。

MySQL Server 假设支持 4000 个数据库连接。一个服务连接池最大 10 个,假设有 40 个节点。已经占用了 400 个数据库连接。

类似于这种服务,有10个,那你这个 MySQL Server 连接就不够了。

又分库又分表?

高并发写入或查询场景。

数据量巨大场景。

数据库分库分表框架 ShardingSphere

Sharding-JDBC。

System.out.printf:这是Java中用于向控制台输出格式化字符串的方法。

分片键:
shardingsphere实现分表功能:

引入依赖:

  1. <dependency>
  2. <groupId>org.apache.shardingsphere</groupId>
  3. <artifactId>shardingsphere-jdbc-core</artifactId>
  4. <version>5.3.2</version>
  5. </dependency>

定义分片规则:

  1. spring:
  2. datasource:
  3. # ShardingSphere 对 Driver 自定义,实现分库分表等隐藏逻辑
  4. driver-class-name: org.apache.shardingsphere.driver.ShardingSphereDriver
  5. # ShardingSphere 配置文件路径
  6. url: jdbc:shardingsphere:classpath:shardingsphere-config.yaml

shardingsphere-config.yaml:

  1. # 数据源集合
  2. dataSources:
  3. ds_0:
  4. dataSourceClassName: com.zaxxer.hikari.HikariDataSource
  5. driverClassName: com.mysql.cj.jdbc.Driver
  6. jdbcUrl: jdbc:mysql://127.0.0.1:3306/link?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
  7. username: root
  8. password: root
  9. rules:
  10. - !SHARDING
  11. tables:
  12. t_user:
  13. # 真实数据节点,比如数据库源以及数据库在数据库中真实存在的
  14. actualDataNodes: ds_0.t_user_${0..15}
  15. # 分表策略
  16. tableStrategy:
  17. # 用于单分片键的标准分片场景
  18. standard:
  19. # 分片键
  20. shardingColumn: username
  21. # 分片算法,对应 rules[0].shardingAlgorithms
  22. shardingAlgorithmName: user_table_hash_mod
  23. # 分片算法
  24. shardingAlgorithms:
  25. # 数据表分片算法
  26. user_table_hash_mod:
  27. # 根据分片键 Hash 分片
  28. type: HASH_MOD
  29. # 分片数量
  30. props:
  31. sharding-count: 16
  32. # 展现逻辑 SQL & 真实 SQL
  33. props:
  34. sql-show: true

逻辑表:相同结构的水平拆分数据库(表)的逻辑名称,是 SQL 中表的逻辑标识。(t_user)

真实表:在水平拆分的数据库中真实存在的物理表。

敏感信息加密存储:

加密配置:

  1. # 配置数据源,底层被 ShardingSphere 进行了代理
  2. dataSources:
  3. ds_0:
  4. dataSourceClassName: com.zaxxer.hikari.HikariDataSource
  5. driverClassName: com.mysql.cj.jdbc.Driver
  6. jdbcUrl: jdbc:mysql://127.0.0.1:3306/link?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
  7. username: root
  8. password: root
  9. rules:
  10. # 数据加密存储规则
  11. - !ENCRYPT
  12. # 需要加密的表集合
  13. tables:
  14. # 用户表
  15. t_user:
  16. # 用户表中哪些字段需要进行加密
  17. columns:
  18. # 手机号字段,逻辑字段,不一定是在数据库中真实存在
  19. phone:
  20. # 手机号字段存储的密文字段,这个是数据库中真实存在的字段
  21. cipherColumn: phone
  22. # 身份证字段加密算法
  23. encryptorName: common_encryptor
  24. mail:
  25. cipherColumn: mail
  26. encryptorName: common_encryptor
  27. # 是否按照密文字段查询
  28. queryWithCipherColumn: true
  29. # 加密算法
  30. encryptors:
  31. # 自定义加密算法名称
  32. common_encryptor:
  33. # 加密算法类型
  34. type: AES
  35. props:
  36. # AES 加密密钥
  37. aes-key-value: d6oadClrrb9A3GWo
  38. props:
  39. sql-show: true

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号