Java高并发解决方案 高并发解决思路与手段_怎么处理高并发接口

知识点

线程安全，线程封闭，线程调度，同步容器，并发容器，AQS，J.U.C，等等

高并发解决思路与手段

扩容：水平扩容、垂直扩容

缓存：Redis、Memcache、GuavaCache等

队列：Kafka、RabitMQ、RocketMQ等

应用拆分：服务化Dubbo与微服务Spring Cloud

限流：Guava RateLimiter使用、常用限流算法、自己实现分布式限流等

服务降级与服务熔断：服务降级的多重选择、Hystrix

数据库切库，分库分表：切库、分表、多数据源

高可用的一些手段：任务调度分布式elastic-job、主备curator的实现、监控报警机制

基础知识与核心知识准备

并发高并发相关概念

cpu多级缓存：缓存一致，乱序执行优化

java内存模型：JMM规定，抽象结构，同步操作与规则

并发优势与风险

并发模拟：Postman，Jmeter，Apache Bench，代码

并发基本概念

同时拥有两个或多个线程，如果程序在单核处理器上运行，多个线程将交替的换入或者换出内存，这些线程是同时“存在”的，每个线程都处于执行过程中的某个状态，如果运行在多核处理器上，此时，程序中的每个线程都将分配到一个处理器核上，因此可以同时运行。

高并发基本概念

高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。

并发：多个线程操作相同的资源，保证线程安全，合理使用资源

高并发：服务能同时处理很多请求，提高程序性能（更多的考虑技术手段）

知识技能

总体架构：Spring Boot、Maven、JDK8、MySQL

基础组件：Mybatis、Guava、Lombok、Redis、Kafka

高级组件：Joda-Time、Atomic包、J.U.C、AQS、ThreadLocal、RateLimiter、Hystrix、ThreadPool、Shardbatis、curator、elastic-job等

基础知识

cpu多级缓存

主存和cpu通过主线连接，CPU缓存在主存和CPU之间，缓存的出现可以减少CPU读取共享主存的次数

为什么需要CPU cache：CPU的频率太快了，快到主存跟不上，这样在处理器时钟周期内，CPU常常需要等待主存，浪费资源。所以cache的出现，是为了缓解CPU和内存之间速度不匹配问题（结构：cpu -> cache -> memery）.

CPU cache有什么意义：

1）时间局部性：如果某个数据被访问，name在不久的将来它很可能被再次访问。

2）空间局部性：如果某个数据被访问，那么与它相邻的数据很快也可能被访问

CPU多级缓存-缓存一致性（MESI）

MESI分别代表cache数据的四种状态，这四种状态可以相互转换

缓存四种操作：local read、local write、remote read、remote write

CPU多级缓存-乱序执行优化

在多核处理器上回出现问题

java内存模型（java memory model，JMM）

java内存模型-同步八种操作

lock（锁定）：作用于主内存的变量，把一个变量标识为一条线程独占状态

unlock（解锁）：作用于主内存变脸个，把一个处于锁定状态的变量释放出来，释放后的变量才可以被其他线程锁定

read（读取）：作用于主内存变量，把一个变量值从主内存传输到线程的工作内存中，以便随后的load动作使用

load（载入）：作用于工作内存的变量，它把read操作从主内存中得到的变量值放入工作内存的变量副本中

use（使用）：作用于工作内存的变量，把工作内存中的一个变量值传递给执行引擎

assign（赋值）：作用于工作内存的变量，它把一个从执行引擎接收到的值赋值给工作内存的变量

store（存储）：作用于工作内存的变量，把工作内存中的一个变量的值传送到主内存中，以遍随后的write的操作

write（写入）：作用于主内存的变量，它把store操作从工作内存中的一个变量的值传送到主内存的变量中

java内存模型-同步规则

1. 如果要把一个变量从主内存中复制到工作内存，就需要按顺序的执行read和load操作，如果把变量从工作内存中同步回主内存，就需要按顺序的执行store和write操作。但java内存模型只要求上述操作必须按顺序执行，而没有保证必须是连续执行
2. 不允许read和load、store和write操作之一单独出现
3. 不允许一个线程丢弃它的最近assign的操作，即变量在工作内存中改变了之后必须同步到主内存中
4. 不允许一个线程无原因的（没发生过任何assign操作）把数据从工作内存同步回主内存中
5. 一个新的变量只能在主内存中诞生，不允许在工作内存中直接使用一个未被初始化（load或assign）的变量。即就是对一个变量实施use和store操作之前，必须先执行过了assign和load操作
6. 一个变量在同一时刻只允许一条线程对其进行lock操作，但lock操作可以被同一条线程重复执行多次，多次执行lock后，只有执行相同次数的unlock操作，变量才会被解锁。lock和unlock必须成对出现
7. 如果对一个变量执行lock操作，将会清空工作内存中此变量的值，在执行引擎使用这个变量之前需要重新执行load或assign操作初始化变量的值
8. 如果一个变量实现没有被lock操作锁定，怎不允许对它执行unlock操作，也不允许去unlock一个被其他线程锁定的变量
9. 对一个变量执行unlock操作之前，必须先把此变量同步到主内存中（执行store和write操作）

并发的优势与风险

优势

速度：同时处理多个请求，响应更快；复杂的操作可以分成多个进程同时进行

设计：程序设计在某些情况下更简单，也可以更多的选择

资源利用：CPU能够在等待IO的时候做一些其他的事情

风险

安全性：多个线程共享数据时可能会产生于期望不相符的结果

活跃性：某个操作无法继续进行下去时，就会发生活跃性问题。比如死锁、饥饿等问题

性能：线程过多时会使得CPU频繁切换，调度时间增多；同步机制；消耗过多内存

 

线程安全性

定义：当多个线程访问某个类时，不管运行时环境采用何种调度方式或者这些线程将如何交替执行，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么就称这个类时线程