基础概念

缓存穿透与布隆过滤器

  • 缓存穿透

    • 查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。
    • 在流量大时，可能 DB 就挂掉了，要是有人利用不存在的 key 频繁攻击我们的应用，这就是漏洞。

  • 解决方案：布隆过滤器

    • 将所有可能存在的数据哈希到一个足够大的 bitmap 中，一个一定不存在的数据会被这个 bitmap 拦截掉，从而避免了对底层数据库的查询压力。

  • 解决方案：短期空结果缓存

    • 如果一个查询返回的数据为空（不管是数据不存在，还是系统故障），仍然把这个空结果进行缓存，但它的过期时间会很短，最长不超过五分钟。

缓存雪崩

  • 缓存雪崩

    • 在设置缓存时采用了相同的过期时间，导致缓存在某一时刻同时失效，导致所有的查询都落在数据库上，造成了缓存雪崩。

  • 解决方案：加锁控制读数据库写缓存的数量

    • 通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个 key 只允许一个线程查询数据和写缓存，其他线程等待。

  • 解决方案：缓存 reload 机制

    • 预先去更新缓存，在即将发生大并发访问前手动触发加载缓存。

  • 解决方案：设置不同的过期时间

    • 不同的 key，设置不同的过期时间，让缓存失效的时间点尽量均匀。

  • 解决方案：设置多级缓存

    • 做二级缓存，或者双缓存策略。A1 为原始缓存，A2 为拷贝缓存，A1 失效时，可以访问 A2，A1 缓存失效时间设置为短期，A2 设置为长期。

缓存击穿

  • 缓存击穿

    • 对于一些设置了过期时间的 key，如果这些 key 可能会在某些时间点被超高并发地访问，是一种非常“热点”的数据。缓存在某个时间点过期的时候，恰好在这个时间点对这个 Key 有大量的并发请求过来，这些请求发现缓存过期一般都会从后端 DB 加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端 DB 压垮。

  • 解决方案：后台刷新

    • 后台定义一个 job(定时任务)专门主动更新缓存数据。比如,一个缓存中的数据过期时间是 30 分钟,那么 job 每隔 29 分钟定时刷新数据(将从数据库中查到的数据更新到缓存中)。
    • 这种方案比较容易理解，但会增加系统复杂度。比较适合那些 key 相对固定,cache 粒度较大的业务，key 比较分散的则不太适合，实现起来也比较复杂。

  • 解决方案：检查更新

    • 将缓存 key 的过期时间(绝对时间)一起保存到缓存中(可以拼接,可以添加新字段,可以采用单独的 key 保存..不管用什么方式,只要两者建立好关联关系就行).在每次执行 get 操作后,都将 get 出来的缓存过期时间与当前系统时间做一个对比,如果缓存过期时间-当前系统时间 <=1 分钟(自定义的一个值),则主动更新缓存.这样就能保证缓存中的数据始终是最新的(和方案一一样,让数据不过期.)
    • 这种方案在特殊情况下也会有问题。假设缓存过期时间是 12:00，而 11:59 到 12:00 这 1 分钟时间里恰好没有 get 请求过来，又恰好请求都在 11:30 分的时 候高并发过来，那就悲剧了。这种情况比较极端，但并不是没有可能。因为“高 并发”也可能是阶段性在某个时间点爆发。

  • 解决方案：分级缓存

    • 采用 L1 (一级缓存)和 L2(二级缓存) 缓存方式，L1 缓存失效时间短，L2 缓存失效时间长。 请求优先从 L1 缓存获取数据，如果 L1 缓存未命中则加锁，只有 1 个线程获取到锁,这个线程再从数据库中读取数据并将数据再更新到到 L1 缓存和 L2 缓存中，而其他线程依旧从 L2 缓存获取数据并返回。
    • 这种方式，主要是通过避免缓存同时失效并结合锁机制实现。所以，当数据更 新时，只能淘汰 L1 缓存，不能同时将 L1 和 L2 中的缓存同时淘汰。L2 缓存中 可能会存在脏数据，需要业务能够容忍这种短时间的不一致。而且，这种方案 可能会造成额外的缓存空间浪费。

Redis

什么是 Redis

Redis 是一款内存高速缓存数据库。Redis 全称为：Remote Dictionary Server（远程数据服务），使用 C 语言编写，Redis 是一个key-value存储系统（键值存储系统），支持丰富的数据类型，如：String、list、set、zset、hash。

特点及使用场景

读写性能优异

  • Redis 能读的速度是 110000 次/s,写的速度是 81000 次/s 。
  • 一般可以作为数据库的缓存来使用！【使用场景：热点数据的缓存】

数据类型丰富

  • Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。

原子性

  • Redis 的所有操作都是原子性的，同时 Redis 还支持对几个操作全并后的原子性执行。
  • 高并发的秒杀活动、分布式序列号的生成等计数器任务，用于查询一个手机号发了多少短信等等【使用场景：计数器】

丰富的特性

  • Redis 支持 publish/subscribe, 通知, key 过期等特性。

持久化

  • Redis 支持 RDB, AOF 等持久化方式

发布/订阅

  • Redis 支持发布/订阅模式
  • 比如在订单生产后我们占用了库存，10 分钟后去检验用户是否真正购买，如果没有购买将该单据设置无效，同时还原库存。 由于 redis 自 2.8.0 之后版本提供 Keyspace Notifications 功能，允许客户订阅 Pub/Sub 频道，以便以某种方式接收影响 Redis 数据集的事件。 所以我们对于上面的需求就可以用以下解决方案，我们在订单生产时，设置一个 key，同时设置 10 分钟后过期， 我们在后台实现一个监听器，监听 key 的实效，监听到 key 失效时将后续逻辑加上。【使用场景：延时操作】
  • 之前 iOS 使用的 Redux 其中的一个部件应该就是基于发布/订阅的思想实现的。

分布式

  • Redis Cluster
  • 这个主要利用 redis 的 setnx 命令进行，setnx：”set if not exists”就是如果不存在则成功设置缓存同时返回 1，否则返回 0 ，这个特性在很多后台中都有所运用，因为我们服务器是集群的，定时任务可能在两台机器上都会运行，所以在定时任务中首先 通过 setnx 设置一个 lock， 如果成功设置则执行，如果没有成功设置，则表明该定时任务已执行。 当然结合具体业务，我们可以给这个 lock 加一个过期时间，比如说 30 分钟执行一次的定时任务，那么这个过期时间设置为小于 30 分钟的一个时间就可以，这个与定时任务的周期以及定时任务执行消耗时间相关。【使用场景：分布式锁】

Stream 数据结构

  • 作用：设计消息队列时使用！
    • 消息的生产
    • 消息的消费
      • 单播和多播（多对多）
      • 阻塞和非阻塞读取
    • 消息有序性
    • 消息的持久化

MySql

Mysql 安装教程

Mysql 创建用户

CREATE USER 'username'@'host' IDENTIFIED BY 'password';


CREATE USER 'dog'@'localhost' IDENTIFIED BY '123456';
CREATE USER 'pig'@'192.168.1.101_' IDENDIFIED BY '123456';
CREATE USER 'pig'@'%' IDENTIFIED BY '123456';
CREATE USER 'pig'@'%' IDENTIFIED BY '';
CREATE USER 'pig'@'%';

Mysql 修改用户的权限

SHOW VARIABLES LIKE 'validate_password%';

SET GLOBAL validate_password.policy=0;

Mysql 设置支持远程登录

  1. 更改主配置文件，允许远程 IP 访问数据库
sudo vim /etc/mysql/my.cnf
# 注释下面这一行
#bind-address=127.0.0.1

# 部分系统my.cnf文件中并没有bind-address，这些系统的主配置放在mysqld.cnf文件中
sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf
#bind-address=127.0.0.1
  1. 配置访问权限
# 链接mysql数据库
use mysql;
# 配置远程访问权限，qingsword是远程登陆使用的用户名，123456是远程登陆使用的密码，%允许远程所有IP访问，如果需要指定IP，使用IP替换%
grant all privileges on *.* to 'qingsword'@'%' identified by '123456' with grant option;
# 使配置生效
flush privileges;
# 查看mysql.user表，能看到我们添加进去的qingsword用户，host下面是允许访问的IP地址，%表示允许所有IP访问，由此可以看出，root用户只允许本地用户访问
select host,user from user;
  1. 防火墙设置
# 查看ufw防火墙启动状态, 如果没有激活，就不必要配置了
sudo ufw status
# 在ufw中添加允许mysql的3306端口
sudo ufw allow 3306/tcp
  1. 远程访问命令
# 使用qingsword这个用户访问192.168.1.104这台主机的MySQL数据库
mysql -h 192.168.1.104 -u qingsword -p
password: <--输入我们授权时设置的那个密码
  1. 删除远程访问
use mysql;
delete from user where user='qingsword';
update user set host='127.0.0.1' where host='%' and user='root';
flush privileges;