Go语言配置数据库连接池的实现

数据库
本文内容我们将解释连接池背后是如何工作的,并探索如何配置数据库能改变或优化其性能。文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

开始本文之前,我们看一段Go连接数据库的代码:

//openDB()函数返回一个sql.DB连接池。
func openDB() (*sql.DB, error) {
    //使用sql.Open()创建一个空连接池
    db, err := sql.Open("postgres", "postgres://username:password@localhost/db_name")
    if err != nil {
        return nil, err
    }
 
    //创建一个具有5秒超时期限的上下文。
    ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
    defer cancel()
 
    //使用PingContext()建立到数据库的新连接,并传入上下文信息,连接超时就返回
    err = db.PingContext(ctx)
    if err != nil {
        return nil, err
    }
    // 返回sql.DB连接池
    return db, nil
}

本文内容我们将解释连接池背后是如何工作的,并探索如何配置数据库能改变或优化其性能。

注意:本文包含了很多的理论,虽然它很有趣,但对应用程序的构建并不重要。如果你觉得它太枯燥,可以先浏览一下,然后再回头看。

那么sql.DB连接池是如何工作的呢?

需要理解的最重要一点是,sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接。当您使用连接执行数据库任务(例如执行SQL语句或查询行)时,该连接被标记为正在使用,任务完成后,该连接被标记为空闲。

当您使用Go执行数据库操作时,它将首先检查池中是否有可用的空闲连接。如果有可用的连接,那么Go将重用这个现有连接,并在任务期间将其标记为正在使用。如果在您需要空闲连接时池中没有空闲连接,那么Go将创建一个新的连接。

当Go重用池中的空闲连接时,与该连接有关的任何问题都会被优雅地处理。异常连接将在放弃之前自动重试两次,这时Go将从池中删除异常连接并创建一个新的连接来执行该任务。

配置连接池

连接池有四个方法,我们可以使用它们来配置连接池的行为。让我们一个一个地来讨论。

SetMaxOpenConns方法

SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中+空闲连接)数量的上限。默认情况下,打开的连接数是无限的。

注意“打开”连接等于“正在使用”加上“空闲”连接,不仅仅是“正在使用”连接。

一般来说,MaxOpenConns设置得越大,可以并发执行的数据库查询就越多,连接池本身成为应用程序中的瓶颈的风险就越低。

但让它无限并不是最好的选择。默认情况下,PostgreSQL最多100个打开连接的硬限制,如果达到这个限制的话,它将导致pq驱动返回"sorry, too many clients already"错误。

注意:最大打开连接数限制可以在postgresql.conf文件中对max_connections设置来更改。

为了避免这个错误,将池中打开的连接数量限制在100以下是有意义的,可以为其他需要使用PostgreSQL的应用程序或会话留下足够的空间。

设置MaxOpenConns限制的另一个好处是,它充当一个非常基本的限流器,防止数据库同时被大量任务压垮。

但设定上限有一个重要的警告。如果达到MaxOpenConns限制,并且所有连接都在使用中,那么任何新的数据库任务将被迫等待,直到有连接空闲。在我们的API上下文中,用户的HTTP请求可能在等待空闲连接时无限期地“挂起”。因此,为了缓解这种情况,使用上下文为数据库任务设置超时是很重要的。我们将在书的后面解释如何处理。

SetMaxIdleConns方法

SetMaxIdleConns()方法的作用是:设置池中空闲连接数的上限。缺省情况下,最大空闲连接数为2。

理论上,在池中允许更多的空闲连接将增加性能。因为它减少了从头建立新连接发生概率—,因此有助于节省资源。

但要意识到保持空闲连接是有代价的。它占用了本来可以用于应用程序和数据库的内存,而且如果一个连接空闲时间过长,它也可能变得不可用。例如,默认情况下MySQL会自动关闭任何8小时未使用的连接。

因此,与使用更小的空闲连接池相比,将MaxIdleConns设置得过高可能会导致更多的连接变得不可用,浪费资源。因此保持适量的空闲连接是必要的。理想情况下,你只希望保持一个连接空闲,可以快速使用。

另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConns。Go会强制保证这点,并在必要时自动减少MaxIdleConns值。

SetConnMaxLifetime方法

SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值,表示一个连接保持可用的最长时间。默认连接的存活时间没有限制,永久可用。

如果设置ConnMaxLifetime的值为1小时,意味着所有的连接在创建后,经过一个小时就会被标记为失效连接,标志后就不可复用。但需要注意:

  • 这并不能保证一个连接将在池中存在一整个小时;有可能某个连接由于某种原因变得不可用,并在此之前自动关闭。
  • 连接在创建后一个多小时内仍然可以被使用—只是在这个时间之后它不能被重用。
  • 这不是一个空闲超时。连接将在创建后一小时过期,而不是在空闲后一小时过期。
  • Go每秒运行一次后台清理操作,从池中删除过期的连接。

理论上,ConnMaxLifetime为无限大(或设置为很长生命周期)将提升性能,因为这样可以减少新建连接。但是在某些情况下,设置短期存活时间有用。比如:

  • 如果SQL数据库对连接强制设置最大存活时间,这时将ConnMaxLifetime设置稍短时间更合理。
  • 有助于数据库替换

如果您决定对连接池设置ConnMaxLifetime,那么一定要记住连接过期(然后重新创建)的频率。例如,如果连接池中有100个打开的连接,而ConnMaxLifetime为1分钟,那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接。您不希望频率太大而最终影响性能吧。

SetConnMaxIdleTime方法

SetConnMaxIdleTime()方法在Go 1.15版本引入对ConnMaxIdleTime进行配置。其效果和ConnMaxLifeTime类似,但这里设置的是:在被标记为失效之前一个连接最长空闲时间。例如,如果我们将ConnMaxIdleTime设置为1小时,那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理操作删除。

这个配置非常有用,因为它意味着我们可以对池中空闲连接的数量设置相对较高的限制,但可以通过删除不再真正使用的空闲连接来周期性地释放资源。

实操一波

所以有很多信息要吸收。这在实践中意味着什么?我们把以上所有的内容总结成一些可行的要点。

1、根据经验,您应该显式地设置MaxOpenConns值。这个值应该低于数据库和操作系统对连接数量的硬性限制,您还可以考虑将其保持在相当低的水平,以充当基本的限流作用。

对于本书中的项目,我们将MaxOpenConns限制为25个连接。我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值,但理想情况下,您应该根据基准测试和压测结果调整这个值。

2、通常,更大的MaxOpenConns和MaxIdleConns值会带来更好的性能。但是,效果是逐渐降低的,而且您应该注意,太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗。

因为MaxIdleConns应该总是小于或等于MaxOpenConns,所以对于这个项目,我们还将MaxIdleConns限制为25个连接。

3、为了降低上面第2点的风险,通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接。在这个项目中,我们将设置ConnMaxIdleTime持续时间为15分钟。

4、ConnMaxLifetime默认设置为无限大是可以的,除非您的数据库对连接生命周期施加了硬限制,或者您需要它协助一些操作,比如优雅地交换数据库。这些都不适用于本项目,所以我们将保留这个默认的无限制配置。

配置连接池

与其硬编码这些配置,不如更新cmd/api/main.go文件通过命令行参数读取配置。

ConnMaxIdleTime值比较有意思,因为我们希望它传递一段时间,最终需要将其转换为Go的time.Duration类型。这里有几个选择:

1、我们可以使用一个整数来表示秒(或分钟)的数量,并将其转换为time.Duration。

2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它。

3、两种方法都可以很好地工作,但是在这个项目中我们将使用选项2。继续并更新cmd/api/main.go文件如下:

File: cmd/api/main.go

package main

import (
    "context" 
    "database/sql"
    "flag"
    "fmt"
    "log"
    "net/http"
    "os"
    "time"
    _ "github.com/lib/pq"
)

const version = "1.0.0"

//添加maxOpenConns, maxIdleConns和maxIdleTime字段来存放连接池配置
type config struct {
    port int
    env  string
    db   struct {
        dsn          string
                maxOpenConns int
                maxIdleConns int
                maxIdleTime  int
    }
}
type application struct {
    config config
    logger *log.Logger
}

func main() {
    var cfg config
    flag.IntVar(&cfg.port, "port", 4000, "API server port")
    flag.StringVar(&cfg.env, "env", "development", "Environment (development|staging|production)")
    flag.StringVar(&cfg.db.dsn, "db-dsn", "postgres://username:password@localhost/dbname", "PostgreSQL DSN")
   
        //从命令参数中读取连接池配置到config结构体中
        flag.IntVar(&cfg.db.maxOpenConns, "db-max-open-conns", 25, "PostgreSQL max open connections")
        flag.IntVar(&cfg.db.maxIdleConns, "db-max-idle-conns", 25, "PostgreSQL max idle connections") 
        flag.StringVar(&cfg.db.maxIdleTime, "db-max-idle-time", "15m", "PostgreSQL max connection idle time")
    flag.Parse()
    logger := log.New(os.Stdout, "", log.Ldate|log.Ltime)
  
    //调用openDB()帮助函数(参见下面)来创建连接池
    db, err := openDB(cfg)
    if err != nil {
        logger.Fatal(err)
    }
  
    // defer调用, 以便main()函数退出之前关闭连接池。
    defer db.Close()
  
    //打印连接数据库成功日志
    logger.Printf("database connection pool established")
    app := &application{config: cfg,
        logger: logger}
    srv := &http.Server{
        Addr: fmt.Sprintf(":%d", cfg.port), Handler: app.routes(),
        IdleTimeout: time.Minute,
        ReadTimeout: 10 * time.Second, WriteTimeout: 30 * time.Second,
    }
    logger.Printf("starting %s server on %s", cfg.env, srv.Addr)
    err = srv.ListenAndServe()
    logger.Fatal(err)
}

func openDB(cfg config) (*sql.DB, error) {
    db, err := sql.Open("postgres", cfg.db.dsn)
    if err != nil {
        return nil, err
    }
  
        //设置最大开放连接数,注意该值为小于0或等于0指的是无限制连接数
        db.SetMaxOpenConns(cfg.db.maxOpenConns)

        //设置空闲连接数,小于等于0表示无限制
        db.SetMaxIdleConns(cfg.db.maxIdleConns)

        //将空闲时间字符串解析为time.Duration类型
        duration, err := time.ParseDuration(cfg.db.maxIdleTime)
        if err != nil {
            return nil, err
        }

        //设置最大空闲超时
        db.SetConnMaxIdleTime(duration)
    ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
    defer cancel()
 
    err = db.PingContext(ctx)
    if err != nil {
        return nil, err
    }
    return db, nil
}