GoSudaConfiguración de un servidor NATS integrado en aplicaciones Go y estructura de comunicación en proceso
By prravda views ...
Primeros pasos
Acerca de NATS
Las aplicaciones de software y los servicios necesitan intercambiar datos. NATS es una infraestructura que permite dicho intercambio de datos, segmentados en forma de mensajes. Denominamos a esto "message oriented middleware" (middleware orientado a mensajes).
Con NATS, los desarrolladores de aplicaciones pueden:
- Construir aplicaciones cliente-servidor distribuidas y escalables sin esfuerzo.
- Almacenar y distribuir datos en tiempo real de manera general. Esto puede lograrse de forma flexible en diversos entornos, lenguajes, proveedores de nube y sistemas on-premises.
- NATS es un message broker construido en Go.
NATS embebido
Si su aplicación está escrita en Go, y si se ajusta a su caso de uso y a sus escenarios de despliegue, incluso puede incrustar un servidor NATS dentro de su aplicación.
- Y existe una particularidad de NATS: en el caso de las aplicaciones construidas en Go, se admite el modo embedded.
- Es decir, en lugar de la forma habitual de los message brokers, que consiste en ejecutar un servidor de broker aparte y comunicarse con él a través de los clientes de la aplicación, el propio broker puede integrarse (embed) en la aplicación construida en Go.
Beneficios y casos de uso de NATS embebido
- Existe un video de YouTube que lo explica bien, por lo que se sustituye por el enlace al video.
- Sin desplegar un servidor de message broker independiente, es posible crear una modular monolith application y lograr separation of concerns, aprovechando la ventaja de incrustar NATS como embedded. Además, también es posible el single binary deployment.
- Resulta útil no solo en platform with no network (wasm), sino también en offline-first application.
Ejemplo de la documentación oficial
1package main
2
3import (
4 "fmt"
5 "time"
6
7 "github.com/nats-io/nats-server/v2/server"
8 "github.com/nats-io/nats.go"
9)
10
11func main() {
12 opts := &server.Options{}
13
14 // Inicializar un nuevo servidor con las opciones
15 ns, err := server.NewServer(opts)
16
17 if err != nil {
18 panic(err)
19 }
20
21 // Iniciar el servidor mediante una goroutine
22 go ns.Start()
23
24 // Esperar a que el servidor esté listo para las conexiones
25 if !ns.ReadyForConnections(4 * time.Second) {
26 panic("not ready for connection")
27 }
28
29 // Conectarse al servidor
30 nc, err := nats.Connect(ns.ClientURL())
31
32 if err != nil {
33 panic(err)
34 }
35
36 subject := "my-subject"
37
38 // Suscribirse al subject
39 nc.Subscribe(subject, func(msg *nats.Msg) {
40 // Imprimir los datos del mensaje
41 data := string(msg.Data)
42 fmt.Println(data)
43
44 // Apagar el servidor (opcional)
45 ns.Shutdown()
46 })
47
48 // Publicar datos en el subject
49 nc.Publish(subject, []byte("Hello embedded NATS!"))
50
51 // Esperar al apagado del servidor
52 ns.WaitForShutdown()
53}
- Este es el ejemplo de NATS embebido que figura en la documentación oficial de NATS; sin embargo, si se sigue el código de ejemplo tal cual, la comunicación no se realiza en modo embedding.
1Every 2.0s: netstat -an | grep 127.0.0.1 pravdalaptop-home.local: 02:34:20
2 in 0.017s (0)
3...
4tcp4 0 0 127.0.0.1.4222 127.0.0.1.63769 TIME_WAIT
- Al ejecutar el archivo go con
go run .mientras se observa la red que circula por localhost (127.0.0.1) mediante el comandowatch 'netstat -an | grep 127.0.0.1', se puede ver que se añaden nuevas solicitudes de red que parten del puerto4222, el puerto por defecto de NATS.
Configuraciones correctas para el modo embedding
Para comunicarse en modo embedded tal como se pretende, se necesitan las dos opciones siguientes.
- Client: hay que incluir la opción
InProcessServer. - Server: en
Server.Optionshay que indicar explícitamente el flagDontListencon el valortrue.
- Client: hay que incluir la opción
Estos aspectos no están documentados oficialmente, y el origen de esta funcionalidad puede rastrearse en este PR.
This PR adds three things:
InProcessConn()function toServerwhich builds anet.Pipeto get a connection to the NATS server without using TCP socketsDontListenoption which tells the NATS server not to listen on the usual TCP listenerstartupCompletechannel, which is closed right before we startAcceptLoop, andreadyForConnectionswill wait for it
The main motivation for this is that we have an application that can run either in a monolith (single-process) mode or a polylith (multi-process) mode. We'd like to be able to use NATS for both modes for simplicity, but the monolith mode has to be able to cater for a variety of platforms where opening socket connections either doesn't make sense (mobile) or just isn't possible (WASM). These changes will allow us to use NATS entirely in-process instead.
An accompanying PR nats-io/nats.go#774 adds support to the client side.
This is my first PR to this project so apologies in advance if I've missed anything obvious anywhere.
/cc @nats-io/core
Ejemplo funcional para el modo embedded
1package main
2
3import (
4 "fmt"
5 "time"
6
7 "github.com/nats-io/nats-server/v2/server"
8 "github.com/nats-io/nats.go"
9)
10
11func main() {
12 opts := &server.Options{
13 // Para configurar el servidor NATS embebido
14 // establecer DonListen como true
15 DontListen: true,
16 }
17
18 // Inicializar un nuevo servidor con las opciones
19 ns, err := server.NewServer(opts)
20
21 if err != nil {
22 panic(err)
23 }
24
25 // Iniciar el servidor mediante una goroutine
26 go ns.Start()
27
28 // Esperar a que el servidor esté listo para las conexiones
29 if !ns.ReadyForConnections(10 * time.Second) {
30 panic("not ready for connection")
31 }
32
33 // Conectarse al servidor mediante una conexión in-process
34 nc, err := nats.Connect(ns.ClientURL(), nats.InProcessServer(ns))
35
36 if err != nil {
37 panic(err)
38 }
39
40 subject := "my-subject"
41
42 // Suscribirse al subject
43 nc.Subscribe(subject, func(msg *nats.Msg) {
44 // Imprimir los datos del mensaje
45 data := string(msg.Data)
46 fmt.Println(data)
47
48 // Apagar el servidor (opcional)
49 ns.Shutdown()
50 })
51
52 // Publicar datos en el subject
53 nc.Publish(subject, []byte("Hello embedded NATS!"))
54
55 // Esperar al apagado del servidor
56 ns.WaitForShutdown()
57}
58
1Every 2.0s: netstat -an | grep 127.0.0.1 pravdalaptop-home.local: 02:37:50
2 in 0.023s (0)
3...no additional logs
4
- Ahora se puede observar que no se produce ningún salto de red adicional, tal como se pretendía.
Por debajo
TL;DR
- Este es el diagrama de secuencia que muestra qué funciones se ejecutan internamente y cómo lo hacen al ejecutar este código desde
main.go. Los puntos principales son los siguientes.- Mediante
DontListen: true, el servidor omite la fase de escucha de clientes denominadaAcceptLoop. - Si la opción
InProcessServerdel Connect del cliente está activada, se crea una conexión en memoria: se genera unnet.Pipe, y el otro extremo del pipe se devuelve al cliente como un tiponet.Conn. - El cliente y el servidor realizan la comunicación in-process a través de esa conexión.
- Mediante
Servidor
AcceptLoop
1// nats-server/server/server.go
2
3// Esperar a los clientes.
4if !opts.DontListen {
5 s.AcceptLoop(clientListenReady)
6}
- En primer lugar, cuando
DontListenes true, se omite la fase de escucha de clientes denominadaAcceptLoop.
1// nats-server/server/server.go
2
3// AcceptLoop se exporta para facilitar las pruebas.
4func (s *Server) AcceptLoop(clr chan struct{}) {
5 // Si saliéramos antes de que el listener se configure correctamente,
6 // asegurarse de cerrar el canal.
7 defer func() {
8 if clr != nil {
9 close(clr)
10 }
11 }()
12
13 if s.isShuttingDown() {
14 return
15 }
16
17 // Tomar una instantánea de las opciones del servidor.
18 opts := s.getOpts()
19
20 // Configurar el estado que puede permitir el apagado
21 s.mu.Lock()
22 hp := net.JoinHostPort(opts.Host, strconv.Itoa(opts.Port))
23 l, e := natsListen("tcp", hp)
24 s.listenerErr = e
25 if e != nil {
26 s.mu.Unlock()
27 s.Fatalf("Error listening on port: %s, %q", hp, e)
28 return
29 }
30 s.Noticef("Listening for client connections on %s",
31 net.JoinHostPort(opts.Host, strconv.Itoa(l.Addr().(*net.TCPAddr).Port)))
32
33 // Avisar de que TLS está habilitado.
34 if opts.TLSConfig != nil {
35 s.Noticef("TLS required for client connections")
36 if opts.TLSHandshakeFirst && opts.TLSHandshakeFirstFallback == 0 {
37 s.Warnf("Clients that are not using \"TLS Handshake First\" option will fail to connect")
38 }
39 }
40
41 // Si el servidor se inició con RANDOM_PORT (-1), opts.Port sería igual
42 // a 0 al principio de esta función. Por eso necesitamos obtener el puerto real
43 if opts.Port == 0 {
44 // Escribir el puerto resuelto de nuevo en las opciones.
45 opts.Port = l.Addr().(*net.TCPAddr).Port
46 }
47
48 // Ahora que el puerto se ha establecido (si era RANDOM), configurar el
49 // Host/Port de INFO del servidor con los valores de Options o
50 // ClientAdvertise.
51 if err := s.setInfoHostPort(); err != nil {
52 s.Fatalf("Error setting server INFO with ClientAdvertise value of %s, err=%v", opts.ClientAdvertise, err)
53 l.Close()
54 s.mu.Unlock()
55 return
56 }
57 // Guardar las URL de conexión de los clientes. Podríamos necesitarlas más adelante.
58 s.clientConnectURLs = s.getClientConnectURLs()
59 s.listener = l
60
61 go s.acceptConnections(l, "Client", func(conn net.Conn) { s.createClient(conn) },
62 func(_ error) bool {
63 if s.isLameDuckMode() {
64 // Indicar que ya no se aceptan nuevos clientes
65 s.ldmCh <- true
66 // Ahora esperar al Shutdown...
67 <-s.quitCh
68 return true
69 }
70 return false
71 })
72 s.mu.Unlock()
73
74 // Informar al llamador de que estamos listos
75 close(clr)
76 clr = nil
77}
- Como referencia, la función AcceptLoop realiza los siguientes pasos. Las partes relacionadas con la comunicación de red, como
TLSohostPort, no son necesarias en la comunicación in-process, por lo que pueden omitirse sin problema.
Cliente
InProcessServer
1
2// nats-go/nats.go
3
4// Connect intentará conectarse al sistema NATS.
5// La url puede contener semántica de usuario/contraseña. p. ej. nats://derek:pass@localhost:4222
6// También se admiten arrays separados por comas, p. ej. urlA, urlB.
7// Las opciones parten de los valores por defecto, pero pueden sobrescribirse.
8// Para conectarse al puerto websocket de un servidor NATS, use el esquema `ws` o `wss`, por ejemplo
9// `ws://localhost:8080`. Tenga en cuenta que los esquemas websocket no pueden mezclarse con otros (nats/tls).
10func Connect(url string, options ...Option) (*Conn, error) {
11 opts := GetDefaultOptions()
12 opts.Servers = processUrlString(url)
13 for _, opt := range options {
14 if opt != nil {
15 if err := opt(&opts); err != nil {
16 return nil, err
17 }
18 }
19 }
20 return opts.Connect()
21}
1// nats-go/nats.go
2
3// Options puede usarse para crear una conexión personalizada.
4type Options struct {
5 // Url representa una única URL del servidor NATS al que el cliente
6 // se conectará. Si también se establece la opción Servers,
7 // pasa a ser el primer servidor del array Servers.
8 Url string
9
10 // InProcessServer representa un servidor NATS que se ejecuta dentro del
11 // mismo proceso. Si se establece, intentaremos conectarnos al
12 // servidor directamente en lugar de usar conexiones TCP externas.
13 InProcessServer InProcessConnProvider
14
15 //...
16}
1// nats-go/nats.go
2
3type InProcessConnProvider interface {
4 InProcessConn() (net.Conn, error)
5}
- La función
Connect, que establece la conexión entre el servidor y el cliente NATS, permite configurar la URL del cliente y las opciones de conexión. El struct Options, que reúne dichas opciones, contiene un campo llamadoInProcessServerde tipo interfaceInProcessConnProvider.
1// main.go of example code
2
3// Inicializar un nuevo servidor con las opciones
4ns, err := server.NewServer(opts)
5
6//...
7
8// Conectarse al servidor mediante una conexión in-process
9nc, err := nats.Connect(ns.ClientURL(), nats.InProcessServer(ns))
- Cuando el cliente NATS llama a Connect y pasa
nats.InProcessServer(ns), como valor del campoInProcessServer,
1// nats-go/nats.go
2
3// InProcessServer es una Option que intentará establecer una conexión directa con un servidor NATS
4// que se ejecuta dentro del proceso, en lugar de conectarse mediante TCP.
5func InProcessServer(server InProcessConnProvider) Option {
6 return func(o *Options) error {
7 o.InProcessServer = server
8 return nil
9 }
10}
- la opción InProcessServer del option se sustituye por el servidor NATS embebido,
1// nats-go/nats.go
2
3// createConn se conectará al servidor y envolverá las
4// estructuras bufio apropiadas. Actuará correctamente cuando
5// ya exista una conexión.
6func (nc *Conn) createConn() (err error) {
7 if nc.Opts.Timeout < 0 {
8 return ErrBadTimeout
9 }
10 if _, cur := nc.currentServer(); cur == nil {
11 return ErrNoServers
12 }
13
14 // Si tenemos una referencia a un servidor in-process, establecer una
15 // conexión usando esa referencia.
16 if nc.Opts.InProcessServer != nil {
17 conn, err := nc.Opts.InProcessServer.InProcessConn()
18 if err != nil {
19 return fmt.Errorf("failed to get in-process connection: %w", err)
20 }
21 nc.conn = conn
22 nc.bindToNewConn()
23 return nil
24 }
25
26 //...
27}
- Esta interface se utiliza en la función
createConn, que crea la conexión. Si la opciónInProcessServerno es nil (es válida), ejecuta elInProcessConnde la opción InProcessServer,
1// nats-server/server/server.go
2
3// InProcessConn devuelve una conexión in-process con el servidor,
4// evitando la necesidad de usar un listener TCP para la conectividad local
5// dentro del mismo proceso. Puede usarse independientemente del
6// estado de la opción DontListen.
7func (s *Server) InProcessConn() (net.Conn, error) {
8 pl, pr := net.Pipe()
9 if !s.startGoRoutine(func() {
10 s.createClientInProcess(pl)
11 s.grWG.Done()
12 }) {
13 pl.Close()
14 pr.Close()
15 return nil, fmt.Errorf("failed to create connection")
16 }
17 return pr, nil
18}
- Se invoca la función
InProcessConnimplementada en el servidor. - Esta función se llama desde
nats.go, el cliente Go de NATS, cuando la opciónInProcessServerdel nc (conexión NATS) no es nil; crea la conexión (net.Conn) y la vincula a la conexión del servidor.
Interfaces de Go definidas por el consumidor
A type implements an interface by implementing its methods. There is no explicit declaration of intent, no "implements" keyword. Implicit interfaces decouple the definition of an interface from its implementation, which could then appear in any package without prearrangement.
Interfaces are implemented implicitly, A Tour of Go
If a type exists only to implement an interface and will never have exported methods beyond that interface, there is no need to export the type itself.
- Este diseño de interfaces encaja bien con lo que en Go se conoce comúnmente como consumer defined interface y con el tipado estructural (duck typing), por lo que me gustaría presentar también este tema.
1// nats-go/nats.go
2
3// Options puede usarse para crear una conexión personalizada.
4type Options struct {
5 // Url representa una única URL del servidor NATS al que el cliente
6 // se conectará. Si también se establece la opción Servers,
7 // pasa a ser el primer servidor del array Servers.
8 Url string
9
10 // InProcessServer representa un servidor NATS que se ejecuta dentro del
11 // mismo proceso. Si se establece, intentaremos conectarnos al
12 // servidor directamente en lugar de usar conexiones TCP externas.
13 InProcessServer InProcessConnProvider
14
15 //...
16}
1// nats-go/nats.go
2
3type InProcessConnProvider interface {
4 InProcessConn() (net.Conn, error)
5}
- Volvamos al código. En el cliente nats.go, el campo de struct de la opción
InProcessServerse ha definido como la interfaceInProcessConnProvider, que solo realizaInProcessConn.
1// nats-server/server/server.go
2
3// InProcessConn devuelve una conexión in-process con el servidor,
4// evitando la necesidad de usar un listener TCP para la conectividad local
5// dentro del mismo proceso. Puede usarse independientemente del
6// estado de la opción DontListen.
7func (s *Server) InProcessConn() (net.Conn, error) {
8 pl, pr := net.Pipe()
9 if !s.startGoRoutine(func() {
10 s.createClientInProcess(pl)
11 s.grWG.Done()
12 }) {
13 pl.Close()
14 pr.Close()
15 return nil, fmt.Errorf("failed to create connection")
16 }
17 return pr, nil
18}
- Sin embargo, el tipo que se pasa es el
Serverde nats-server, que realiza muchas otras funciones además deInProcessConn. - Esto se debe a que, en este caso, al cliente solo le interesa si se proporciona la interface
InProcessConno no; el resto de funciones no le importan demasiado. - Por ello, nats.go solo utiliza la interface
InProcessConnProvider, una consumer defined interface que define únicamente la funciónInProcessConn() (net.Conn, error).
Conclusión
- Se ha tratado brevemente el modo embedded de NATS, su funcionamiento y la consumer defined interface de Go que puede verse en el código de NATS.
- Espero que esta información resulte útil para quienes utilizan NATS con este mismo propósito, y doy por concluido este artículo.