[Netty] Netty로 배워보는 Non-blocking I/O 기초

오늘은 Java 네트워크 프로그래밍의 꽃인 Netty에 대해 알아보겠습니다.

 

 

 

What is Netty ?

Netty를 들어보신 분들이라면 아마 한 번 쯤 c10k 문제라는 것을 경험해보셨거나 관심을 가졌을만한 분이실 것 같습니다. Netty는 JVM에서 사용할 수 있는 Java NIO 기반의 Non-blocking 프레임워크입니다. 어느 특정 프로토콜(HTTP 등)의 서버를 구현하는 것이 아닌 TCP, UDP의 네트워크 통신을 Non-blocking I/O로 처리하여 서버와 클라이언트를 개발하는 프레임워크입니다.

 

Non-blocking이 무엇인가요? 간단하게 설명하자면, 어떠한 작업을 막힘없이 이어나갈 수 있도록 하는 것입니다. 

 

간단한 예시를 들어보자면 우리가 맛있는 맛집에가서 음식을 먹으러 갔습니다. 그런데, 음식을 만드는 사람이 주문도 받고, 결제도 하고 요리도 한다면? 그러면 한 사람이 모든 일을 다 처리해야 하기 때문에 주문을 받다가도 음식도 만들어야 하고, 결제도 하는 등 중간 중간의 일들이 순차적으로 막히면서 작업이 진행됩니다. 이러면 일이 빨리 진행되지 못히죠.

 

그래서 주문받는 사람, 결제받는 사람, 음식 만드는 사람을 별도로 두어, 주문이라는 일련의 과정을 막힘없이 진행하도록 하는 것을 컴퓨터에서는 Non-blocking이라고 합니다.

 

 

 

Netty를 사용하게 된 계기

저는 JVM 언어로 보통 코틀린을 사용합니다. 코틀린에서는 동시성 처리를 위해 Java의 Thread와 Kotlin Extension의 Coroutine을 사용할 수 있습니다.

 

하지만 스레드를 사용한 동시성 처리는 비록 그 스레드가 경량 스레드라고 할지더라도 컴퓨터의 자원을 그만큼 소모하게 됩니다. 스레드의 생성 갯수는 한정되어 있고, 우리는 하나의 호스트에서 더 많은 리소스를 처리하기 위해 좀 더 고민을 하게 되었는데, 그러던 중 Java의 NIO를 이용한 Netty 프레임워크를 보게 되었습니다.

 

Java의 NIO는 Java에서 데이터 입출력을 지원해주는 패키지로 과거 IO에서는 입출력을 스트림(Stream)로 사용했다면 NIO는 채널(Channel)을 이용해 입출력을 진행하여 Blocking 뿐만 아니라 Non-blocking도 지원합니다.

 

게다가 NIO의 Non-blocking의 핵심 객체는 멀티플렉서(Multiplexor)와 셀렉터(Selector)로 이벤트 기반을 통해 처리 완료된 채널을 선택하여 작업을 처리할 수 있도록 하여 단일 스레드로도 다중 처리할 수 있는 최고의 방법이라고 생각했습니다.

 

자세한 이야기는 아래의 블로그에서 좀 더 자세하게 볼 수 있습니다.(https://dev-coco.tistory.com/42)

 

 

 

Netty Architecture

Netty 아키텍처는 기본적으로 SEDA(Staged Event-Driven Architecture)를 기반의 이벤트 기반 아키텍처를 이용하고 있습니다.

 

코어 부분을 보면 확장 가능한 이벤트 모델과 다양한 프로토콜을 지원을 위한 코덱이 있습니다. Netty는 이벤트 기반 프로그래밍을 통해 객체에 이벤트를 부여하여 특정 이벤트가 발생했을 때 처리를 다르게 진행해주는 방식을 이용합니다.

 

이러한 이벤트 기반 프로그래밍은 Java NIO Non-blocking 소켓의 Selector를 이용한 방식이며 단일 스레드 내에 Selector를 통해 여러 클라이언트의 요청을 동시적으로 처리할 수 있도록 합니다.

 

Selector를 모르는 분들을 위해 잠깐 설명드리면, 블로킹 소켓을 이용해 서버를 개발했을 때 다수 유저의 요청을 받기 위해서는 위와 같이 소켓 하나당 스레드를 부여하여야 합니다. 기본적으로 소켓이 Blocking이기 때문에 하나의 유저가 그 소켓을 물고 있는 동안은 동시의 일을 처리할 수 없기 때문입니다.

 

하지만 Selector는 단일 스레드 내에 Selector 객체를 넣어 클라이언트의 요청을 담은 소켓을 Selector에 넣고 이벤트로 관리하는 형태입니다. 이 관리 객체를 Java NIO의 채널(Channel)이라 합니다.

 

실제로 Java NIO에서는 ServerSocketChannel, SocketChannel을 논블로킹 소켓으로 사용하며 클라이언트의 요청이 들어왔음을 감지하기 위해 OP_ACCEPT라는 이벤트를 사용합니다.

 

 

 

Netty를 사용해야 하는 이유

Java NIO는 Non-blocking I/O를 제공해주는 코어에 속하지만 그 사용법은 기본적인 네트워크 지식과 네트워크 프로그래밍 경험이 없다면 어렵습니다. 애플리케이션 개발자가 이러한 지식을 자세히 알지 않아도 최대한 애플리케이션 개발에 집중할 수 있도록 개발한 것이 바로 Netty 입니다.

 

예를 들어 우리가 직접 NIO를 이용해 Non-blocking 소켓을 이용하여 HTTP 웹 서버를 개발한다고 가정해보겠습니다. TCP 소켓을 사용한다면 우리는 아래의 과정을 일괄적으로 구현해야 합니다.

 

• 사용할 소켓을 학습 및 구현 (NIO ServerSocketChannel, Selector)
• accept 이벤트 정의
• HTTP Header, body의 요청을 받아낼 버퍼 정의, 응답 헤더 및 바디의 보일러플레이트 정의

Netty는 Spring처럼 이러한 일련의 라이브러리를 쉽게 사용할 수 있도록 제공하는 프레임워크로써 애플리케이션 프로토콜에 필요한 코덱을 제공하고 소켓을 생성하는 등 애플리케이션 개발 외에 필요한 네트워크 프로그래밍을 쉽게 하도록 도와줍니다.

 

 

 

Netty's core components

우리는 Netty로 Non-blocking I/O 서버 및 클라이언트를 개발하기 위해 아래의 컴포넌트를 이용하여 이벤트 기반 프로그래밍을 진행합니다. 

 

• Channels
• Callbacks
• Future
• Events and handlers

 

자세히 보면 JDK 8에서 제공하는 API들입니다. 차례로 살펴보면 Channel은 기본적으로 하드웨어에서 발생하는 I/O 신호들을 처리하는 객체입니다. 여기서는 NIC에서 발생하는 네트워크의 요청/응답 신호를 처리한다고 보시면 됩니다.

 

Callback은 우리가 흔히 이야기하는 콜백 함수를 이야기 합니다. 콜백에 대해 어려워하시는 분들이 많으신데, 콜백은 단순히 메서드에 불과합니다. 다만 우리가 함수에 그 인자를 변수가 아닌 함수를 사용하는 것이며 이를 통해 전자의 함수가 후자의 함수를 적절한 시간에 호출한다는 특성을 이용하 것 뿐입니다.

 

여기서 적절한 시간이란, 후자의 함수가 끝나기 전에 전자의 함수가 종료될 수 없음을 이야기 합니다. 후자의 함수가 I/O wait 상태인 경우 그를 종료할 시간을 응답핧 때까지로 할 것인가, 아니면 특정 시간을 정해놓을 것인가는 개발자의 판단인 것이죠. Non-blocking I/O에 있어서 이러한 작업은 필수적입니다. 왜냐하면 Blocking I/O는 서버에서 응답할 때까지 계속 기다리지만 Non-blocking I/O는 서버에서 응답할 때까지 기다리는 동안 다른 작업을 수행해야 하여야 하기 때문입니다.

 

Netty에서는 이런 콜백을 ChannelHandler라는 이름의 인터페이스를 통해 이용합니다. 차후 포스트에서 Netty에서 제공하는 각각의 컴포넌트에 대해 다뤄볼 때 자세히 이야기 해보겠습니다.

 

Futures는 JDK 8에서 제공하는 비동기 메커니즘으로 작업이 완료되었을 때 애플리케이션에게 알려주는 역할을 합니다. Javascript의 Promise와 유사하며 응답을 지금 바로 하지 않고, "언젠가 응답 해줄게"라는 의미로 사용합니다.

 

Netty에서는 ChannelFuture라는 별도의 인터페이스를 사용하는데, 사실상 JDK 8의 Future를 이용한 것인데, 기본적인 인터페이스 구조에서는 작업이 완료되었는지를 수동으로 확인해야하거나, 완료될 때까지 blocking 해야하는 매커니즘만 제공하는 불편함에 Netty에서는 자체적으로 ChannelFuture 인터페이스를 사용합니다. 이 부분도 차후 포스트에서 자세히 다뤄보겠습니다.

 

마지막으로 Events and handlers는 우리가 지금까지 이야기 해왔던 Selector의 이벤트와는 조금 다릅니다. 물론 같은 이벤트긴 하지만 Netty 프레임워크 내에서 자체적으로 사용할 이벤트를 이야기하는 것으로 가령 네트워크 연결에 성공/실패, 특정 애플리케이션 프로토콜을 통한 요청 성공/실패, 응답 성공/실패 등 네트워크에서 발생하는 다양한 이벤트를 처리하는 것을 이야기 합니다.

 

 

 

마치며...

여기까지 Netty로 Non-blocking I/O에 대해 간단히 살펴봤습니다. 최근에 Netty를 만지게 되면서 Callback의 아픔을 겪어야 하는 고통이 이루 말할 수 없지만 다시금 논블로킹 I/O와 c10k 이슈를 다루면서 잊었던 CS 지식을 떠올리는 프로그래밍의 재미를 느끼고 있습니다.

 

다음 포스트에서는 Netty의 주요 API를 다뤄보도록 하겠습니다.