Apache Superset: EP2 - 🏛️ Superset 내부 구조 - 어떻게 동작할까?

Apache Superset의 구조

아파치 수퍼셋은 네 개의 주요 레이어로 구성되어 있어요. 첫 번째는 사용자 인터페이스(UI)로, 리액트와 RESTful API를 사용해 개발되었습니다. 이 프론트엔드는 사용자가 대시보드와 차트를 직관적으로 만들 수 있도록 도와주는데요, 특히 드래그 앤 드롭 방식으로 대시보드를 생성할 수 있어 사용자 친화적인 경험을 제공합니다.

두 번째 레이어는 백엔드입니다. 수퍼셋의 백엔드는 플라스크(Flask)라는 파이썬 기반의 웹 프레임워크로 구현되어 있습니다. 플라스크는 많은 기능을 제공하며, 이를 통해 사용자 인증, 쿼리 실행, 메타데이터 관리 등을 처리합니다. 플라스크의 장점 중 하나는 다양한 플러그인과의 호환성으로, 기업 환경에서도 쉽게 사용할 수 있는 점이죠.

세 번째 레이어는 메타데이터베이스입니다. 이곳에서는 대시보드, 차트, 사용자 정보 등의 메타데이터가 저장됩니다. 일반적으로 PostgreSQL이나 MySQL과 같은 데이터베이스를 사용하고, 메타데이터를 통해 데이터 시각화 로직을 관리하게 됩니다.

마지막으로 외부 데이터 소스와의 연결입니다. 수퍼셋은 데이터를 직접 저장하는 것이 아니라, 다양한 외부 데이터 소스와 연결하여 실시간으로 데이터를 가져옵니다. 이를 통해 데이터의 중복성을 줄이고, 항상 최신의 데이터를 활용할 수 있습니다.

프론트엔드와 백엔드의 역할

수퍼셋의 프론트엔드는 리액트로 구성되어 있어 반응형 UI를 제공합니다. 사용자는 SQL 랩을 통해 SQL을 쉽게 작성할 수 있으며, 이 과정에서 SQL 쿼리 결과를 즉시 확인할 수 있습니다. 이러한 인터페이스는 사용자가 데이터를 시각화하는 데 필요한 모든 도구를 제공합니다.

반면, 백엔드는 플라스크로 작성되어 여러 기능을 처리합니다. 예를 들어, 쿼리 실행은 SQLAlchemy를 통해 수행됩니다. 이 과정에서 쿼리를 비동기적으로 처리하여 UI가 블로킹되지 않도록 합니다. 또한, SQL 쿼리가 오래 걸릴 경우, 셀러리 워커를 사용하여 백그라운드에서 쿼리를 실행하게 됩니다. 이를 통해 대량의 쿼리를 동시에 처리할 수 있는 스케일 아웃 기능을 제공합니다.

백엔드는 보안 측면에서도 중요한 역할을 하는데, 다양한 인증 방식을 지원하여 기업 환경에서도 안전하게 사용할 수 있도록 설계되어 있습니다. 데이터셋과 대시보드에 대해 롤 기반 접근 제어를 구현할 수 있어, 데이터 보안성이 높아집니다.

메타데이터와 쿼리 실행

메타데이터는 수퍼셋의 핵심적인 부분으로, 대시보드와 차트의 설정 정보를 포함하고 있습니다. 이 메타데이터는 데이터 시각화의 로직을 정의하며, 각 데이터 소스와의 연결을 관리합니다. 메타데이터베이스에 저장된 정보 덕분에, 사용자는 동일한 데이터 소스를 기반으로 다양한 시각화를 생성할 수 있게 됩니다.

쿼리 실행 과정에서는 SQLAlchemy가 주 역할을 합니다. 사용자가 SQL 쿼리를 작성하면, 이 쿼리는 백엔드에서 실행되고 결과가 사용자에게 반환됩니다. 셀러리 워커는 쿼리 실행을 비동기적으로 처리하여, 사용자 인터페이스의 반응성을 높입니다. 결과적으로, 대량의 쿼리를 동시에 실행하더라도 UI는 항상 원활하게 작동할 수 있습니다.

마지막으로, Redis는 쿼리 결과 캐싱과 메시지 큐 역할을 수행합니다. 쿼리가 자주 반복되는 경우, Redis를 통해 성능을 향상시킬 수 있습니다. 이처럼 메타데이터와 쿼리 실행은 아파치 수퍼셋의 성능과 유연성을 극대화하는 중요한 요소입니다.