시작하면서

데이터 로그 설계에 대해 최근 처음 접하게 되면서 정리한 내용을 공유해보려고 합니다. 아직 초보자의 관점에서 이해한 내용이라 부족할 수 있지만, 천천히 함께 배워가는 의미로 적어봅니다.
이후에 추가적으로 로그에 대한 생각이 추가되면 더 추가할 예정입니다.

데이터 로그 설계란 무엇일까?

데이터 로그 설계는 서비스 운영과 사용자 행동을 기록하여 서비스의 성장과 개선을 위한 기반을 마련하는 과정입니다. 즉, 사용자의 모든 행동과 서비스 내부에서 발생하는 주요 이벤트를 데이터로 기록하는 방식을 계획하는 것입니다.

데이터 로깅이란?

데이터 로깅(Data Logging)이란 사용자가 앱이나 서비스를 사용할 때마다 발생하는 행동이나 이벤트를 데이터로 기록하는 것입니다. 보통 이 데이터를 사용자 로그 데이터(User Log Data) 혹은 이벤트 로그 데이터(Event Log Data)라고 부릅니다.

데이터의 종류

로그 데이터는 크게 두 가지로 나눌 수 있습니다.

1. 서비스 로그

데이터베이스 데이터와 같이 서비스가 정상적으로 운영되기 위해 반드시 필요한 데이터를 기록합니다.
주로 시스템 모니터링이나 장애 발생 시 원인을 분석하는 데 사용됩니다.

2. 유저 행동 로그

사용자의 행동과 상호작용 시 발생하는 데이터를 기록합니다.
주로 사용자의 경험을 개선하거나 제품을 더욱 효과적으로 발전시키기 위한 분석 용도로 사용됩니다.

좋은 로그란 무엇인가?

서비스 로그의 관점에서 좋은 로그란 다음의 특성을 갖추어야 합니다.

필요한 정보를 담고 있어야 합니다.
- 로그의 목적을 한 문장으로 명확히 정의할 수 있어야 합니다.
- 목표에 따라 데이터 수집의 범위와 지표의 구성을 결정해야 하며, 필요에 따라 점진적으로 발전시켜 나가야 합니다.
명확한 의미와 일관성 있는 구성
- 같은 구성 요소에 대해서 동일한 항목을 기록합니다.
- 예를 들어, 게임 내에서 아이템을 획득하는 이벤트라면 '플레이어'와 '아이템'과 같은 구성 요소를 항상 일관되게 포함시켜야 합니다.
신뢰할 수 있는 데이터
- 로그는 반드시 의도한 시점과 방식으로 기록되어야 합니다.
- 데이터의 변조 가능성과 오류 가능성을 최소화하는 방식으로 설계해야 합니다.
명확한 이름과 규약
- 항목과 이벤트의 이름은 최대한 구체적이고 직관적으로 만들어야 합니다.
- 이름 변경은 비용이 크기 때문에 처음부터 신중히 결정해야 합니다.
- 시작과 종료 시점을 별도의 상태로 구분할지, 단일 상태로 처리할지 결정해야 합니다.
- NULL이나 빈 값을 어떻게 해석할지 명확한 기준이 있어야 합니다.

데이터 로그 설계를 위한 기본 상식

데이터가 어디에서 발생하는지, 즉 원천 데이터를 명확히 이해하는 것이 중요합니다. 원천 데이터를 정확히 파악해야 필요한 데이터를 놓치지 않고, 데이터를 수집하는 과정에서 오류를 최소화할 수 있습니다.

로그가 중요한 이유는 무엇인가?

로그 데이터를 쌓는 궁극적인 목적은 서비스 성장과 사용자 만족도를 높이는 것입니다. 사용자의 행동을 이해하고 서비스가 어떻게 사용되는지 파악하면, 서비스를 개선할 수 있는 명확한 방향과 근거를 얻을 수 있습니다.

서비스의 목표가 변화하거나 진화함에 따라 로그 수집과 지표 역시 지속적으로 변화하고 발전해야 합니다. 목표와 우선순위를 잘 정의하고, 이를 반영하여 점진적으로 개선해나가는 것이 중요합니다.

💡

지금까지 데이터 로그 설계가 서비스의 성장과 개선을 위한 중요한 기반이라는 점을 살펴보았습니다. 그렇다면 쌓여진 이 로그 데이터를 어떻게 하면 더욱 의미 있고 효율적으로 활용할 수 있을까요? 여기서 데이터의 단순한 기록을 넘어, 데이터를 인간의 의사결정과 연결해 더 깊은 가치를 창출하는 팔란티어의 '온톨로지(Ontology)' 개념을 살펴보고자 합니다.

팔란티어 플랫폼과 온톨로지: 데이터가 아닌 의사결정을 담다

팔란티어(Palantir)는 단순히 데이터를 모으고 관리하는 것 이상의 목표를 지향하는 기업이다. 팔란티어의 비전은 데이터를 통해 인간 중심의 분석과 의사결정을 지원하고, 궁극적으로 인간의 지능을 보조하는 데 있다.

이번 글에서는 팔란티어의 플랫폼 구성과 온톨로지라는 개념이 어떻게 데이터와 의사결정을 연결하는 핵심 역할을 하는지 다뤄보고자 한다.

팔란티어 플랫폼 구성 개요

팔란티어 플랫폼은 크게 3가지 핵심 제품으로 구성된다.

Foundry(파운드리): 데이터 운영 플랫폼으로 기업 내 흩어진 데이터를 통합하고 활용 가능한 형태로 제공한다.
Apollo(아폴로): 자율 소프트웨어 배포 시스템으로서, 다양한 환경에서 소프트웨어를 빠르고 안정적으로 배포할 수 있도록 돕는다.
AIP(Artificial Intelligence Platform): AI 기반 제품 생태계로, LLM(대규모 언어모델), 비전 언어 모델, 모바일 애플리케이션 등 다양한 AI 모델과 애플리케이션을 통해 실시간 AI 의사결정을 가능하게 한다.

데이터가 아니라 의사결정을 표현하는 팔란티어

“팔란티어는 데이터의 표현이 아니라 의사결정을 표현한다.”

팔란티어의 핵심 철학은 데이터를 '데이터 그 자체'로만 보지 않고, 데이터와 논리(Logic), 행동(Actions)을 결합해 의사결정으로 표현한다는 점이다.

데이터(Data): 서비스에서 생성된 로그와 다양한 원본 데이터를 의미한다.
논리(Logic): 기업의 전략적 목표와 우선순위를 나타낸다.
행동(Actions): 사용자나 고객이 실제로 서비스를 사용하며 나타내는 행동 데이터로 표현된다.

팔란티어는 이러한 개념들을 실제 비즈니스 용어와 개념으로 객체화하여 모델링한다. 기존 데이터 모델링 방식에서 흔히 보이는 정규화, 비정규화 개념과는 다르게, 사람이 직관적으로 이해할 수 있는 방식으로 접근하는 것이다.

온톨로지(Ontology): 왜 데이터에 온톨로지가 필요한가?

온톨로지는 데이터 간 관계와 의미를 구조화하고 개념화하는 접근 방식이다. 팔란티어가 온톨로지를 사용하는 이유는 '인간 중심의 분석'을 위해서다. 팔란티어는 단순 데이터가 아니라 그 데이터가 기업이나 조직에서 어떤 논리와 행동으로 이어지는지 이해하고, 그것을 '객관적 현실(Objective Reality)'로 표현하는 것이 중요하다고 판단했다.

객관적 현실(Objective Reality)이란?

누구에게나 동일한 사실을 의미하며, 조직 내의 서로 다른 부서가 개별적으로 데이터를 해석하는 것이 아니라 모든 부서가 동일한 의미로 해석 가능한 현실을 나타낸다.
팔란티어는 여러 시스템에서 흩어진 데이터를 통합하여 기업 내에서 하나의 공통된 디지털 현실을 구축한다.

팔란티어의 데이터 통합과 온톨로지의 역할

팔란티어가 데이터 통합을 통해 목표로 하는 것은 다음과 같다.

여러 시스템 데이터 동기화: 다양한 시스템의 데이터를 하나로 모으고 정합성을 유지한다.
공통 스키마 적용: 형식과 구조가 다른 데이터를 표준화된 형태로 정리한다.
데이터셋 통합: 여러 데이터를 유기적으로 연결하여 통합된 데이터 모델을 구축한다.
조직 내 공통의 데이터 플랫폼 제공: 모든 팀이 동일한 데이터 기반을 활용하여 각자의 활용 사례를 구축할 수 있도록 지원한다.

이러한 과정을 통해 팔란티어는 데이터의 활용 가능성을 극대화하면서도 데이터의 혼란을 최소화한다.

로그와 데이터, 그리고 의사결정의 관계

기업 내에서 생성되는 로그는 결국 조직의 우선순위와 목표를 이루어나가면서 만들어진 발자취다. 이 발자취를 체계적으로 관리하고 분석 가능하도록 설계하는 것이 매우 중요하다. 즉, 로그를 '언제, 어떻게, 왜'라는 질문을 던지며 쉽게 분석하고 추론할 수 있도록 설계해야 한다.

팔란티어의 온톨로지 개념은 이러한 '의사결정 발자취'를 디지털화하고 연결해준다. 데이터를 인간 중심으로 연결하여 의사결정 과정을 이해할 수 있도록 돕고, 궁극적으로 여러 시스템과 서비스를 하나의 공통된 목표 아래 분석할 수 있도록 지원한다.

팔란티어가 추구하는 인간 중심의 분석

팔란티어가 강조하는 것은 결국 '데이터 자체가 아니라 데이터 너머의 의사결정'이다. 팔란티어는 데이터를 '논리'와 '행동'으로 표현하고, 중간에 온톨로지를 둠으로써 데이터 분석의 방향을 인간의 사고 방식과 더 밀접하게 연결한다.

단순히 숫자와 통계 위주의 데이터 분석이 아닌, 인간의 의사결정 흐름과 기업의 목표를 기반으로 하는 심도 깊은 분석을 가능하게 만든다. 이를 통해 팔란티어는 인공지능이 인간 지능을 대체하는 것이 아니라 보조하고 증강하는 방향으로 나아가는 것을 목표로 하고 있다.

결론 및 생각 정리

좋은 로그 설계는 서비스의 미래를 예측하고, 빠르게 변화하는 시장에서 경쟁력을 확보할 수 있는 핵심 기반입니다. 데이터의 정확성과 일관성 있는 관리가 서비스의 성공과 직결된다는 점을 잊지 않고 신중하게 접근해야 합니다.

로그는 결국 조직의 목표와 우선순위를 이루어나가는 과정에서 자연스럽게 생성되는 비즈니스의 발자취이다. 따라서 로그를 설계할 때는 이러한 발자취가 언제, 어떻게 발생했는지 쉽게 분석하고 추론할 수 있도록 해야 한다.

이러한 로그는 조직 내 목표와 논리를 표현하는 것이기 때문에, 흩어진 데이터를 온톨로지를 통해 공통된 개념으로 통합하여 플랫폼화하는 것이 중요하다. 이를 통해 조직 내 여러 서비스에서 분산되어 있던 데이터를 하나의 관점으로 바라볼 수 있고, 인간 중심의 심층적인 분석이 가능해진다.

즉, 팔란티어는 데이터 자체보다는 데이터와 행동(Actions)을 논리(Logic)와 연결하여, 궁극적으로 사람의 사고방식에 가까운 의사결정 중심의 분석을 지향하는 것으로 이해할 수 있다.

그리고 추가로 팔란티어의 플랫폼에 대해서 더 열심히 살펴봐야겠다는 생각을 했다.

로그와 데이터를 향한 여정

Table of contents