빅데이터 처리시스템의 정의는 무엇이라고 할 수 있을까요? 간단히 정의하면 빅데이터 처리시스템은 “대량의 데이터를 분산 병렬 처리하고 관리하는 시스템” 이라고 할 수 있습니다. 여기서 중요한 것이 분산 병렬처리와 프레임워크 라는 말입니다. 먼저 프레임워크라는 말의 정의를 살펴보겠습니다. 빅데이터를 위한 프레임워크는 단일 소프트웨어가 아니라 복잡한 문제를 해결하는 소프트웨어 구조의 개념입니다. 이 프레임워크 안에는 각각의 단일 기능을 수행하는 별도의 소프트웨어들이 존재하며 이 소프트웨어들은 유기적으로 데이터를 수집하고 저장하고 관리합니다. 빅데이터는 3V라는 특징이 있다는 것에 대해서 설명해 드렸습니다. 3V는 – Volume, Variety, Velocity 라고 말씀드렸던것 기억하실겁니다. 이러한 특징을 가진 데이터를 처리하는 시스템을 빅데이터처리시스템이라고 합니다. 그렇다면 이런 시스템은 어떤 특징이 있을까요? 대량의 데이터를 처리할 수 있는 것은 당연한 조건이죠. 그러기 위해서 사용하는 시스템이 분산파일시스템입니다.