[Storage] 오브젝트(Object) 스토리지?

오브젝트 스토리지란?

객체 스토리지는 파일 또는 블록 스토리지와 같은 보다 전통적인 스토리지 시스템과 비교할 때 비교적 새로운 것입니다. 그렇다면 오브젝트 스토리지란 정확히 무엇일까요? 즉, 기존 파일 스토리지의 확장성 제한을 제거한 비정형 데이터용 스토리지입니다. 무한한 확장성은 오브젝트 스토리지가 클라우드의 스토리지인 이유입니다. Amazon, Google 및 Microsoft를 포함한 모든 주요 퍼블릭 클라우드 서비스는 객체 스토리지를 기본 스토리지로 사용합니다.

 

오브젝트 스토리지는 기존 파일 스토리지에서 사용되는 주소 지정 계층 구조와 달리 기본 제공 제한이 없는 플랫 파일 시스템을 사용하기 때문에 무한한 확장성을 제공합니다. 따라서 오디오, 비디오, 이메일, 건강 기록 및 문서와 같은 방대한 양의 비정형 데이터를 저장할 수 있습니다. 

 

개체 스토리지 정의

오브젝트 스토리지는 데이터를 오브젝트로 관리하는 기술입니다. 모든 데이터는 파일이나 폴더로 나누어지는 대신 여러 물리적 저장 장치에 분산될 수 있는 하나의 큰 저장소에 저장됩니다.

파일 및 블록 스토리지와 같은 보다 전통적인 스토리지 형식과 비교하면 개체 기반 스토리지를 이해하기가 더 쉽습니다.

파일 저장

파일 스토리지는 데이터를 폴더에 저장합니다. 계층적 스토리지라고도 하는 이 방법은 종이 문서가 저장되는 방식을 시뮬레이션합니다. 데이터에 액세스해야 하는 경우 컴퓨터 시스템은 폴더 구조의 경로를 사용하여 데이터를 찾아야 합니다.

파일 스토리지는 전송 수단으로 TCP/IP를 사용하며 장치는 일반적으로 Linux의 NFS 프로토콜과 Windows의 SMB를 사용합니다.

블록 스토리지

블록 스토리지는 파일을 별도의 데이터 블록으로 분할하고 이러한 각 블록을 별도의 데이터 단위로 저장합니다. 각 블록에는 주소가 있으므로 스토리지 시스템은 폴더 경로 없이도 데이터를 찾을 수 있습니다. 또한 데이터를 더 작은 조각으로 분할하여 분산 방식으로 저장할 수 있습니다. 파일에 액세스할 때마다 스토리지 시스템 소프트웨어는 필요한 블록에서 파일을 어셈블합니다.

블록 스토리지는 전송을 위해 FC 또는 iSCSI를 사용하며 장치는 직접 연결된 스토리지로 작동하거나 SAN(Storage Area Network)을 통해 작동합니다.

객체 스토리지

개체 스토리지 시스템에서 메타데이터와 함께 파일 또는 "개체"를 구성하는 데이터 블록은 모두 함께 보관됩니다. 추가 메타데이터가 각 개체에 추가되어 계층 없이 데이터에 액세스할 수 있습니다. 모든 개체는 통합된 주소 공간에 배치됩니다. 개체를 찾기 위해 사용자는 고유 ID를 제공합니다.

개체 기반 스토리지는 전송 수단으로 TCP/IP를 사용하고 장치는 HTTP 및 REST API를 사용하여 통신합니다.

메타데이터는 객체 스토리지 기술의 중요한 부분입니다. 메타데이터는 사용자가 결정하며 기능과 특성에 따라 스토리지 풀의 데이터를 유연하게 분석하고 검색할 수 있습니다.

오브젝트 스토리지의 주요 이점은 장치를 대형 스토리지 풀로 그룹화하고 해당 풀을 여러 위치에 분산시킬 수 있다는 것입니다. 이를 통해 무제한 확장이 가능할 뿐만 아니라 데이터의 복원력과 고가용성이 향상됩니다.

아키텍쳐

ESG 에 따르면 대규모 오브젝트 스토리지 시스템은 다음과 같은 아키텍처 원칙을 기반으로 해야 합니다.

1. 단순성

개체 스토리지 기술은 사용 및 구현이 쉬워야 하며 지속적인 유지 관리에 최소한의 노력이 필요합니다. 클러스터링, 치유 및 조정과 같은 작업은 완전히 자동화되어야 합니다.

2. 프로그래밍 가능성

객체 스토리지 시스템의 데이터는 일반적으로 HTTP 기반 RESTful API인 API를 통해 액세스할 수 있어야 합니다. 개발자는 스토리지 풀에서 프로그래밍 방식으로 모든 작업을 수행할 수 있어야 합니다. 응용 프로그램은 메타데이터를 사용하여 개체를 쿼리할 수 있어야 하며, 대형 스토리지 풀에 저장되어 있는 위치에 관계없이 필요한 개체를 찾을 수 있어야 합니다.

3. 유연성

관리자는 이기종 하드웨어를 하나의 스토리지 풀로 결합하여 다양한 스토리지 장치 및 플랫폼을 다양하게 사용할 수 있어야 합니다. 또한 개체 스토리지는 온프레미스에서 퍼블릭 클라우드로 또는 그 반대로 쉽게 확장되어야 합니다.

4. 클라우드와 같은 소비

클라우드 기반이든 온프레미스 기반이든 개체 스토리지 솔루션은 조직의 다양한 부분의 사용량을 측정하고 실제 사용량에 따라 각 그룹에 요금을 청구할 수 있는 방법이 있어야 합니다.

오브젝트 스토리지 이점

엑사바이트 확장 가능

파일이나 블록 스토리지와 달리 오브젝트 스토리지 서비스는 엑사바이트 이상의 확장성을 가능하게 합니다. 파일 스토리지는 수백만 개의 파일을 저장할 수 있지만 결국 한계에 도달하게 됩니다. 비정형 데이터가 매년 50% 이상 증가함에 따라 점점 더 많은 사용자가 이러한 한계에 도달하고 있거나 미래에 그럴 것으로 예상합니다.

스케일 아웃 아키텍처

개체 스토리지를 사용하면 쉽게 소규모로 시작하여 확장할 수 있습니다. 엔터프라이즈 스토리지에서는 단순한 확장 모델이 황금입니다. 스케일 아웃 스토리지는 매우 간단합니다. 클러스터에 다른 노드를 추가하기만 하면 해당 용량이 사용 가능한 풀로 축소됩니다.

사용자 지정 가능한 메타데이터

파일 시스템에는 메타데이터가 있지만 정보는 제한적이고 기본적입니다(생성된 날짜/시간, 업데이트된 날짜/시간, 소유자 등). 개체 스토리지를 통해 사용자는 나중에 개체를 쉽게 찾는 데 필요한 만큼의 메타데이터 태그를 사용자 정의하고 추가할 수 있습니다. 예를 들어, X-레이는 환자의 나이와 키, 부상 유형 등에 대한 정보를 가질 수 있습니다.

높은 순차 처리량 성능

초기 개체 스토리지 시스템은 성능을 우선시하지 않았지만 지금은 변경되었습니다. 이제 개체 저장소는 높은 순차 처리량 성능을 제공할 수 있으므로 대용량 파일 스트리밍에 적합합니다. 또한 개체 스토리지 서비스는 네트워킹 제한을 제거하는 데 도움이 됩니다. 파일을 여러 파이프를 통해 병렬로 스트리밍하여 사용 가능한 대역폭을 높일 수 있습니다.

유연한 데이터 보호 옵션

데이터 손실을 방지하기 위해 대부분의 기존 스토리지 옵션은 고정 RAID 그룹(함께 결합된 하드 드라이브 그룹)을 활용하며 때로는 데이터 복제와 함께 사용합니다. 문제는 이러한 솔루션이 일반적으로 천편일률적인 데이터 보호로 이어진다는 것입니다. 다양한 데이터 유형에 맞게 보호 수준을 변경할 수 없습니다.

개체 스토리지 솔루션은 어떤 면에서 구식 RAID와 유사하지만 훨씬 더 유연한 삭제 코딩이라는 유연한 도구를 사용합니다. 데이터는 해당 데이터 유형에 필요한 보호를 달성하기 위해 필요에 따라 여러 드라이브 또는 노드에 걸쳐 스트라이프됩니다. 삭제 코딩과 구성 가능한 복제 사이에서 데이터 보호는 더욱 강력하고 효율적입니다.

S3 API 지원

오브젝트 스토리지 솔루션이 출시되었을 때 인터페이스는 독점적이었습니다. 이러한 인터페이스에 작성한 애플리케이션 개발자는 거의 없습니다. 그런 다음 Amazon은 Simple Storage Service 또는 "S3"를 만들었습니다. 그들은 또한 "S3 API"라는 새로운 인터페이스를 만들었습니다. 이후 S3 API 인터페이스는 객체 스토리지 데이터 전송을 위한 사실상의 표준이 되었습니다.

사실상의 표준이 존재하면서 판도가 바뀌었습니다. 이제 S3 호환 애플리케이션 개발자는 안정적이고 성장하는 애플리케이션 시장을 보유하고 있습니다. 서비스 공급자와 Cloudian과 같은 S3 호환 스토리지 공급업체는 이러한 애플리케이션을 배포하는 사용자 집합이 증가하고 있습니다. 이 조합은 빠른 시장 성장을 위한 발판을 마련합니다.

총소유비용(TCO) 절감

비용은 항상 스토리지의 요소입니다. 그리고 개체 스토리지 서비스는 하드웨어/소프트웨어 비용과 관리 비용 모두에서 가장 매력적인 사례를 제공합니다. 소규모로 시작하고 확장할 수 있도록 함으로써 이 기술은 추가 인력과 사용하지 않는 공간의 형태로 낭비를 최소화합니다. 또한 객체 스토리지 시스템은 본질적으로 관리하기 쉽습니다. 단일 네임스페이스 내의 무제한 용량, 구성 가능한 데이터 보호, 지리적 복제 및 클라우드에 대한 정책 기반 계층화를 통해 대규모 데이터 관리를 위한 강력한 도구입니다.