빅 데이터와 AI

빅 데이터와 AI(어떻게 함께 작동합니까?)

 

빅데이터와 AI가 궁금하세요? 빅 데이터가 무엇인지, 인공 지능과 어떤 관련이 있는지, 현대 비즈니스를 위한 사용 사례를 설명합니다.

빅 데이터와 AI는 어떻게 함께 작동합니까? 인공 지능은 관찰과 데이터로부터 의사 결정과 예측을 내리는 방법을 배우는 컴퓨터 시스템의 능력입니다. 빅데이터는 정보를 얻기 위해 마이닝할 수 있는 많은 양의 데이터를 의미합니다.

빅 데이터란 무엇입니까?

"빅 데이터"는 시간이 지남에 따라 변화하는 데이터 기반 기술의 진화를 나타냅니다. 고성능 스토리지, 네트워크 장치 및 클라우드 플랫폼과 같은 컴퓨팅 기술은 데이터 저장 및 처리를 대규모 규모의 실제 작업 집합으로 생각하는 방식을 근본적으로 변경했습니다.

시간이 지남에 따라 데이터 스토리지가 어떻게 구현되었는지 고려하십시오. 원래 장기 보관은 소량만 가능했습니다. 마그네틱 테이프 스토리지는 표준이었으며 하드 드라이브 형태의 더 크고 다시 쓰기가 가능한 스토리지는 수십 년 후 개인용 컴퓨터 시대에 등장했습니다.

하드 드라이브의 용량이 커짐에 따라 컴퓨터가 더 많은 양의 데이터를 처리할 수 있는 능력도 커졌습니다. 1989년이 되면 최고급 기업 또는 취미용 하드 드라이브의 최대 용량이 3GB에 도달할 수 있습니다. 1990년대와 2000년대에 걸쳐 하드 드라이브 용량은 엄청난 변화를 겪었고 2020년까지 소비자가 테라바이트의 데이터를 저장할 수 있는 하드 드라이브를 갖는 것은 드문 일이 아닙니다.

컴퓨팅 및 IT 인프라의 엔터프라이즈 측면에서 우리는 여러 병렬 혁신이 크게 향상되었음을 확인했습니다.

• 하드 드라이브 용량: 하드 드라이브의 크기가 확장됨에 따라 데이터 센터의 용량도 동시에 증가했습니다. 페타바이트 규모의 데이터를 수용하는 서버 센터가 보편화되었고 기업에서는 이 즉시 사용 가능한 스토리지를 사용하여 사용자에 대한 데이터를 대량으로 수집했습니다.
• 온라인 커뮤니티 및 상거래: 온라인 커뮤니케이션, 소셜 미디어 및 전자 상거래의 정상화 증가로 인해 점점 더 많은 사람들이 온라인에서 일상적인 활동을 수행하게 되었습니다. 여기에는 은행 업무, 쇼핑, 친구와 정보 공유, 유용하거나 재미있는 정보 찾기 등이 포함됩니다. 이를 통해 기업은 이러한 활동과 관련된 데이터를 수집할 수 있는 비할 데 없는 기회를 얻을 수 있습니다.
• 고성능 클라우드 컴퓨팅: 2000년대에 고성능 컴퓨팅 애플리케이션은 기존 슈퍼컴퓨터에서 네트워크 처리 클러스터로 이동했습니다. 수집, 처리 및 저장 기능을 결합한 클라우드 플랫폼은 수십 또는 수백 대의 컴퓨터를 하나의 초강력 시스템으로 작동하는 상호 연결된 노드로 활용했습니다.

온라인 인구가 증가하는 HPC와 확장된 스토리지 용량의 결합은 "빅 데이터"로 알려진 데이터 수집 및 처리의 진화로 이어졌습니다.

빅 데이터는 단순히 많은 양의 정보를 수집하고 저장할 수 있는 용량을 의미하지 않는다는 점에 유의하는 것이 중요합니다. 오히려 빅 데이터는 엄청난 양의 데이터를 수집, 정리, 처리하고 애플리케이션에서 사용하고 나중에 사용하기 위해 저장할 수 있는 IT 구성을 나타냅니다. 수집된 IT 시스템은 함께 작동하여 가장 복잡한 계산 문제를 해결하기 위해 페타바이트 규모의 데이터를 운영합니다.

인공 지능이란 무엇입니까?

빅 데이터의 가장 두드러진 응용 중 하나는 인공 지능의 개발입니다.

AI의 개발은 제2차 세계 대전 직후 시작되어 계산 이론, 정보학 및 컴퓨터 과학과 같은 분야와 함께 수학에서 두각을 나타냈습니다.

이 초기 시대에 이론가와 연구자들이 직면한 일반적인 질문은 복잡했지만 명료하게 표현하기는 간단했습니다. 기계가 인간처럼 생각하고 행동할 수 있습니까? 사고 실험과 수학적 증명은 기계가 인간처럼 생각한다는 것이 의미하는 바를 중심으로 구성되었습니다.

AI에 대한 관심이 수년에 걸쳐 증가하고 감소함에 따라 개발이 직면하게 될 주요 벽 중 하나는 리소스 가용성이었습니다. 기계에서 기계 학습 및 의사 결정을 지원하기에 충분한 데이터, 처리 능력 또는 하드웨어 리소스를 적절하게 제공하는 것은 실현 가능하지 않았습니다. 그리고 AI가 로봇 공학, 자연어 처리 및 전문가 시스템과 같은 관련 분야로 분열되면서 그대로 유지되었습니다.

그러나 빅 데이터 클라우드 시스템의 등장으로 상황이 바뀌었습니다. 빅 데이터와 머신 러닝 은 AI를 구동하는 데 중요한 리소스를 제공했습니다. 이러한 리소스에는 다음이 포함됩니다.

• 방대한 데이터 소스: 훈련 기계에는 엄청난 양의 데이터가 필요하며 빅 데이터 플랫폼은 필요한 구조나 형태로 데이터를 즉시 제공할 수 있습니다. 또한 기존 데이터 저장소에서 온라인 전자상거래 플랫폼 및 소셜 미디어 제공업체에 이르기까지 사용 가능한 데이터 소스의 유형이 급격히 증가했습니다.
• 고성능 처리: 현장 프로그래밍 가능한 게이트 어레이, 비휘발성 메모리 익스프레스(Non-Volatile Memory Express) 및 GPU를 통한 병렬 처리의 개발로 인해 컴퓨터가 기계 학습 및 AI 시스템을 지원하는 데 필요한 유형의 계산을 수행할 수 있는 용량이 크게 증가했습니다.
• 하이브리드 클라우드 시스템: AI를 솔루션으로 지원하는 데 필요한 데이터 소스, 컴퓨팅 리소스 및 사용자 인터페이스를 결합할 수 있는 확장 가능하고 유연하며 관리 가능한 클라우드 시스템입니다.

HPC, 빅데이터, 클라우드가 기계 지능을 만들었다는 말은 아닙니다. 그러나 AI를 특정 작업을 수행하도록 훈련 및 구현할 수 있는 상황별 인텔리전스로 AI에 대한 이해를 개선했습니다. 일반적으로 인간보다 낫습니다. 다음 애플리케이션 영역에서는 빅 데이터 기반 AI를 활용합니다.

• 생명 과학
• 보건 의료
• 금융 서비스 및 투자
• 보험 및 위험 모델링
• 게놈 시퀀싱
• 제조 및 공급망 관리
• 소매
• 화학 및 기계 공학
• 자원 및 유틸리티 관리
• 고객 서비스
• 자율주행 자동차

빅 데이터와 AI는 현대 기술에서 어떻게 사용됩니까?

AI 및 빅 데이터의 더 복잡한 응용 프로그램에 들어가기 위해 몇 가지 주요 예가 위에 나열된 영역과 연결됩니다.

• Tesla, Ford 및 자율주행차: Ford와 Tesla 모두 자율주행차 개발을 추진하고 있습니다. 이 자동차는 디지털화된 지도에서 수집한 정보와 차량에 설치된 센서를 통해 수집된 실시간 정보를 사용하는 빅데이터 클라우드 플랫폼과 시뮬레이션을 통해 학습된 AI "두뇌"로 구동됩니다.
• 인간 게놈: 클라우드 플랫폼은 여러 조직에서 주도하는 게놈 시퀀싱 연구를 지원했습니다. 이러한 조직 중 다수는 연구원이 질병을 진단하고 치료하는 새로운 방법을 발견하는 데 도움이 될 수 있는 게놈 서열의 패턴을 찾는 데 도움이 되는 AI 애플리케이션으로 전환하고 있습니다.
• Project Hanover: Microsoft의 AI 플랫폼은 지능형 기계를 사용하여 기계 판독을 강화하는 것을 강조하는 의료 관련 프로젝트입니다. 이러한 시스템은 환자 파일, 차트 및 스캔을 읽고 정보에 입각한 의사가 AI 분석을 기반으로 대상 진단을 내릴 수 있는 "정밀 의학"을 지원하는 포괄적인 의료 사진을 생성할 수 있습니다.
• 게임 : 체스 컴퓨터 Deep Blue는 1996년 6게임 경기에서 Gary Kasparov를 꺾고 큰 인기를 얻었습니다. 1985년 이후 어떤 형태로든 개발된 이 기계는 게임과 같은 창의적이고 전략적인 맥락에서 기계가 인간처럼 생각할 수 있다는 최초의 시연 중 하나였습니다. 그 후손, 특히 DeepMind는 AI 게임 경험을 바둑과 같은 고전 게임과 스타크래프트와 같은 현대 컴퓨터 게임으로 확장했습니다.

이러한 예는 대중 문화에 미치는 영향에서 주목할 만합니다. 현실은 수십 개의 AI 애플리케이션이 보험계리사, 지원 챗봇, 백룸 소매 분석과 같은 소박한 장소에 내장되어 매일 작동한다는 것입니다.

WEKA 빅 데이터 클라우드 아키텍처 로 AI 및 머신 러닝 강화

빅 데이터 및 AI 개발의 핵심은 고성능 컴퓨팅, 클라우드 시스템 및 빠른 액세스 스토리지를 대규모로 결합합니다. 이러한 도구 조합을 통해 예측 빅 데이터 분석 에서 자율 주행 자동차 및 체스 게임 슈퍼 컴퓨터에 이르기까지 모든 것이 가능하고 더 많은 사람들이 사용할 수 있습니다.

WEKA는 머신 러닝 및 AI 플랫폼의 기반으로 고성능 하드웨어 및 클라우드 스토리지를 제공하여 무거운 AI 워크로드를 지원합니다. WEKA 솔루션에 포함된 기능은 다음과 같습니다.

• 여러 소스를 단일 고성능 컴퓨팅 시스템으로 결합하는 능률적이고 빠른 클라우드 파일 시스템
• 업계 최고의 GPUDirect 성능(단일 DGX-2의 경우 113Gbps 및 단일 DGX A100의 경우 162Gbps)
• 거버넌스, 위험 및 규정 준수 요구 사항을 위한 전송 중 및 저장 중 암호화
• 에지, 코어 및 클라우드 개발을 위한 민첩한 액세스 및 관리
• 수십억 개의 파일에서 최대 엑사바이트 규모의 스토리지 확장성