우리는 컴퓨터, 인터넷, 모바일 기기 등을 통해 정보를 제공하고, 제공 받고, 공유하며 살고 있다. 온라인 쇼핑을 하며 우리가 남기는 수많은 발자취들, 직접 제작하여 온라인에 업로드한 문자 및 영상 자료들, 우리 주변 곳곳에 있는 CCTV에 녹화된 영상 등 실생활에서 인지하지는 못하지만 우리는 매일 수많은 정보를 생성한다. 정보들은 자동적으로 데이터로 저장되는데, 그 막대한 양의 데이터를 관리하고 분석, 활용하는 일의 중요성이 점점 커지고 있다. 이러한 시대 흐름에 따라 ‘21세기 석유’라 불리며 미래 경쟁력을 좌우하는 핵심 자원으로 떠오르고 있는 것, 바로 빅데이터다.
빅데이터는 우리 생활과 어떤 관련이 있을까?
# 빅데이터란?
빅데이터란, 과거 아날로그 환경에서 생성되던 데이터 보다 그 규모가 방대하여 기존의 방법이나 도구로 수집, 저장, 분석 등이 어려운 데이터들을 의미한다. 빅데이터는 문자와 영상, 위치 등 다양한 형태의 데이터를 모두 포함한다.
# 빅데이터 특징
빅데이터의 특징은 흔히 ‘3V’로 이야기한다. 첫째 V가 의미하는 것은 Volume으로 데이터의 양이다. 데이터의 양을 나타내는 단위는 KB(킬로바이트), MB(메가바이트), GB(기가바이트), TB(테라바이트), PB(페타바이트) 등이 있다. 단위들 사이의 관계는 다음과 같다.
1,024KB=1MB
1,024MB=1GB
1,024GB=1TB
1,024TB=1PB
문서 파일 하나의 크기는 대체로 KB 단위이고, 영화 한 편이 담긴 영상 파일 하나의 크기는 대체로 2.5GB 정도다. 빅데이터는 TB(테라바이트) 단위 이상의 대량 데이터다. 이는 빅데이터의 가장 기본적인 특징이며, 다양한 경로를 통해 계속해서 생성되어 그 규모가 점차 증가하고 있음을 의미한다.
둘째 V가 의미하는 것은 Velocity, 즉 데이터의 속도다. 최대한 빠른 시간 안에 많은 양의 데이터가 생성되고, 저장되며, 시각화 되어야 한다. 이 과정이 실시간으로 처리되어야 하므로 빠른 속도는 중요한 요소이며, 이를 위한 다양한 기술이 발전하였다.
셋째 V가 의미하는 것은 Variety, 형태의 다양성을 뜻한다. 데이터는 그 형태에 따라 정형 데이터, 반정형 데이터, 비정형 데이터로 나눌 수 있다. 정형 데이터는 미리 정해 놓은 형식과 구조에 따라 고정된 필드에 저장되는 데이터로, 로그 데이터, RDB, 스프레드시트 등이 있다. 반정형 데이터는 고정된 필드에 저장되지만 데이터의 형식과 구조가 변경될 수 있는 데이터로, HTML, XML, 웹문서, 웹로그, 센서 데이터 등이 있다. 비정형 데이터는 형식화 된 구조가 없는 데이터로, 이메일, SNS 데이터, QR코드, GPS, 오디오, 비디오 등이 있다. 이렇듯 데이터는 매우 다양한 형태로 존재하고, 빅데이터는 이 모든 형태의 데이터를 포괄한다.
# 일상 깊숙이 스며든 빅데이터
SNS, 동영상 공유 사이트, 인터넷 쇼핑몰 등을 사용할 때, 내가 자주 찾아보는 종류의 영상이나 상품들을 추천 받는 경험을 해 본 적이 있을 것이다. 내가 보았던 정보를 데이터로 기록하고, 분석하여 맞춤형 정보를 제공하는 이러한 일을 가능하게 만든 것이 바로 빅데이터이며, 기업에서 마케팅 전략으로 많이 사용되고 있다. 뿐만 아니라 빅데이터는 자연 재해, 교통량 등을 예측하고 관련 정보를 제공하는 데 쓰이기도 하고, 인공지능, 의료, 교육 등의 분야에 활용되기도 한다.
특히, 최근 코로나19 시대에서 빅데이터는 중요한 역할을 하고 있다. 코로나19 확진자 동선을 신속하게 파악하는 역학 조사 시스템에 활용되기도 하고, 확진자 수와 사망자 수를 예측하는 데 활용되기도 한다.
# 빅데이터가 우리에게 남긴 과제
빅데이터의 중요성이 점차 커져가는 가운데, 우리는 어떠한 과제에 직면해 있을까. 우리에게 편리하고 유용한 시스템을 구축할 수 있도록 도와주는 빅데이터이지만, 그 이면에는 우리가 해결해야 할 문제점으로 '사생활 침해'와 '보안 문제'가 있다. 개개인이 하루에도 수많은 정보를 만들어 내고, 그 정보가 데이터로 저장되어 집합 된다는 것은 다른 의미로 해석하면 개인의 사적인 정보가 수집되고 관리된다는 뜻이다. 그리고 그 데이터가 보안 상의 문제로 유출되거나 잘못된 방법으로 활용된다면 사생활 침해의 우려가 있다. 또한 모든 기술의 발전이 그렇듯, 빅데이터로 인해 수많은 직업이 사라질 가능성도 있다.
ㅡ
이미 빅데이터와 빅데이터를 활용한 기술은 우리 생활에 깊숙이 스며들었고, 빅데이터가 가져올 문제점을 피할 수만은 없다. 따라서 우리는 그 문제점을 해결할 수 있는 기술적·사회적인 시스템을 구축하는 데 많은 고민과 노력을 기울여야 할 것이다.
| 글쓴이 와이즈만 영재교육연구소 수학팀 안혜원 연구원
#융합상식 #초등수학 #21세기석유 #빅데이터 #빅데이터활용분야 #빅데이터특징 #빅데이터문제점
우리는 컴퓨터, 인터넷, 모바일 기기 등을 통해 정보를 제공하고, 제공 받고, 공유하며 살고 있다. 온라인 쇼핑을 하며 우리가 남기는 수많은 발자취들, 직접 제작하여 온라인에 업로드한 문자 및 영상 자료들, 우리 주변 곳곳에 있는 CCTV에 녹화된 영상 등 실생활에서 인지하지는 못하지만 우리는 매일 수많은 정보를 생성한다. 정보들은 자동적으로 데이터로 저장되는데, 그 막대한 양의 데이터를 관리하고 분석, 활용하는 일의 중요성이 점점 커지고 있다. 이러한 시대 흐름에 따라 ‘21세기 석유’라 불리며 미래 경쟁력을 좌우하는 핵심 자원으로 떠오르고 있는 것, 바로 빅데이터다.
빅데이터는 우리 생활과 어떤 관련이 있을까?
# 빅데이터란?
빅데이터란, 과거 아날로그 환경에서 생성되던 데이터 보다 그 규모가 방대하여 기존의 방법이나 도구로 수집, 저장, 분석 등이 어려운 데이터들을 의미한다. 빅데이터는 문자와 영상, 위치 등 다양한 형태의 데이터를 모두 포함한다.
# 빅데이터 특징
빅데이터의 특징은 흔히 ‘3V’로 이야기한다. 첫째 V가 의미하는 것은 Volume으로 데이터의 양이다. 데이터의 양을 나타내는 단위는 KB(킬로바이트), MB(메가바이트), GB(기가바이트), TB(테라바이트), PB(페타바이트) 등이 있다. 단위들 사이의 관계는 다음과 같다.
1,024KB=1MB
1,024MB=1GB
1,024GB=1TB
1,024TB=1PB
문서 파일 하나의 크기는 대체로 KB 단위이고, 영화 한 편이 담긴 영상 파일 하나의 크기는 대체로 2.5GB 정도다. 빅데이터는 TB(테라바이트) 단위 이상의 대량 데이터다. 이는 빅데이터의 가장 기본적인 특징이며, 다양한 경로를 통해 계속해서 생성되어 그 규모가 점차 증가하고 있음을 의미한다.
둘째 V가 의미하는 것은 Velocity, 즉 데이터의 속도다. 최대한 빠른 시간 안에 많은 양의 데이터가 생성되고, 저장되며, 시각화 되어야 한다. 이 과정이 실시간으로 처리되어야 하므로 빠른 속도는 중요한 요소이며, 이를 위한 다양한 기술이 발전하였다.
셋째 V가 의미하는 것은 Variety, 형태의 다양성을 뜻한다. 데이터는 그 형태에 따라 정형 데이터, 반정형 데이터, 비정형 데이터로 나눌 수 있다. 정형 데이터는 미리 정해 놓은 형식과 구조에 따라 고정된 필드에 저장되는 데이터로, 로그 데이터, RDB, 스프레드시트 등이 있다. 반정형 데이터는 고정된 필드에 저장되지만 데이터의 형식과 구조가 변경될 수 있는 데이터로, HTML, XML, 웹문서, 웹로그, 센서 데이터 등이 있다. 비정형 데이터는 형식화 된 구조가 없는 데이터로, 이메일, SNS 데이터, QR코드, GPS, 오디오, 비디오 등이 있다. 이렇듯 데이터는 매우 다양한 형태로 존재하고, 빅데이터는 이 모든 형태의 데이터를 포괄한다.
# 일상 깊숙이 스며든 빅데이터
SNS, 동영상 공유 사이트, 인터넷 쇼핑몰 등을 사용할 때, 내가 자주 찾아보는 종류의 영상이나 상품들을 추천 받는 경험을 해 본 적이 있을 것이다. 내가 보았던 정보를 데이터로 기록하고, 분석하여 맞춤형 정보를 제공하는 이러한 일을 가능하게 만든 것이 바로 빅데이터이며, 기업에서 마케팅 전략으로 많이 사용되고 있다. 뿐만 아니라 빅데이터는 자연 재해, 교통량 등을 예측하고 관련 정보를 제공하는 데 쓰이기도 하고, 인공지능, 의료, 교육 등의 분야에 활용되기도 한다.
특히, 최근 코로나19 시대에서 빅데이터는 중요한 역할을 하고 있다. 코로나19 확진자 동선을 신속하게 파악하는 역학 조사 시스템에 활용되기도 하고, 확진자 수와 사망자 수를 예측하는 데 활용되기도 한다.
# 빅데이터가 우리에게 남긴 과제
빅데이터의 중요성이 점차 커져가는 가운데, 우리는 어떠한 과제에 직면해 있을까. 우리에게 편리하고 유용한 시스템을 구축할 수 있도록 도와주는 빅데이터이지만, 그 이면에는 우리가 해결해야 할 문제점으로 '사생활 침해'와 '보안 문제'가 있다. 개개인이 하루에도 수많은 정보를 만들어 내고, 그 정보가 데이터로 저장되어 집합 된다는 것은 다른 의미로 해석하면 개인의 사적인 정보가 수집되고 관리된다는 뜻이다. 그리고 그 데이터가 보안 상의 문제로 유출되거나 잘못된 방법으로 활용된다면 사생활 침해의 우려가 있다. 또한 모든 기술의 발전이 그렇듯, 빅데이터로 인해 수많은 직업이 사라질 가능성도 있다.
ㅡ
이미 빅데이터와 빅데이터를 활용한 기술은 우리 생활에 깊숙이 스며들었고, 빅데이터가 가져올 문제점을 피할 수만은 없다. 따라서 우리는 그 문제점을 해결할 수 있는 기술적·사회적인 시스템을 구축하는 데 많은 고민과 노력을 기울여야 할 것이다.
| 글쓴이 와이즈만 영재교육연구소 수학팀 안혜원 연구원
#융합상식 #초등수학 #21세기석유 #빅데이터 #빅데이터활용분야 #빅데이터특징 #빅데이터문제점