[요즘뜨고있다!] 빅데이터 전문가에 대한 모든 것.

빅 데이터 전문가.

=  BIG + DATA . 라고 알고 계실텐데요!

단순 합성어는 아닙니다.

 

디지털 환경이 발달하면서 하루에 쏟아지는

데이터의 양이 천문학적으로 많다고 합니다.

지난해, 세계적으로 생성된 그 양만 해도 2조 기가 바이트.

텍스트, 소리, 영상 등으로 형태가 다양합니다.

그리고 이렇게 디지털화된 엄청난 양의 정보들을 우리는

'빅 데이터'라고 하지요.

그러나 이러한 양들이 '중요한 데이터'라는 개념으로

재정의가 되고 있습니다. 

로그 데이터, 구매기록 등의 정형 데이터와

소셜 미디어, 위치정보나 각종 센서 정보 등의 비정형 데이터도 함께

분석합니다! 

그렇기 때문에 동시에 가능한한 빨리! 처리하는

새로운 컴퓨팅 기술이 적용되어야 합니다. 

여 . 기 . 서!

몇가지 종류의 데이터 분석방법을

소개해드리겠습니다.!

텍스트 마이닝이란~?

- 데이터마이닝과 비슷한 기법으로, 정형화된 데이터를 분석합니다.

- 비정형 텍스트 데이터에서 가치와 의미를 찾아내는 기술입니다.

평판분석이란~?

SNS, 블로그, 게시판, 카페 등 인터넷 상의 모든 웹문서와

의견을 분석하고, 해당 제품이나 서비스에 대한

평판을 추출합니다. 

소셜 네트워크 분석이란~?

개인이나 그룹의 네트워크 영향력, 관심사 

그리고 성향 등의 패턴을 분석하고

추출합니다. 

클러스터 분석이란~?

비슷한 특성을 가진 개체를 합쳐 최종적으로

유사특성의 그룹을 발굴 관심사, 취미에 따른 사용자 그룹을

군집 분석을 통해 분류합니다. 

빅 데이터, 어디에서 사용되는 지 

궁금하지 않으셨나요~?

* 서울시 올빼미 버스

- 2013년 8월, 서울시에서 심야버스 운행을 결정했습니다.

- 최적의 노선을 결정하기 위해 KT와 MOU를 맺었지요,

A.M 12시부터 

A.M 5시까지. 휴대전화 지역 통화량을 파악하고

교통데이터 - 통계 데이터를 통해 서울시 유동인구를 통계, 추출했지요.

* 현대카드 X 빅데이터

- 고객들의 외식 및 패션부분의 소비패턴을 

성별/연령/시간대별로 분석

- 이를 통해 제휴할인 등 서비스를 제공, 재구매 유도

- 통념을 깨는 통계결과로 의미있는 영업전략 수립 가능.

- 카드 결제 데이터를 바탕으로, 타 데이터에 비해 신뢰성이 높습니다. 

이러한 빅데이터의 문제점은 무엇일까요?

바로 개인정보입니다.

갈수록 개인정보에 대해서 민감한 상황인데,

기본적으로 빅데이터 자체가 패턴, 동향을 추출하기 때문에

기업들은 다양한 개인정보를 수집하고 축적하여 분석합니다.

=> 그래서. 모자이크 효과를 사용합니다.

단편적인 정보 자체로는 개인을 식별할 수 없으나

함께 수집한 다른 정보와 결합할 시에 

개인을 식별하고 프라이버시 노출과 보안 위험 또한 발생이 

가능해집니다.

두번째, 기술적 측면이 있습니다.

빅데이터를 제대로 활용하기 위해서는, '빅데이터'의 복잡한 분석이

필 . 수 입니다.

--> ICT 시스템과 솔루션이 필요하지요.

또한 빅데이터 활용을 위해서 전문 인력이 필요한데,

과학기술, 통계, 분석력, 창의력, 해석 스킬 등 다양한 역량이

필요합니다.

세번째, 저작권입니다.

기업들은 개인이 인터넷상에 공개하는 정보가 자신들이 공개한

데이터가 공유하고 사용될 것을 전제하므로 문제가 없다고 주장합니다.

또한 개인들은 블로그나 커뮤니티 서비스를 통해 축적된 데이터의 소유권이

자신들에게 있음을 주장하며, 포털 등 서비스 업체와 분쟁을 벌입니다.

그렇다면, 가장 궁금해하시는!

빅데이터의 중요성 또는 성장은 어떻게 될까요?

- 스마트 디바이스의 보급과 기술의 발전, 사회적 인식의 제고로

빅데이터의 중요성이 인식되는 건 다들 아시죠?

그렇기 때문에 관련 시장은 급격히 성장할 것으로 예상됩니다. 

- 출시되고 있는 스마트 기기에 다양한 센서가 내장되어 있고,

저장매체의 가격과 통신비용이 급격히 하락하는 추세로,

기존에 불가능했던 대량의 데이터 저장과 유통이 가능해졌습니다.

또한, 빅데이터를 이용한 핵심 서비스가 증가했습니다. 

- 자동 번역 서비스, 독감 예보 서비스 (with 구글의 검색통계)

- Siri. 개인 비서 서비스라고 하지요.

- 네이버의 음악검색 등. 

* 향후 전망 *

빅 데이터의 성장과 함께 인프라, 소프트웨어, 서비스 관련산업이

동 반 성 장 ! 할 것 입니다.

-> 데이터 조직화 및 관리 SW

-> 데이터베이스 최적화 및 관리 SW

-> 비즈니스 컨설팅, IT 아웃소싱, 전문인력 교육훈련산업 등 서비스 산업

마지막!!!!!!

결론 알려드리며 이번 포스팅을 마칠게요.

국내/ 국외 할 거 없이 빅데이터 관련 산업은 

분. 명. 히. 엄청난 속도로 증가하고 있습니다. 

특히, 우리나라는

1인당 모바일 트래픽이 월 1GB로 세계 평균의 10배 이상의 

데이터 생산 강국입니다. 

한국과학기술정보연구원이 연평균 28.8% 성장할것으로 예측하고 있고

매우 잠재력이 큰 시장입니다.

=> 기업에서도 빅데이터를 적극적으로 활용할 수 있게 지원하는 방안이 필요합니다.