20 12 대 데이터라는 단어가 점점 더 많이 언급되고 있다. 사람들은 정보 폭발 시대에 생성된 방대한 데이터를 설명하고 정의하며 관련 기술 발전과 혁신에 이름을 붙입니다. 월스트리트저널 칼럼의 표지에 올라 백악관 홈페이지에 진입한 뉴스, 국내 인터넷 주제의 강연 살롱, 민감한 증권사에 투자 추천 보고서까지 등장했다.
첫째, 큰 데이터의 배경
20 12 대 데이터라는 단어가 점점 더 많이 언급되고 있다. 사람들은 정보 폭발 시대에 생성된 방대한 데이터를 설명하고 정의하며 관련 기술 발전과 혁신에 이름을 붙입니다. 월스트리트저널 칼럼의 표지에 올라 백악관 홈페이지에 진입한 뉴스, 국내 인터넷 주제의 강연 살롱, 민감한 증권사에 투자 추천 보고서까지 등장했다.
데이터가 급속히 팽창하고 커지면서 기업의 미래 발전을 결정하였다. 오늘날 기업들은 폭발적인 데이터 증가로 인한 숨겨진 위험을 아직 인식하지 못하고 있지만, 시간이 지남에 따라 기업들은 데이터의 중요성을 점점 더 인식하고 있습니다. 빅 데이터 시대는 인류의 데이터 제어 능력에 새로운 도전을 제기하고, 더 깊고 포괄적인 통찰력을 얻을 수 있는 전례 없는 공간과 잠재력을 제공한다.
빅 데이터 시대가 가장 먼저 제기된 것은 세계적인 유명 컨설팅 회사인 맥킨지이다. 맥킨지는 "데이터는 오늘날 모든 업종 및 비즈니스 기능 분야에 침투하여 중요한 생산 요소가 되었다" 고 말했다. 대량 데이터의 발굴과 응용은 새로운 생산성 증가와 소비자 잉여의 도래를 예고하고 있다. " 빅 데이터' 는 물리적, 생물학적, 환경생태, 군사, 금융, 통신 등 업종 분야에서 한동안 존재해 왔지만 최근 몇 년간 인터넷과 정보산업의 발전으로 관심을 끌고 있다.
인터넷 업계의 빅 데이터는 인터넷 회사가 일상적인 운영에서 생성되고 축적되는 사용자 네트워크 행동 데이터를 말합니다. 이 데이터의 규모는 g 또는 t 로 측정할 수 없을 정도로 크며, 큰 데이터의 측정 시작 단위는 최소한 P( 1000 t), e (1000t) 또는 z (1) 입니다.
둘째, 큰 데이터란 무엇입니까?
정보기술 분야에서는' 대량 데이터',' 대규모 데이터' 등의 개념이 등장했지만, 이러한 개념은 데이터 규모 자체에만 초점을 맞추고 데이터 폭발 배경에 따른 데이터 처리 및 애플리케이션 요구 사항을 충분히 반영하지 못했다. "빅 데이터" 라는 새로운 개념은 대규모 데이터 객체뿐만 아니라 이러한 데이터 객체에 대한 처리 및 적용 활동도 포함하며 데이터 객체, 기술 및 응용 프로그램의 통합입니다.
1, bigdata (대용량 데이터) 는 현재 주요 소프트웨어 도구를 통해 캡처, 관리, 처리 및 정리할 수 없을 정도로 많은 양의 데이터를 포함하고 있어 기업이 합리적인 시간 내에 비즈니스 의사 결정을 내릴 수 있도록 지원하는 정보입니다. 빅 데이터 개체는 정부 부서나 기업이 보유한 데이터베이스와 같은 실제적이고 제한된 데이터 세트일 수도 있고, 웨이보, 위챗, 소셜 네트워크의 모든 정보와 같은 가상 무제한 데이터 세트일 수도 있습니다.
대용량 데이터는 대규모, 고성장, 다양한 정보 자산으로, 더 강력한 의사 결정력, 통찰력 및 발견력, 프로세스 최적화 기능을 갖춘 새로운 처리 모델이 필요합니다. 데이터 범주에서 "빅 데이터" 는 기존 프로세스나 도구가 처리하거나 분석할 수 없는 정보를 의미합니다. 일반 처리 범위와 크기를 초과하는 데이터 세트를 정의하여 사용자가 기존의 방식이 아닌 처리 방법을 채택하도록 합니다.
아마존 네트워크 서비스 (AWS) 와 빅 데이터 과학자 JohnRauser 는 간단한 정의를 언급했습니다. 빅 데이터는 컴퓨터 처리 능력을 초과하는 방대한 데이터입니다. R&D 팀의 빅 데이터 정의: "빅 데이터는 가장 큰 홍보 기술이자 가장 스타일리시한 기술입니다. 이런 현상이 나타날 때, 정의는 매우 혼란스러워진다. " 켈리는 "빅데이터는 모든 정보를 포함하지 않을 수도 있지만, 대부분 옳다고 생각한다" 고 말했다. 큰 데이터에 대한 일부 견해는 그것이 너무 커서 여러 워크로드를 분석할 수 있다는 것이다. 이것이 바로 AWS 의 정의다.
2. 빅 데이터 기술은 데이터 수집, 저장, 관리, 분석 마이닝, 시각화 및 통합을 포함한 모든 종류의 빅 데이터에서 귀중한 정보를 신속하게 얻을 수있는 기술적 능력을 의미합니다. 대용량 데이터에 적합한 기술은 MPP 데이터베이스, 데이터 마이닝 그리드, 분산 파일 시스템, 분산 데이터베이스, 클라우드 컴퓨팅 플랫폼, 인터넷, 확장 가능한 스토리지 시스템 등입니다.
3. 빅데이터 애플리케이션 (Big data application) 은 빅데이터 기술 통합을 특정 빅데이터 컬렉션에 적용하여 귀중한 정보를 얻는 행위입니다. 비즈니스 요구 사항, 데이터 수집 분석, 마이닝 목표에 따라 사용되는 대형 데이터 기술 및 대형 데이터 정보 시스템이 크게 다를 수 있습니다. 개체, 기술, 응용' 삼위일체 동시 발전을 견지해야 큰 데이터의 가치를 충분히 실현할 수 있다.
기술이 한계에 도달하면 데이터의 한계입니다. "큰 데이터는 그것을 정의하는 방법이 아니라, 가장 중요한 것은 그것을 사용하는 방법이다. 가장 큰 과제는 어떤 기술이 데이터를 더 잘 활용할 수 있는지, 큰 데이터를 어떻게 적용할 수 있는가입니다. Hadoop 과 같은 오픈 소스 대형 데이터 분석 도구의 등장과 기존 데이터베이스에 비해 이러한 비정형 데이터 서비스의 가치.
셋째, 빅 데이터 유형 및 가치 마이닝 방법
1, 큰 데이터의 유형은 크게 세 가지 범주로 나눌 수 있습니다.
1) 기존 엔터프라이즈 데이터: CRMsystems 의 고객 데이터, 기존 ERP 데이터, 재고 데이터, 계정 데이터를 포함합니다.
2) 기계 생성/센서 데이터: CallDetailRecords, 스마트 미터, 산업용 장비 센서, 장치 로그 (일반적으로 디지털 배기), 거래 데이터 등이 포함됩니다.
3) Socialdata: 사용자 행동 기록, 피드백 데이터 등을 포함합니다. 트위터나 페이스북 같은 소셜 미디어 플랫폼.
빅 데이터 마이닝의 비즈니스 가치에는 네 가지 주요 방법이 있습니다.
1) 고객 커뮤니티를 세분화하고 각 그룹에 맞게 특화된 서비스를 맞춤형으로 구성할 수 있습니다.
2) 실제 환경을 시뮬레이션하고, 새로운 수요를 발굴하고, 투자 수익을 높입니다.
3) 부서 연계를 강화하여 전체 관리 체인과 산업 체인의 효율을 높이다.
4) 서비스 비용 절감, 숨겨진 단서 발견, 혁신적인 제품 및 서비스
넷째, 빅 데이터의 특징
업계에서는 일반적으로 네 개의 V (매스, 범주, 가치 및 속도) 를 사용하여 대용량 데이터의 특징을 요약합니다. 특히 대용량 데이터에는 네 가지 기본 기능이 있습니다.
1 은 엄청난 양의 데이터입니다.
데이터 양이 크면 일반적으로 10TB 정도인 큰 데이터 세트를 의미합니다. 그러나 실제 응용 프로그램에서는 많은 기업 사용자가 여러 데이터 세트를 함께 모아 페타바이트급 데이터 양을 형성했습니다. 바이두의 자료에 따르면 새 홈페이지 탐색은 매일1.5pb 이상 (1Pb =1024tb) 을 제공해야 하며, 인쇄하면 5000 억 장 이상의 A4 용지를 인쇄해야 한다. 지금까지 인간이 생산한 모든 인쇄물의 데이터 양은 200PB 에 불과하다는 것이 증명되었다.
2. 데이터 종류도 다양하고 종류도 다양합니다.
다양한 종류의 데이터, 다양한 데이터 소스, 데이터 유형 및 형식이 점점 더 다양해지고 있으며, 반정형 및 비정형 데이터를 포함하여 이전에 정의된 정형 데이터 범주를 돌파했습니다. 오늘날의 데이터 유형은 텍스트뿐만 아니라 사진, 비디오, 오디오, 지리 정보 등 다양한 유형의 데이터까지 개인화된 데이터가 절대다수를 차지하고 있습니다.
3, 처리 속도가 빠르다.
데이터 양이 많은 경우에도 실시간 데이터 처리를 수행할 수 있습니다. 데이터 처리는' 1 초 법칙' 을 따르므로 다양한 종류의 데이터에서 높은 가치 정보를 신속하게 얻을 수 있습니다.
4, 높은 가치의 진정성과 저밀도입니다.
데이터 신뢰성이 높습니다. 사회 데이터, 기업 컨텐츠, 거래 및 애플리케이션 데이터와 같은 새로운 데이터 소스에 대한 관심이 높아지면서 기존 데이터 소스의 한계가 깨지면서 기업들은 신뢰성과 보안을 보장하기 위한 효과적인 정보 역량이 점점 더 필요하게 되었습니다. 비디오를 예로 들어 보겠습니다. 1 시간 분량의 동영상으로, 중단없는 모니터링 과정에서 1 ~ 2 초 정도의 유용한 데이터만 있을 수 있습니다.
동사 (verb 의 약어) 큰 데이터의 역할
1, 대용량 데이터 처리 및 분석이 차세대 정보 기술 통합 어플리케이션의 노드가 되고 있습니다.
모바일 인터넷, 사물인터넷, 소셜네트워크, 디지털 홈, 전자상거래 등은 차세대 정보기술의 응용 형태이며, 이러한 응용은 끊임없이 큰 데이터를 만들어 내고 있다. 클라우드 컴퓨팅은 이러한 방대한 양의 대용량 데이터를 위한 스토리지 및 컴퓨팅 플랫폼을 제공합니다. 다양한 출처의 데이터를 관리, 처리, 분석 및 최적화하여 이러한 애플리케이션에 결과를 전달하여 엄청난 경제적 사회적 가치를 창출합니다.
빅데이터는 사회 변화를 촉진하는 에너지를 가지고 있다. 하지만 이 에너지를 방출하려면 엄격한 데이터 거버넌스, 통찰력 있는 데이터 분석, 관리 혁신을 자극하는 환경 (RamayyaKrishnan, 카네기멜론 대학 힌더스 대학원장) 이 필요하다.
2. 빅데이터는 정보산업이 지속적으로 빠르게 성장하는 새로운 엔진이다.
빅 데이터 시장의 새로운 기술, 신제품, 새로운 서비스, 새로운 형식이 끊임없이 등장할 것이다. 하드웨어 및 통합 장치 분야에서 대용량 데이터는 칩 및 스토리지 업계에 중요한 영향을 미치며 통합 데이터 저장 및 처리 서버, 메모리 컴퓨팅 등의 시장을 탄생시킬 것입니다. 소프트웨어 및 서비스 분야에서 큰 데이터는 빠른 데이터 처리 및 분석, 데이터 마이닝 기술 및 소프트웨어 제품의 발전으로 이어질 수 있습니다.
3. 빅데이터의 이용은 핵심 경쟁력을 높이는 관건이 될 것이다.
각 업종의 의사결정이' 비즈니스 중심' 에서' 데이터 중심' 으로 바뀌고 있다. 빅 데이터 분석을 통해 소매업자는 실시간으로 시장 동향을 파악하고 신속하게 대응할 수 있습니다. 상인에게 보다 정확하고 효과적인 마케팅 전략을 개발하여 의사 결정 지원을 제공할 수 있습니다. 기업이 소비자에게 보다 시기적절하고 개인화된 서비스를 제공할 수 있도록 도울 수 있습니다. 의학 분야에서는 진단의 정확성과 약물의 효과를 높일 수 있다. 공공 부문에서도 빅데이터는 경제 발전을 촉진하고 사회 안정을 유지하는 데 중요한 역할을 하기 시작했다.
4. 빅 데이터 시대에는 과학 연구의 방법과 수단이 크게 바뀔 것이다.
예를 들어, 샘플링 조사는 사회과학의 기본 연구 방법이다. 빅 데이터 시대에, 우리는 실시간으로 인터넷에서 연구 대상의 대량 행동 데이터를 모니터링 하 고 추적할 수 있습니다, 발굴 분석을 수행, 규칙 성 것 들을 공개, 그리고 앞으로 연구 결론과 대책을 놨 어 요.
여섯째, 빅 데이터의 상업적 가치
1. 고객 기반 세분화
빅 데이터 (big data)' 는 고객 커뮤니티를 세분화하고 각 그룹에 대해 고유한 조치를 취할 수 있습니다. 특정 고객층을 대상으로 마케팅과 서비스를 하는 것은 줄곧 상가의 추구였다. 클라우드 스토리지의 대용량 데이터와' 빅 데이터' 분석 기술을 통해 실시간 가격 대비 성능 면에서 소비자를 세분화할 수 있습니다.
2. 시뮬레이션 현실
"빅 데이터" 를 사용하여 실제 상황을 시뮬레이션하고, 새로운 수요를 발굴하고, 투자 수익을 높입니다. 오늘날 점점 더 많은 제품에 센서가 장착되어 있으며, 자동차와 스마트폰의 보급으로 수집할 수 있는 데이터가 폭발적으로 증가하고 있습니다. 블로그, 트위터, 페이스북, 웨이보 등 소셜 네트워크도 엄청난 양의 데이터를 생성하고 있다.
클라우드 컴퓨팅과 "빅 데이터" 분석 기술을 통해 기업은 이러한 데이터와 거래 행동 데이터를 실시간으로 저장 및 분석할 수 있어 비용 효율성이 높습니다. 거래 과정, 제품 사용, 인간 행동은 모두 디지털화될 수 있다. "빅 데이터" 기술은 데이터 마이닝을 위해 이러한 데이터를 통합할 수 있으므로 경우에 따라 모델 시뮬레이션을 통해 다양한 변수 (예: 지역별로 다양한 마케팅 시나리오) 에서 투자 수익률이 가장 높은 시나리오를 확인할 수 있습니다.
3. 투자 수익률을 높입니다.
관련 부서에서' 빅 데이터' 성과를 공유하고 전체 관리 체인과 산업 체인의 투자 수익률을 높입니다. "빅 데이터" 강력한 부서는 클라우드 컴퓨팅, 인터넷 및 내부 검색 엔진을 통해 "빅 데이터" 기능이 약한 부서와 "빅 데이터" 결과를 공유하여 "빅 데이터" 를 활용하여 비즈니스 가치를 창출 할 수 있습니다.
4. 데이터 스토리지 공간 임대
기업과 개인 모두 대량의 정보 스토리지에 대한 수요가 있다. 이러한 데이터를 올바르게 저장해야 잠재적인 가치를 더욱 발굴할 수 있습니다. 구체적으로 이 비즈니스 모델은 개인 파일 저장소와 엔터프라이즈 사용자의 두 가지 범주로 나눌 수 있습니다. 주로 사용하기 쉬운 API 를 통해 사용자는 다양한 데이터 개체를 클라우드에 쉽게 배치한 다음 수력 발전처럼 사용량에 따라 요금을 부과할 수 있습니다. 현재 많은 회사들이 아마존, 넷이서, 노키아와 같은 서비스를 내놓고 있다. 운영자들은 또한 차이나 모바일 차이윈 업무와 같은 적절한 서비스를 내놓았다.
5. 고객 관계 관리
고객 관리 애플리케이션의 목적은 고객의 속성 (자연 및 행동 속성 포함) 에 따라 다양한 각도에서 고객을 심도 있게 분석하고 이해함으로써 신규 고객을 늘리고, 고객 충성도를 높이고, 고객 손실률을 낮추고, 고객 소비를 늘리는 것입니다. 중소 고객들에게 전문적인 CRM 은 분명히 크고 비싸다. 많은 중소기업들이 비행신을 주요 CRM 으로 사용한다. 예를 들어, Feixin Group 에 기존 고객을 추가하고, 위챗 모멘트 내에 신제품 발표 및 특별 판매 통지를 발표하고, 사전 판매 후 서비스를 완료합니다.
6. 맞춤형 정밀 추천
운영자 내에서는 앱스토어 소프트웨어 추천, IPTV 비디오 프로그램 추천 등 사용자 선호도에 따라 다양한 서비스나 애플리케이션을 추천하는 것이 일반적입니다. 관련 알고리즘, 텍스트 요약 추출, 감정 분석 등의 지능형 분석 알고리즘을 거쳐 비즈니스 서비스로 확장하여 데이터 마이닝 기술을 활용하여 고객이 정밀 마케팅을 수행할 수 있도록 지원합니다. 미래 이익은 고객의 부가 가치 부분의 분할에서 올 수 있습니다.
일상적인' 스팸문자' 를 예로 들면, 정보가 전부' 쓰레기' 는 아니다. 수신자가 필요 없어 쓰레기로 간주되기 때문이다. 사용자 행동 데이터를 분석한 후 필요한 정보를 필요한 사람에게 보내' 스팸문자' 를 가치 있는 정보로 만들 수 있다. 일본의 맥도날드에서는 사용자가 핸드폰에 쿠폰을 다운받아 식당에 가서 통신업체인 DoCoMo 의 휴대폰 지갑으로 지불합니다. 운영자와 맥도날드는 어떤 햄버거를 자주 사는지, 어느 가게에 갔는지, 소비 빈도가 어떤지, 그리고 사용자에게 쿠폰을 정확하게 밀어넣는 것과 같은 소비 정보를 수집합니다.
7. 데이터 검색
데이터 검색은 새로운 응용 프로그램이 아닙니다. 빅 데이터 시대가 도래함에 따라 실시간 전방위 검색에 대한 수요가 갈수록 커지고 있다. 우리는 다양한 소셜 네트워크, 사용자 행동 및 기타 데이터를 검색할 수 있어야 합니다. 비즈니스 애플리케이션 가치는 실시간 데이터 처리를 분석, 광고, 즉 모바일 광고를 적용하는 실시간 광고 업무 및 소셜 서비스와 연결하는 데 있습니다.
운영자가 파악한 사용자 인터넷 행동 정보는 얻은 데이터를 "더 포괄적인 차원" 으로 만들고 상업적 가치를 높입니다. 차이나 모바일 "Pangu 검색" 및 기타 전형적인 응용 프로그램.
일곱째, 큰 데이터가 경제와 사회에 미치는 중요한 영향
1, 엄청난 경제적 이익의 실현을 촉진할 수 있다.
예를 들어, 중국의 소매 순이익 증가에 대한 공헌, 제조업 제품 R&D 및 조립 비용 절감. 20 13 년 동안 글로벌 빅 데이터는 직접 및 간접적으로 정보 기술 지출을 1200 억 달러로 이끌 것으로 예상됩니다.
2, 사회 경영 수준 향상을 촉진 할 수 있습니다.
공공 서비스 분야에서 빅 데이터의 적용은 관련 업무의 발전을 효과적으로 촉진하고 관련 부서의 의사 결정 수준, 서비스 효율성 및 사회 관리 수준을 높여 엄청난 사회적 가치를 창출할 수 있습니다. 유럽의 많은 도시들은 실시간으로 수집한 교통 흐름 데이터를 분석하여 운전자들이 최적의 노선을 선택하도록 유도함으로써 도시 교통 상황을 개선할 수 있다.
3. 고성능 분석 도구가 없으면 대용량 데이터의 가치를 확보할 수 없습니다.
빅데이터의 응용은 반드시 깨어 있는 인식을 유지해야 하며, 그 분석 결과를 맹목적으로 믿어서는 안 되며, 부정확하기 때문에 그 중요한 역할을 부정해서는 안 된다.
1) 여러 가지 이유로 분석처리된 데이터 개체에는 다양한 오류 데이터와 쓸모없는 데이터가 포함되어야 하지만, 빅 데이터 기술의 핵심인 데이터 분석, 인공지능 등의 기술은 아직 완전히 성숙하지 않아 컴퓨터가 완성할 것을 요구할 수 없는 빅 데이터 분석 처리 결과가 완전히 정확하다. 예를 들어, 구글은 수억 명의 사용자의 검색 내용을 분석하여 전문 기관보다 독감 발생을 더 빨리 예측할 수 있지만, 웨이보에서 쓸데없는 정보의 방해로 인해 이러한 예측은 여러 차례 정확하지 않다.
2) 빅 데이터의 역할과 가치는 빅 데이터 사용자의 혁신적인 사고를 유도하고 자극하고 의사 결정을 돕는 데 중점을 두어야 합니다. 간단히 말해서, 한 가지 문제를 다룰 때, 대개 큰 데이터는 10 가지 참조 방법을 제공할 수 있으며, 설령 세 가지만 가능하다고 해도 문제 해결에 대한 생각을 세 배로 늘릴 수 있습니다.
따라서 큰 데이터의 역할을 객관적으로 인식하고 발휘하며 과장하거나 축소하지 않는 것이 큰 데이터를 정확하게 이해하고 적용하기 위한 전제 조건입니다.
여덟. 요약
빅 데이터의 핵심 가치가 예측되든 아니든 빅 데이터를 기반으로 한 의사 결정 모델은 이미 많은 기업에 이익과 입소문을 가져왔다.
1. 빅 데이터의 가치 사슬 분석에서 세 가지 모드가 있습니다.
1) 큰 데이터를 쥐고 있지만 잘 이용하지 못했습니다. 전형적인 것은 금융기관, 통신업계, 정부기관 등이다.
2) 저는 데이터가 없지만, 데이터가 있는 사람들이 데이터를 사용할 수 있도록 돕는 방법을 알고 있습니다. 엑센철, IBM, 갑골문 등과 같은 전형적인 IT 컨설팅 및 서비스 기업.
3) 데이터뿐만 아니라 큰 데이터 사고도 있습니다. 대표적인 것은 구글, 아마존, 마스터카드 등이다.
미래의 빅 데이터 분야에서 가장 중요한 것은 두 가지입니다.
1) 큰 데이터 사고를 가진 사람은 큰 데이터의 잠재적 가치를 실제 이익으로 바꿀 수 있는 사람입니다.
2) 아직 빅 데이터에 닿지 않은 비즈니스 영역. 이것들은 탐사되지 않은 유정과 금광, 즉 이른바 푸른 바다이다.
빅데이터는 정보기술과 전문기술, 정보기술 산업, 각 업종이 긴밀하게 결합된 대표적인 분야로, 응용수요가 왕성하고 응용전망이 넓다. 이 신흥 영역에서 가져온 새로운 기회를 파악하려면 큰 데이터를 지속적으로 추적하고 연구하고, 큰 데이터에 대한 인식과 이해를 지속적으로 향상시키고, 기술 혁신과 응용 혁신의 협력을 견지하고, 경제사회의 각 분야에서 큰 데이터의 개발 활용을 가속화해야 합니다. 국가, 산업 및 기업의 데이터 응용 요구와 응용 수준을 새로운 단계로 추진하다.