1.2 빅데이터 기술 및 제도

빅데이터분석기사 필기시험은 총 4 과목으로 나뉘어서 20문제씩 총 80문제를 120분 안에 다 풀어야 합니다.

 

1과목인 빅데이터 분석 기획은 총 세 개의 장으로 나뉩니다.

1장. 빅데이터의 이해

2장. 데이터 분석 계획 

3장. 데이터 수집 및 저장 계획

 

그중에서도 오늘은 1장. 빅데이터의 이해에서 1.2 빅데이터 기술 및 제도에 대해서 공부해 보겠습니다.

가보시죠~! 

 

빅데이터 기술 및 제도는 다시 네 가지로 분류됩니다. 

1.2.1 빅데이터 플랫폼  

1.2.2 빅데이터와 인공지능 

1.2.3 개인정보 법/제도

1.2.4 개인정보 활용  

 

 

 

1.2.1 빅데이터 플랫폼

 

 

1.2.1.1 빅데이터 라이프 사이클

- 원천 데이터 > 데이터 수집 > 데이터 저장 > 데이터 처리/관리 > 데이터 분석 > 데이터 시각화 

 

1.2.1.2 빅데이터 플랫폼 이해

- 빅데이터 플랫폼 3 계층

소프트웨어 계층 : 빅데이터 애플리케이션을 구성하여 처리/분석과 이를 위한 데이터 수집/정제

플랫폼 계층 : 소프트웨어 계층이 동작할 수 있는 기반 제공

인프라스트럭처 계층 : 노드 및 네트워크 관리, 자원 및 스토리지 관리 등 필요한 자원 제공 

  

1.2.1.3 빅데이터 플랫폼 주요 기술(프로젝트, 소프트웨어)

- 수집 기술

DB to DB, EAI, FTP, ETL, HTTP 수집 기술, 크롤링, Open API, 센싱, 로그수집기, 척와, 플럼, 스크라이브,...

 

- 저장 기술

RDBMS, NoSQL, 분산파일 시스템, 클라우드 파일 저장 시스템

 

- 처리/관리 기술

하둡, HDFS, 맵리듀스, 얀, 스파크, 스톰, 우지,...

 

- 분석/시각화 기술

텍스트 마이닝, 시맨틱, 기계학습, SPSS, R, SAS, 엑셀, 머하웃, 타조, 파이썬

 

1.2.2 빅데이터와 인공지능 

 

 

1.2.2.1 인공지능의 이해

- 인공지능 분류

지적 수준에 의한 분류 : 약인공지능, 강인공지능, 초인공지능

알고리즘 구현 수준에 의한 분류 : 학습지능, 단일지능, 복합지능

 

- 머신러닝 유형

지도학습 : 모든 입력 데이터에 대한 정확한 답을 가지고 모델을 학습

비지도학습 : 정확한 답 없이 학습 데이터만 입력하여, 모델 스스로 주어진 입력 패턴 자체를 기억시키거나, 유사한 패턴을 군집화시키는 학습 

강화학습 : 분류할 수 있는 데이터가 존재하지도 않고, 데이터가 있어도 정답이 따로 없으며, 자신이 한 행동에 대한 보상받으며 학습

준지도학습 : 지도학습에 사용하는 정답이 있는 데이터와 비지도학습에 사용하는 정답이 없는 데이터를 모두 훈련 데이터로 사용하여 학습 

 

1.2.2.2 빅데이터와 인공지능의 관계 

빅데이터와 인공지능은 상호 보완적 관계이다.

 

 

1.2.3 개인정보 법/제도

 

 

1.2.3.1 빅데이터 관련 법/제도

- 빅데이터 관련 법

개인정보보호법

신용정보법

정보통신망법

데이터 3 법

공공데이터법

EU-GDPR(General Data Protection Regulation)

 

1.2.3.2 개인정보 법/제도

- 개인정보보호법

OECD 8 원칙

1) 수집제한의 원칙

2) 정보정확성의 원칙

3) 목적명확화의 원칙

4) 이용제한의 원칙

5) 안전보호의 원칙

6) 공개의 원칙

7) 개인참가의 원칙

8) 책임의 원칙

 

- 데이터 3 법

개인정보보호법, 정보통신망법, 신용정보법

 

1.2.4 개인정보 활용

 

 

1.2.4.1 개인정보 활용의 이해 

 

1.2.4.2 개인정보 활용

- 가명처리 단계

1 단계 사전 준비

2 단계 위험성 검토

3 단계 가명 처리

4 단계 적정성 검토

5 단계 안전한 관리