안녕하세요, 기록하는 개발자 강선후입니다.

https://apdui.tistory.com/6 Pyspark 실전 사용기이제 실제 데이터를 활용하여 PySpark의 기능을 살펴보자. 예제 데이터는 세계대전 당시 수행된 항공 작전(Bombing Operations)에 관한 것이다.데이터에는 국가, 작전 유형, 수행 횟수 등이 기록되어 있apdui.tistory.com이번 포스팅에서는 Spark의 핵심 자료구조인 RDD(Resilient Distributed Dataset)를 개념부터 실습까지 한 번에 정리하고자 한다. RDD는 Spark에서 사용하는 기본 데이터 구조이며,리눅스에서 공부했던 key-value 페어를 일반화한 형태라고 이해하면 된다. 앞선 포스팅에서 실습하였던 예제를 RDD로 다시 풀어보며 어떻게 사용되는지 알아보자.RDD 핵심 개념P..

이제 실제 데이터를 활용하여 PySpark의 기능을 살펴보자. 예제 데이터는 세계대전 당시 수행된 항공 작전(Bombing Operations)에 관한 것이다.데이터에는 국가, 작전 유형, 수행 횟수 등이 기록되어 있다. Q. 각 국가가 수행한 전체 임무 수 구하기먼저, 국가별로 수행된 임무 수를 집계해보자. 1. 그룹으로 묶기 (groupBy)# 국가별로 데이터를 묶는다grouped = Bombing_Operations.groupBy("CountryFlyingMission") 일반적인 방식이라면, 데이터를 하나씩 읽어가며 count++를 수행해야 한다.하지만 Spark는 빅데이터 환경을 가정하기 때문에, 전체 데이터를 한 PC의 메모리에 올릴 수 없다고 본다. 따라서 groupBy를 이용해 국가..

지난 포스팅에서 Colab의 기본적인 사용법을 익혀보았으니, 이제 빅데이터를 다루기 위한 준비를 해보자.https://apdui.tistory.com/4 Colab 사용설명서https://colab.research.google.com/ Google Colab colab.research.google.com Colab이란?구글 Colaboratory(이하 Colab)는 브라우저만 있으면 어디서든 파이썬 코드를 실행하고,GPU/TPU 같은 가속기를 활용해 데이터 분석·머apdui.tistory.com 우리는 Apache Spark를 사용할 것인데, 이는 대규모 데이터를 분산 처리하기 위해 널리 사용되는 프레임워크다.Python 환경에서는 PySpark를 통해 손쉽게 Spark 기능을 사용할 수 있다. 환경 ..

https://colab.research.google.com/ Google Colab colab.research.google.com Colab이란?구글 Colaboratory(이하 Colab)는 브라우저만 있으면 어디서든 파이썬 코드를 실행하고,GPU/TPU 같은 가속기를 활용해 데이터 분석·머신러닝을 실험할 수 있는 노트북 환경을 제공한다. 이 글은 처음 Colab을 접하는 사람도 바로 사용할 수 있도록 가이드라인을 제공하고자 한다. 코랩이 무엇이고, 왜 쓰는가설치가 필요 없다 : 브라우저에서 바로 실행클라우드 런타임을 제공한다 : 내 PC 성능과 무관하게 실행GPU/TPU 가속을 지원한다 : 딥러닝 실험에 유리공유가 쉽다 : 링크 하나로 협업이 가능구글 드라이브·GitHub 연동 : 간편함코랩은 “빠..