Pyspark, 초면이시죠?
·
Data Science
지난 포스팅에서 Colab의 기본적인 사용법을 익혀보았으니, 이제 빅데이터를 다루기 위한 준비를 해보자.https://apdui.tistory.com/4 Colab 사용설명서https://colab.research.google.com/ Google Colab colab.research.google.com Colab이란?구글 Colaboratory(이하 Colab)는 브라우저만 있으면 어디서든 파이썬 코드를 실행하고,GPU/TPU 같은 가속기를 활용해 데이터 분석·머apdui.tistory.com 우리는 Apache Spark를 사용할 것인데, 이는 대규모 데이터를 분산 처리하기 위해 널리 사용되는 프레임워크다.Python 환경에서는 PySpark를 통해 손쉽게 Spark 기능을 사용할 수 있다. 환경 ..