Pyspark, 초면이시죠?
·
Data Science
지난 포스팅에서 Colab의 기본적인 사용법을 익혀보았으니, 이제 빅데이터를 다루기 위한 준비를 해보자.https://apdui.tistory.com/4 Colab 사용설명서https://colab.research.google.com/ Google Colab colab.research.google.com Colab이란?구글 Colaboratory(이하 Colab)는 브라우저만 있으면 어디서든 파이썬 코드를 실행하고,GPU/TPU 같은 가속기를 활용해 데이터 분석·머apdui.tistory.com 우리는 Apache Spark를 사용할 것인데, 이는 대규모 데이터를 분산 처리하기 위해 널리 사용되는 프레임워크다.Python 환경에서는 PySpark를 통해 손쉽게 Spark 기능을 사용할 수 있다. 환경 ..
Colab 사용설명서
·
Data Science
https://colab.research.google.com/ Google Colab colab.research.google.com Colab이란?구글 Colaboratory(이하 Colab)는 브라우저만 있으면 어디서든 파이썬 코드를 실행하고,GPU/TPU 같은 가속기를 활용해 데이터 분석·머신러닝을 실험할 수 있는 노트북 환경을 제공한다. 이 글은 처음 Colab을 접하는 사람도 바로 사용할 수 있도록 가이드라인을 제공하고자 한다. 코랩이 무엇이고, 왜 쓰는가설치가 필요 없다 : 브라우저에서 바로 실행클라우드 런타임을 제공한다 : 내 PC 성능과 무관하게 실행GPU/TPU 가속을 지원한다 : 딥러닝 실험에 유리공유가 쉽다 : 링크 하나로 협업이 가능구글 드라이브·GitHub 연동 : 간편함코랩은 “빠..