DevCourse2_Spark

Big data - ML Pipeline๊ณผ Tuning ์†Œ๊ฐœ์™€ ์‹ค์Šต

4 minute read

Spark MLlib ๋ชจ๋ธ ํŠœ๋‹ ์†Œ๊ฐœ Spark MLlib ๋ชจ๋ธ ํŠœ๋‹ ์ตœ์ ์˜ ํ•˜์ดํผ ํŒŒ๋ผ๋ฏธํ„ฐ ์„ ํƒ ์ตœ์ ์˜ ๋ชจ๋ธ ํ˜น์€ ๋ชจ๋ธ์˜ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์ฐพ๋Š” ๊ฒƒ์ด ์•„์ฃผ ์ค‘์š” ํ•˜๋‚˜์”ฉ ํ…Œ์ŠคํŠธํ•ด๋ณด๋Š” ๊ฒƒ vs. ๋‹ค์ˆ˜๋ฅผ ๋™์‹œ ํ…Œ์ŠคํŠธ ํ•˜๋Š” ๊ฒƒ ๋ชจ๋ธ ์„ ํƒ์˜ ์ค‘์š”ํ•œ ...

Big data - SparkSQL์„ ์ด์šฉํ•œ ๋ฐ์ดํ„ฐ ๋ถ„์„

10 minute read

์ปค๋ฆฌ์–ด ์ด์•ผ๊ธฐ ๋‚จ๊ณผ ๋น„๊ตํ•˜์ง€ ๋ง๊ณ  ์•ž์œผ๋กœ 20-30๋…„์„ ๋ณด๊ธฐ ํ•˜๋‚˜๋ฅผ ํ•˜๊ธฐ๋กœ ํ–ˆ์œผ๋ฉด ์ ์–ด๋„ 6๊ฐœ์›”์€ ํŒŒ๊ณ  ๋“ค๊ธฐ ๋„ˆ๋ฌด ๋นจ๋ฆฌ ํฌ๊ธฐํ•˜์ง€ ์•Š๊ธฐ ๋ญ”๊ฐ€ ์ž˜ ์•ˆ๋˜๋ฉด ์„œ๋‘๋ฅด๊ธฐ ๋ณด๋‹ค๋Š” ์˜คํžˆ๋ ค ์ฒœ์ฒœํžˆ ๊ฐ€๊ธฐ ๊ณต๋ถ€๋ฅผ ์œ„ํ•œ ๊ณต๋ถ€๋ฅผ ํ•˜๊ธฐ ๋ณด๋‹ค๋Š” ์ผ์„ ...

Big data - Spark

6 minute read

๋น…๋ฐ์ดํ„ฐ ๊ธฐ์ˆ ์ด๋ž€ Spark ์†Œ๊ฐœ ํŒ๋‹ค์Šค์™€ ๋น„๊ต Spark ์‹ค์Šต

Big data

6 minute read

๋ฐ์ดํ„ฐ ํŒ€์˜ ์—ญํ•  ๋ฐ์ดํ„ฐ ํŒ€์˜ ๋ฏธ์…˜ ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ๋ถ€๊ฐ€๊ฐ€์น˜ ์ƒ์„ฑ