Mac python์—์„œ apache-beam[gcp] ์„ค์น˜

zsh ์‚ฌ์šฉ ์‹œ pip๋กœ apache-beam[gcp]๋ฅผ ์„ค์น˜ํ•˜๋ ค๋ฉด ์„ค์น˜๊ฐ€ ์•ˆ๋ฉ๋‹ˆ๋‹ค.

์ฐพ์„ ์ˆ˜ ์—†๋‹ค๋„ค์š”..

ํŠน์ˆ˜ ๋ฌธ์ž ๋•Œ๋ฌธ์— ๋ฐœ์ƒ๋˜๋Š” ๋ฌธ์ œ๋กœ ๋ณด์ž…๋‹ˆ๋‹ค…

์ด๋Ÿฐ ์‹์œผ๋กœ ์ž‘์„ฑํ•˜๋ฉด ์„ค์น˜๊ฐ€ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

Python -m pip install “apache-beam[gcp]”

์Œ๋”ฐ์˜ดํ‘œ๋ฅผ ๋„ฃ์–ด์•ผ ํ•˜๋„ค์š”…

Python encoding ์˜ค๋ฅ˜ ํ•ด๊ฒฐ

json ํ˜•ํƒœ์˜ ๋กœ๊ทธ ํŒŒ์ผ์„ ํŒŒ์ด์ฌ์œผ๋กœ ETL ์ž‘์—…์„ ํ•˜๋˜ ๋„์ค‘ ํŠน์ • ํŒŒ์ผ์—์„œ ์ธ์ฝ”๋”ฉ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜์—ฌ ์Šคํฌ๋ฆฝํŠธ๊ฐ€ ๋™์ž‘ ์•ˆํ•˜๋Š” ๋ฌธ์ œ ๋ฐœ์ƒ

์ˆ˜๋™์œผ๋กœ ๋ฉ”๋ชจ์žฅ์ด๋‚˜ ๋‹ค๋ฅธ ๋…ธํŠธํŒจ๋“œ๋ฅ˜ ํ”„๋กœ๊ทธ๋žจ์„ ์ด์šฉํ•˜์—ฌ ๊ฐ•์ œ๋กœ utf-8๋กœ ์ €์žฅ์„ ํ•˜๋ฉด ๋ฌธ์ œ๋Š” ํ•ด๊ฒฐ ๋˜์ง€๋งŒ ์ˆ˜์‹ญ๊ฐœ์˜ ํŒŒ์ผ์„ ์ผ์ผ์ด ํ™•์ธํ•˜๊ธฐ์—๋Š” ๋ฌธ์ œ๊ฐ€ ์žˆ๋Š” ์ƒํ™ฉ

UTF-8 ์ธ์ฝ”๋”ฉ์ด ์•„๋‹Œ ๋‹ค๋ฅธ ์ธ์ฝ”๋”ฉ์œผ๋กœ ๋˜์–ด์žˆ๋Š”์ง€ ํ™•์ธ์„ ํ•˜๊ธฐ ์œ„ํ•ด python libraray์ธ CharDet์„ ์ด์šฉํ•˜์—ฌ ๋ฌธ์ž ์…‹์„ ํ™•์ธํ•ด ๋ณด๋ ค๊ณ  ํ–ˆ์ง€๋งŒ ๊ฒ€์ถœ์„ ๋ชปํ•˜๋Š” ์ƒํ™ฉ

CharDet์— ๋Œ€ํ•œ ์ž์„ธํ•œ ์ •๋ณด๋Š” ์•„๋ž˜ ๋งํฌ์—์„œ ํ™•์ธ–

https://pypi.org/project/chardet/

๋Œ€๋žต ์ด๋Ÿฐ์‹์œผ๋กœ ์‚ฌ์šฉ..

๊ฒฐ๊ตญ ๋‹ค์‹œ ๊ฒ€์ƒ‰์„ ํ•˜๋‹ค๋ณด๋‹ˆ open ์˜ต์…˜์—์„œ ์„ค์ •์„ ํ•  ์ˆ˜ ์žˆ๋„ค…

์—๋Ÿฌ๋‚˜๋Š” ๋ถ€๋ถ„์„ ๋ฌด์‹œํ•˜๊ณ  ์ธ์ฝ”๋”ฉ์„ ์ง„ํ–‰..

์ด๋ ‡๊ฒŒ open ์˜ต์…˜์— errors=’ignore’๋ฅผ ๋„ฃ์–ด์ฃผ๋ฉด ์—๋Ÿฌ๋‚˜๋Š” ๋ฌธ์ž๋งŒ ๋ฌด์‹œํ•˜๊ณ  ์ธ์ฝ”๋”ฉ์„ ํ•ด์ค€๋‹ค.

์ด์ œ ๋…ธ๊ฐ€๋‹ค ์ˆ˜์ž‘์—…์€ ์•ˆํ•ด๋„ ๋ ๋“ฏ…