Python encoding ์˜ค๋ฅ˜ ํ•ด๊ฒฐ

json ํ˜•ํƒœ์˜ ๋กœ๊ทธ ํŒŒ์ผ์„ ํŒŒ์ด์ฌ์œผ๋กœ ETL ์ž‘์—…์„ ํ•˜๋˜ ๋„์ค‘ ํŠน์ • ํŒŒ์ผ์—์„œ ์ธ์ฝ”๋”ฉ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜์—ฌ ์Šคํฌ๋ฆฝํŠธ๊ฐ€ ๋™์ž‘ ์•ˆํ•˜๋Š” ๋ฌธ์ œ ๋ฐœ์ƒ

์ˆ˜๋™์œผ๋กœ ๋ฉ”๋ชจ์žฅ์ด๋‚˜ ๋‹ค๋ฅธ ๋…ธํŠธํŒจ๋“œ๋ฅ˜ ํ”„๋กœ๊ทธ๋žจ์„ ์ด์šฉํ•˜์—ฌ ๊ฐ•์ œ๋กœ utf-8๋กœ ์ €์žฅ์„ ํ•˜๋ฉด ๋ฌธ์ œ๋Š” ํ•ด๊ฒฐ ๋˜์ง€๋งŒ ์ˆ˜์‹ญ๊ฐœ์˜ ํŒŒ์ผ์„ ์ผ์ผ์ด ํ™•์ธํ•˜๊ธฐ์—๋Š” ๋ฌธ์ œ๊ฐ€ ์žˆ๋Š” ์ƒํ™ฉ

UTF-8 ์ธ์ฝ”๋”ฉ์ด ์•„๋‹Œ ๋‹ค๋ฅธ ์ธ์ฝ”๋”ฉ์œผ๋กœ ๋˜์–ด์žˆ๋Š”์ง€ ํ™•์ธ์„ ํ•˜๊ธฐ ์œ„ํ•ด python libraray์ธ CharDet์„ ์ด์šฉํ•˜์—ฌ ๋ฌธ์ž ์…‹์„ ํ™•์ธํ•ด ๋ณด๋ ค๊ณ  ํ–ˆ์ง€๋งŒ ๊ฒ€์ถœ์„ ๋ชปํ•˜๋Š” ์ƒํ™ฉ

CharDet์— ๋Œ€ํ•œ ์ž์„ธํ•œ ์ •๋ณด๋Š” ์•„๋ž˜ ๋งํฌ์—์„œ ํ™•์ธ–

https://pypi.org/project/chardet/

๋Œ€๋žต ์ด๋Ÿฐ์‹์œผ๋กœ ์‚ฌ์šฉ..

๊ฒฐ๊ตญ ๋‹ค์‹œ ๊ฒ€์ƒ‰์„ ํ•˜๋‹ค๋ณด๋‹ˆ open ์˜ต์…˜์—์„œ ์„ค์ •์„ ํ•  ์ˆ˜ ์žˆ๋„ค…

์—๋Ÿฌ๋‚˜๋Š” ๋ถ€๋ถ„์„ ๋ฌด์‹œํ•˜๊ณ  ์ธ์ฝ”๋”ฉ์„ ์ง„ํ–‰..

์ด๋ ‡๊ฒŒ open ์˜ต์…˜์— errors=’ignore’๋ฅผ ๋„ฃ์–ด์ฃผ๋ฉด ์—๋Ÿฌ๋‚˜๋Š” ๋ฌธ์ž๋งŒ ๋ฌด์‹œํ•˜๊ณ  ์ธ์ฝ”๋”ฉ์„ ํ•ด์ค€๋‹ค.

์ด์ œ ๋…ธ๊ฐ€๋‹ค ์ˆ˜์ž‘์—…์€ ์•ˆํ•ด๋„ ๋ ๋“ฏ…

๋Œ“๊ธ€ ๋‚จ๊ธฐ๊ธฐ

์ด๋ฉ”์ผ์€ ๊ณต๊ฐœ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํ•„์ˆ˜ ์ž…๋ ฅ์ฐฝ์€ * ๋กœ ํ‘œ์‹œ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค