Python encoding ์˜ค๋ฅ˜ ํ•ด๊ฒฐ

json ํ˜•ํƒœ์˜ ๋กœ๊ทธ ํŒŒ์ผ์„ ํŒŒ์ด์ฌ์œผ๋กœ ETL ์ž‘์—…์„ ํ•˜๋˜ ๋„์ค‘ ํŠน์ • ํŒŒ์ผ์—์„œ ์ธ์ฝ”๋”ฉ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜์—ฌ ์Šคํฌ๋ฆฝํŠธ๊ฐ€ ๋™์ž‘ ์•ˆํ•˜๋Š” ๋ฌธ์ œ ๋ฐœ์ƒ

์ˆ˜๋™์œผ๋กœ ๋ฉ”๋ชจ์žฅ์ด๋‚˜ ๋‹ค๋ฅธ ๋…ธํŠธํŒจ๋“œ๋ฅ˜ ํ”„๋กœ๊ทธ๋žจ์„ ์ด์šฉํ•˜์—ฌ ๊ฐ•์ œ๋กœ utf-8๋กœ ์ €์žฅ์„ ํ•˜๋ฉด ๋ฌธ์ œ๋Š” ํ•ด๊ฒฐ ๋˜์ง€๋งŒ ์ˆ˜์‹ญ๊ฐœ์˜ ํŒŒ์ผ์„ ์ผ์ผ์ด ํ™•์ธํ•˜๊ธฐ์—๋Š” ๋ฌธ์ œ๊ฐ€ ์žˆ๋Š” ์ƒํ™ฉ

UTF-8 ์ธ์ฝ”๋”ฉ์ด ์•„๋‹Œ ๋‹ค๋ฅธ ์ธ์ฝ”๋”ฉ์œผ๋กœ ๋˜์–ด์žˆ๋Š”์ง€ ํ™•์ธ์„ ํ•˜๊ธฐ ์œ„ํ•ด python libraray์ธ CharDet์„ ์ด์šฉํ•˜์—ฌ ๋ฌธ์ž ์…‹์„ ํ™•์ธํ•ด ๋ณด๋ ค๊ณ  ํ–ˆ์ง€๋งŒ ๊ฒ€์ถœ์„ ๋ชปํ•˜๋Š” ์ƒํ™ฉ

CharDet์— ๋Œ€ํ•œ ์ž์„ธํ•œ ์ •๋ณด๋Š” ์•„๋ž˜ ๋งํฌ์—์„œ ํ™•์ธ–

https://pypi.org/project/chardet/

๋Œ€๋žต ์ด๋Ÿฐ์‹์œผ๋กœ ์‚ฌ์šฉ..

๊ฒฐ๊ตญ ๋‹ค์‹œ ๊ฒ€์ƒ‰์„ ํ•˜๋‹ค๋ณด๋‹ˆ open ์˜ต์…˜์—์„œ ์„ค์ •์„ ํ•  ์ˆ˜ ์žˆ๋„ค…

์—๋Ÿฌ๋‚˜๋Š” ๋ถ€๋ถ„์„ ๋ฌด์‹œํ•˜๊ณ  ์ธ์ฝ”๋”ฉ์„ ์ง„ํ–‰..

์ด๋ ‡๊ฒŒ open ์˜ต์…˜์— errors=’ignore’๋ฅผ ๋„ฃ์–ด์ฃผ๋ฉด ์—๋Ÿฌ๋‚˜๋Š” ๋ฌธ์ž๋งŒ ๋ฌด์‹œํ•˜๊ณ  ์ธ์ฝ”๋”ฉ์„ ํ•ด์ค€๋‹ค.

์ด์ œ ๋…ธ๊ฐ€๋‹ค ์ˆ˜์ž‘์—…์€ ์•ˆํ•ด๋„ ๋ ๋“ฏ…

macOS Catalina 10.15 ์—…๋ฐ์ดํŠธ ํ›„ ์•…์„ฑ ์†Œํ”„ํŠธ์›จ์–ด ํ™•์ธ ๊ฒฝ๊ณ 

Catalina 10.15๋กœ ์—…๋ฐ์ดํŠธ ํ›„์— ๋ฆฌ๋””๋ถ์Šค ์•ฑ ์‹คํ–‰ ์‹œ ์•…์„ฑ ์†Œํ”„ํŠธ์›จ์–ด๊ฐ€ ์žˆ๋Š”์ง€ ํ™•์ธ ํ•  ์ˆ˜ ์—†๋‹ค๊ณ  ์‹คํ–‰์ด ๋˜์ง€ ์•Š๋Š”๋‹ค.

 

ํ™˜๊ฒฝ์„ค์ • > ๋ณด์•ˆ ๋ฐ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ > ์ผ๋ฐ˜(ํƒญ) ์—๋„

์•ฑ ํ—ˆ์šฉ์—๋Š” App Store์™€ Apps Store๋ฐ ํ™•์ธ๋œ ๊ฐœ๋ฐœ์ž๋งŒ ์žˆ๋‹ค.

ํ„ฐ๋ฏธ๋„์„ ์—ด์–ด์„œ ๋‹ค์Œ ๋ช…๋ น์–ด๋ฅผ ์ž…๋ ฅํ•œ๋‹ค.

sudo spctl –master-disable

ํ™˜๊ฒฝ ์„ค์ • ์ฐฝ์„ ๋‹ซ์€ ํ›„ ๋‹ค์‹œ ์—ด์–ด์„œ ํ™•์ธ์„ ํ•ด๋ณด๋ฉด ‘๋ชจ๋“  ๊ณณ’์ด ์ถ”๊ฐ€ ๋˜์–ด์žˆ๋‹ค.

๋‹ค์‹œ ์•ฑ์„ ์‹คํ–‰ํ•ด๋ณด์ž.

์ž˜๋œ๋‹ค.