Yours Ever, Data Chronicles

세븐 테크: 3년 후 당신의 미래를 바꿀 7가지 기술 - 김미경 외 8인 지음, 웅진지식하우스(2022) 다들 한번쯤 들어보셨을 만큼 유명한 스타강사이자, 유튜브 MKYU대학을 운영 중이신 ‘김미경’ 님이 올해 2월에 낸 따끈따끈한 신작이다. 이 책은 제목처럼, 3년 후 유망해질 7가지 기술인 에 관해 다루고 있다. 이 7가지 기술의 주인공들은 바로 이것이다. 인공지능(AI), 블록체인(blockchain), VR/AR, 로봇공학, 사물인터넷(IoT), 클라우드(Cloud), 메타버스 많이들 들어본 것들이고, 이미 우리의 일상 속에서 사용되고 있기도 하다. 그리고 앞으로 유망해질 것이라는 것은 여러 매체와 강연을 통해서 들어보셨으리라 생각한다. 나는 그중에서도 인공지능에 가장 관심이 많고, 이를 잘 다루..

저번 포스팅에서는 sur 데이터의 comment(의견) 컬럼을 konlpy를 활용해 형태소 분석해보았습니다. 그래서 자주 나온 명사를 살펴보았는데, 사실 이 단어가 긍정적인지, 부정적인지 모른다는 문제가 있었죠? 오늘은 이 단어와 고객만족도를 함께 살펴보고, 텍스트 데이터를 수치화하는 방법까지 알아보겠습니다 :) ✔Table of Contents Tech 98. 자주 나오는 단어와 고객 만족도 간 관계를 알아보자. (groupby agg) sur.head() sur 데이터에서 comment와 satisfaction만 따로 뽑아봅니다. 여기서 comment는 앞의 포스팅에서 한 것처럼, 명사만 뽑겠습니다. 물론 stopwords인 '더', '수', '좀' 도 제거합니다. 앞의 포스팅에서 쓴 코드를 살짝만 ..

안녕하세요~ Everly입니다 😀 오늘부터는 [파이썬 데이터 분석 실무 테크닉 100] 책의 마지막 10장인 '자연어 처리' 부분 포스팅을 업로드합니다. 이 자연어 처리(NLP; Natural Language Processing) 기술은 텍스트(text) 데이터를 분석하는 것으로, 비정형 데이터를 분석하는 기술이라고 볼 수 있겠죠. 예를 들어 고객에게 설문조사를 실시하고, 여기서 필요한 정보만 뽑아낸다고 해봅시다. 설문조사를 한 고객 수가 적으면 일일이 확인해도 되겠지만, 이게 몇 천, 몇 만 명에게 했다고 한다면 사람의 눈으로 파악하기 힘들겠죠. 그리고 어차피 우리가 궁금한 것은 사람들이 공통적으로 말하고 있는 장점이나 단점 정도만 보면 될 테니까요! 이럴 때 사람이 아니라 NLP를 활용한 데이터 분석..

안녕하세요, Everly입니다. 오늘은 [파이썬 데이터 분석 실무 테크닉 100] 의 "이미지 인식 기술" 마지막 포스팅입니다. 바로 전 포스팅에서 HOG의 SVMDetector 모델을 활용하여 동영상으로부터 사람을 인식하여, 사람 수를 세보았는데요! HOG 모델이 노이즈, 즉 오차가 많은 모델이라 정확한 결과가 나오지 못했습니다. 그래서 이번 장에서는 이런 노이즈를 제거해보고 '이미지 인식 기술' 포스팅을 마무리하겠습니다. ✔Table of Contents Tech 90. 이동평균을 계산해 HOG 노이즈를 제거하자. 노이즈가 생기는 이유는 이런 이유 때문입니다. 1. 계산해야 할 사람을 계산하지 않아서 2. 계산안해도 될 것을 사람으로 계산해서 그래서 시간의 평균(이동평균)을 계산하는 방법을 통해, 갑..

저번 포스팅까지는 이미지 데이터로부터 사람 인식 기술을 배웠다면, 이번 포스팅부터는 동영상 데이터로부터 사람을 인식하는 기술을 공부해봅니다. 사람 인식 기술은 앞의 포스팅에서 사용한 HOG 특징량을 사용하는 모델을 사용하며, 이번 포스팅을 통해 동영상에서 자동으로 몇 명의 사람이 있는지를 인식할 수 있고, 동영상의 중요 정보만 압축한 타임랩스 영상을 만들 수 있습니다. ✔Table of Contents Tech 87. 중요한 정보만 압축한 타임랩스 영상을 만들어보자 장시간의 정보를 담은 긴 영상을 모두 눈으로 확인하는 것은 시간이 오래 걸립니다. 이 때 '타임랩스' 기능을 사용하면 좋습니다. 타임랩스란 일정 기간의 프레임 중에서, 1프레임만 꺼내는 '빠르게 재생하기' 기법입니다. 전반적인 경향을 빠르게 ..

저번 포스팅에 이어, 이번 포스팅에서는 이미지 인식 모델을 활용합니다. 그래서 이미지 데이터로부터 사람의 얼굴을 인식해보고, 이를 하얀색 네모박스로 처리하여 제대로 인식했는지를 확인해보겠습니다. ✔Table of Contents Tech 84. 이미지 속에 사람이 어디 있는지 검출하자 (HOG - SVMDectector 모델) 이미지 속에 사람을 검출하는 것은 HOG 특징량으로 표현해서 검출할 수 있습니다. 앞선 포스팅에서 사용한 img01 이라는 이미지 파일로부터 검출해봅시다. 여기선 잘 만들어진 사람 인식 모델 SVMDetector를 사용하겠습니다. [주요 메서드] hog = cv2.HOGDescriptor() : HOG 객체 만들기 hog.setSVMDetector(HOGDescriptor_getD..

안녕하세요, Everly입니다 :) 지금까지 한 포스팅으로 현장에서 데이터 분석 업무를 어떻게 하는지, 어떻게 결과를 내고 개선하는지에 대한 내용을 알아봤습니다. 지금부터는 '발전 편'으로, 이미지 인식과 텍스트 분석이라는 2가지 AI(인공지능) 기술을 소개합니다. 이미지와 텍스트 데이터는 지금까지 봤던 csv 형태로 깔끔하게 저장된 정형 데이터가 아니라, 비정형 데이터라서 다소 까다롭습니다. 자세히 다루지는 않고 맛보기로만 볼 거라서, 여기서 흥미가 생기신다면 더 깊이 공부하면 좋을 것 같아요 :) 먼저 이번 포스팅부터는 '이미지 인식 기술'을 공부해봅니다. 여기서는 다음과 같은 것을 배울 수 있습니다. 이미지, 동영상 데이터를 불러오는 방법 동영상을 이미지로 나눠서 저장하는 방법 이미지, 동영상 속에..