Yours Ever, Data Chronicles

데이터 과학자(Data Scientist; DS)는 산업군과 회사 규모에 따라 연구원(Research), 머신러닝 엔지니어(ML Engineer), 데이터 분석가(Data Analyst; DA) 등의 역할을 수행한다. 하는 일은 세부적으로 어떤 역할이냐에 따라 다르지만, 회사에 주는 영향은 같다. 또한 기업의 규모에 따라 데이터 과학자가 할 수 있는 일과 조직에서의 위치 등이 달라진다. 4가지 유형의 가상 기업을 바탕으로, 데이터 과학자들이 어떤 일을 하는지 알아보자. 아직 사회초년생이라면 이 글을 통해 자신의 성향에 맞는 기업을 선택할 수 있길 바라며 :) (『데이터 과학자 되는 법』 책(p.50~)에서 일부 발췌하였습니다.) 1. 대기업 [가상 기업] 약 8만 명의 직원을 보유한 20년 연혁의 대기업..

숫자를 돈으로 바꾸는 데이터 읽기의 기술 - 차현나 지음, 청림출판(2019) 이 책은 인턴 시절, 다른 인턴 분의 추천으로 동저자의 ‘데이터 쓰기의 기술’이라는 책을 읽어본 적이 있었는데, 이 책의 내용이 좋아서 같은 시리즈였던 ‘데이터 읽기의 기술’은 직접 구매하여 읽어보았다. 이 책은 '데이터 분석'을 아예 모르는 사람들보다는 한번쯤 들어 보았고, 간단한 분석이라도 한번 해본 사람들에게 추천하는 책이다. 왜냐하면 분석을 하면 할수록 생기는 어려움 중 하나인 '배경 지식(암묵지)'에 관한 내용 위주로 들어 있기 때문이다. 데이터 분석을 아예 모르고 처음 접하는 사람들은 데이터 분석은 기술만 있으면 된다고 생각한다. 이를테면 Python, R 등으로 코딩을 잘 해야 하고 머신러닝 몇 개 정도 해보면 곧..

오늘은 초보 데이터 분석가(비즈니스 데이터 분석가(Business Analyst), 데이터 분석가(Data Analyst), 데이터 사이언티스트(Data Scientist))로서 '데이터 분석' 일을 시작하게 되었을 때 마주할 수 있는 어려움에 대한 포스팅을 하고자 한다. 이 글을 읽을 분들은 아마 나처럼 초보 데이터 분석가로서 일을 하는 인턴이나 사회초년생 분들이 많을 것 같은데, 결론부터 이야기하자면 데이터 분석에서 어려운 점은 언어나 기술(Python, R, SQL 등..)이 부족해서가 아니다. 데이터 분석가로서 일을 하신다면 어느 정도 기술력은 기본은 갖추고 계실 것이고, 더 중요한 것은 기술 바깥의 것들임을 (내가 많이 느꼈기에) 인턴생활 6개월을 되돌아보면서 이 글을 쓴다. 나는 작년에 6개월..

일 잘하는 사람은 단순하게 말합니다 - 박소연 지음, 더퀘스트(2020) 이 책은 작년에 한창 인턴생활하던 시절에 사 두고는 안 읽고 있다가 이제서야 읽은 책이다. 인턴을 하고 있을 때 내가 가장 힘겨웠던 것은 바로 ‘의사소통’이었는데, 확실히 학생 때와는 다르게 직장에서 사용하는 언어는 엄청난 차이가 있었다. 처음에 아주 생소한 용어들(AS-IS, FYI, forwarding 해주세요, 등등..)을 들을 때마다 저게 무슨 말인지 싶어 집에 와서 찾아보기도 했었고(직장에서 다른 분들께 여쭤봐도 되지만, 뭔가 부끄러웠다) 학교에서는 공부만 열심히 하면 되고, 교수님 수업만 잘 들으면 학점이 잘 나왔었는데 직장에서는 ‘실적’을 내야 하고, 실적을 냈더라도 이를 제대로 전달하지 않으면 아무도 그 고생을 알아주..

저번 포스팅에 이어, 이번에는 이용이력(ul) 데이터를 가공하여 사전 분석을 실시한다. ✔Table of Contents Tech 25. 이용이력 데이터를 집계하자. 이용이력 데이터는 저번 포스팅에서 했던 고객 데이터와 다른 점이 무엇일까? 바로 고객 데이터와는 달리, 회원이 스포츠센터를 이용할 때마다 시간이 찍히기 때문에 시간적인 요소를 분석할 수 있다. 예를 들어 한 달 이용 횟수의 변화나, 회원이 스포츠센터를 정기적/비정기적으로 이용하는지 와 같은 것들이다. 우리는 우선, 스포츠센터를 이용하는 회원들이 월별 몇 회를 이용하는지 그 평균값, 중앙값, 최댓값, 최솟값을 구해보도록 하자. 이용이력(ul) 데이터는 고객데이터와는 달리 customer_id가 중복이 있기 때문에(이용할 때마다 찍히는 데이터이..

안녕하세요, Everly입니다 :) 저번 포스팅(파이썬 데이터 분석 #1장, #2장)을 통해, 현장에서 데이터 분석을 어떻게 시작하는지에 대해 기본적인 내용을 공부했습니다. 이번 포스팅부터는 데이터 분석을 본격적으로 시작해 보겠습니다. 데이터 분석 업무를 한다는 것은 결국 '결과를 내기 위한' 것입니다. 여기에는 2가지 측면이 있는데요, 하나는 통계를 사용한 사전 분석으로, EDA라고도 합니다. 데이터를 찬찬히 뜯어보고, 가공하는 데이터 핸들링(data handling)을 하는 과정입니다. 이 과정에서 현재의 상황이 어떤지를 데이터를 통해 자세히 알아볼 수 있죠. 또한 이러한 현황 파악을 통해 어떠한 알고리즘을 적용하면 좋을지도 알 수 있습니다. 나머지 하나는 앞서 한 사전 분석을 토대로, 머신 러닝 알..

저번 포스팅에서 이어서 '지저분한 데이터 가공하기'의 남은 부분을 공부해보자. 배우는 부분: 데이터 전처리 / 데이터 가공 / 엑셀 숫자 날짜로 변환 / 문자열 전처리 ✔Table of Contents Tech 16. 고객 이름 오류 수정하기 이번에는 'ko'라고 하는 데이터를 살펴보자. 이는 엑셀(xlsx) 데이터로, 많은 오류가 있다. ko.head() 보다시피 고객이름은 '김 현성'처럼 공백이 들어가 있으며, 등록일은 날짜타입으로 된 것도 있으나 숫자형태로 되어 있기도 하다. 이는 엑셀에서의 서식을 날짜가 아닌 다른 방식으로 지정했기 때문이다. 우선 고객 이름부터 수정해보도록 하자. 고객이름에는 공백이 두 번(" ") 들어있는 것도 있고, 한 번(" ") 들어있는 것도 있는데, 이러한 공백들을 모두..

저번 포스팅에서 다뤘던 쇼핑몰 데이터는 프로그램으로 알아서 데이터가 쌓이고 있어, 비교적 깨끗한 데이터였는데요. 하지만 이번 포스팅에서 다룰 데이터는 사람이 수기로 입력한 엑셀 데이터로, '지저분한 데이터'를 가공하는 방법을 포스팅해보겠습니다. 제가 회사에서 일했을 때의 데이터는 데이터베이스에서 내려받을 수 있는, 비교적 깔끔한 데이터였지만 아직까지 비즈니스 현장에서는 사람이 직접 손으로 입력한 데이터가 많습니다. 어떠한 데이터 형식으로 되어있든지간에, 개떡같은 데이터도 찰떡같이 분석하는 것이 데이터 사이언티스트라면 기본이겠죠? 이번 시간에 다룰 데이터는 가상의 대리점 데이터로, 매출현황과 고객정보가 들어있는 2개의 데이터를 제공받았습니다. - uriage.csv : 매출 이력 데이터, 상품 A~Z까지 ..

저번 포스팅에 이어서 이번에는 본격적으로 쇼핑몰 데이터의 주문 수를 기준으로 분석해 보겠습니다. 저번 포스팅에선 주어진 데이터가 있을 때, 어떻게 데이터들을 결합시키고 필요한 열을 만드는지를 위주로 보았습니다. 이번엔 만든 "join_data"를 가지고, 본격적인 분석을 시작해 보겠습니다! 앞서, 의뢰가 들어온 쇼핑몰에서는 현재 전체 매출액만 알고 있을 뿐, 데이터와 관련한 정보는 하나도 아는 것이 없었습니다. 우리는 이 데이터를 바탕으로 인사이트를 찾아야 하는데, 분석에 앞서 스스로 "질문해보는 것"이 아주 중요합니다. (궁금한 게 있어야 분석을 할 수 있으니까요!) 어떤 점이 궁금한가요? 궁금한 게 마땅히 떠오르지 않는다면, 먼저 데이터의 현 상황부터 파악해 봅시다! ✔Table of Contents..

오늘부터는 『파이썬 데이터 분석 실무 테크닉 100』 책을 한 챕터씩 공부해보려고 한다. (책 자세히 보기) 이 책은 100가지 예제를 통해, 파이썬으로 데이터를 가공- 머신러닝 - 이미지/자연어 처리를 하는 방법까지를 다루고 있다. 나는 주로 데이터 분석 공부를 이러한 책을 통해 배우고 있는데, 인턴을 하면서 느꼈던 것은 "실무를 위한" 공부를 해야 한다는 것이었다.(이론만 알아서는 절대 안된다!) 파이썬 기초 수준의 공부를 했다면(기초 책으로는 『Do it! Jump to Python』 이나 『Do it! Pandas 입문』 편을 추천한다.) 그 다음으로는 실무에서 데이터 분석을 어떻게 하고 있는지를 알아야 한다. 그런 점에서 이 책은 실제로 실무에서 하는 그러한 예제들을 다루고 있어, 데이터 분석을..