Yours Ever, data log

🔖 Coding Tips

• [Redshift] DBeaver에서 프로시저 만들기 오늘은 Redshift에서 프로시저를 만드는 쿼리문에 대해 소개한다. 프로시저(procedure)란, DB에서 일어나는 일련의 작업을 정리한 절차를 쿼리로 작성하여 관계형 데이터베이스(RDBS) 시스템에 정리한 것을 이야기한다. 그래서 '프로시저를 돌린다' 라는 것은 프로시저를 call 하여 어떤 동작을 일괄적으로 처리하는 것을 의미한다. 굉장히 편리한 기능! 나는 AWS Redshift를 사용하고 있어 이에 따른 프로시저문을 쓰는데, postgresql에도 동일하게 적용되니 참고하자. 또한 DB를 다루는 툴로는 DBeaver를 사용하고 있다. DBeaver에서 프로시저를 만들 때의 절차는 다음과 같다. 1. script에 프로시저문을 입력한 후, 전체선택 (ctrl+A) → alt+X 눌러 프로시저문 .. 2024.02.29

• 

  [Python Crawling] 크롤링 웹사이트 밑으로 내리기 - window height, scrollheight 저번 포스팅에서는 네이버 쇼핑 페이지에서 '샤인머스캣'을 검색한 후, 해당 페이지에 있는 판매자 정보를 크롤링해보았다. 하지만 저번에 했던 방법에서 보완할 부분이 있었는데, 그것은 바로 전체 페이지에 나온 상품이 전부 크롤링되지 않는다는 점이었다. 위 이미지는 내가 크롤링하려고 하는 화면이다. 자세히 보면, 검색 결과를 "40개씩 보기"로 필터링을 해 두었기에 한 화면에 상품이 40개씩 나오지만 저번 포스팅에서 만든 코드를 돌려 보면 5개의 상품만이 뽑혔다. 2024.02.29

• [Python Crawling] 네이버 쇼핑 검색결과 크롤링하기 (3) - 네이버 API 활용하기 저번 포스팅까지는 네이버 쇼핑 검색결과를 Selenium, Beautifulsoup 라는 파이썬 패키지를 활용하여 크롤링하였다. 이렇게 크롤링한 결과도 꽤 괜찮았지만, 여기엔 3가지 문제가 있었다. 첫번째, 중간에 안 긁어지는 부분이 있다. ➡️ 검색결과 로딩이 느려 안 긁어와지는 부분은, 페이지를 맨 끝까지 내리는 방법으로(관련 포스팅) 해결하였다. 그러나 이 외에도 검색결과를 많이 수집하는 경우(검색 결과 페이지를 5페이지 이상) 중간에 안 긁히는 부분이 발견되었다. 두번째, 이미지를 긁어오기 어렵다. 마지막으로, 많은 양을 크롤링하는 경우 시간이 많이 걸린다. 그래서 이번 장에서는 네이버 개발자센터에서 제공하는 네이버 API를 활용하는 방법을 포스팅한다. 앞서 이야기한 3가지 방법을 이 방법으론 전.. 2024.02.29

• 

  [Airflow] DAG에 스케줄 거는 방법 (DAG schedule_interval Setting) 데이터 엔지니어링에서 자동화 배치를 만들기 위해 Airflow를 자주 사용한다. 하나의 배치를 DAG이라 하는데, 배치를 만들면 당연히 자동적으로 수행하게 만들어야 한다. 이번 포스팅에선 dag을 자동적으로 실행하기 위해 스케쥴을 거는 방법을 살펴보자. 보통 DAG에 스케쥴을 거는 데에는 다음의 코드를 사용한다. 어떤 의미인지 하나씩 알아보자. with DAG(dag_id=DAG_ID, default_args=args, start_date=datetime(2021, 1, 1, 0, 0, 0), schedule_interval="0 0 * * *", catchup=False ) as dag: start_date: DAG의 시작 지점 execution_date: 해당 Task가 실행하고자 하는 Time wi.. 2024.01.08

🔖 데이터 분석 이야기

• 

  조금 늦은 2023년 회고와 2024년을 맞이하며 쓰는 글 정말 오랫만에 이렇게 블로그 포스팅을 하기 위해 자리에 앉았다. 오늘은 2024년 1월 7일로, 2024년이 시작된지도 이미 일주일이 지났다. 사실 2023년 회고 및 2024년에 어떤 것들을 다짐했는가는 나의 개인 노션에는 이미 적어두었지만, 연말연초라 다른 약속도 많고 해서 진득하게 자리에 앉아 있을 시간이 없어서 블로그에는 오랫만에 글을 남기고 있다. (그렇다 다 핑계다...ㅎ.. 올해는 블로그 포스팅도 꾸준히 하는 게 나의 2024년 목표기도 하다!) 사진처럼 오늘은 중구에 있는 한 카페에서 이 글을 쓰고 있다. 버터프레첼과 카페라떼를 시켜서 먹고 있는데 꽤 맛있다. 그리고 카페의 분위기가 잔잔해서 여유로운 일요일을 보내기에 딱인 장소였다. (사람이 많다는 건 안비밀) 2023년(벌써 작년)에 남.. 2024.01.07

• 

  [커리어 시리즈 #3] 데이터 분석가 신입/인턴 면접 뽀개기! (데이터 직군 면접 후기, 준비 방법) 안녕하세요! Everly 입니다. 이번 커리어 시리즈의 마지막으로, 데이터 직군의 "면접" 준비 및 과정에 대해 포스팅해보려 합니다. 제가 인턴 및 정규직에 지원했던 것이 데이터 분석 쪽이기에, 직무적인 부분에 있어서는 분석 쪽 관련 커리어를 준비하고 계신 분들께 도움이 될 것 같아요! 처음 회사 면접을 준비하다 보면 정말 막막하기 그지없는데요. 저도 첫 데이터 분석 인턴 면접을 봤을 때를 생각해보면 아직까지도 그 때의 긴장감이 생생합니다. 대체 면접장에 가면 나에게 무슨 질문을 할지, 그리고 나는 어떻게 대답해야 합격할 수 있을지 수없이 고민하고 머리를 싸맸던 기억이 납니다. 이번 포스팅에서는 제가 면접을 준비했던 방법과, 면접에서 자주 물어보는 질문들, 마지막으로 제가 생각하는 면접 꿀팁에 대해 알려.. 2023.08.07

• 

  [커리어 시리즈 #2] 데이터 분석가/인턴 서류에 합격하려면? (feat. 포트폴리오, 자소서, 이력서) 안녕하세요, Everly입니다. 오늘은 저번 포스팅에 이어 어떻게 서류 합격을 받을 수 있었는지 준비과정과 내용을 알려드릴게요. Step 3. 서류 전형 준비하기! 처음 서류를 준비하다 보면 정말 이것저것 챙길 것도 많고, 생각보다 꽤 많은 시간이 소요되었던 것 같아요. 우선 제가 지원했던 인턴은 요구한 서류가 2가지였는데, 자기소개서와 경력기술서(선택) 이었습니다. 자기소개서 - 자유 양식 경력기술서(신입의 경우 포트폴리오) - 자유 양식 [1. 자기소개서 쓰기] 자기소개서의 경우 처음엔 정말 막막하더라고요. 자유 양식인데다 대학 입시 때 썼던 자소서가 마지막이었는데..! 그래서 이 때에는 학교에서 하는 자기소개서 특강을 듣고, 강사님께서 추천해주신 자기소개서 책 『너는 생각보다 자소서를 잘 쓴다』(유.. 2023.07.02

• 

  [커리어 시리즈 #1] 데이터 분석가/데이터 분석 인턴 지원 시작하기 안녕하세요, Everly입니다 :) 작년부터 쓰려고 벼르고 있었는데 드디어 블로그에 연재를 시작하네요. 많은 분들께서 저의 블로그를 보고 '데이터 분석 인턴 합격하려면 어떻게 해야 하는지', '데이터 분석가로 취업하려면 어떻게 해야 하는지' 를 많이 궁금해하시더라구요. 그래서 이번 포스팅부터는 데이터 분석가로 취업에 성공한 저의 경험담(서류, 면접 관련)을 나누어 드리려 합니다 :) 저의 개인적인 경험담이니 조언 정도로만 봐주시면 감사하겠습니다. [Start: 인턴 지원 배경] 우선 제가 첫 인턴을 지원한 시기는 2021년 3~4월로, 4학년 막학기를 다니고 있던 때였습니다. 저는 통계학과라 데이터 분석엔 어렴풋이 관심이 있었습니다. 학교 수업을 통해 R프로그래밍, 회귀분석 등을 공부하며 흥미를 쌓아갔고.. 2023.06.29