기업 규모별 데이터 과학자의 역할

데이터 과학자(Data Scientist; DS)는 산업군과 회사 규모에 따라 연구원(Research), 머신러닝 엔지니어(ML Engineer), 데이터 분석가(Data Analyst; DA) 등의 역할을 수행한다.
하는 일은 세부적으로 어떤 역할이냐에 따라 다르지만, 회사에 주는 영향은 같다.

또한 기업의 규모에 따라 데이터 과학자가 할 수 있는 일과 조직에서의 위치 등이 달라진다.
4가지 유형의 가상 기업을 바탕으로, 데이터 과학자들이 어떤 일을 하는지 알아보자. 아직 사회초년생이라면 이 글을 통해 자신의 성향에 맞는 기업을 선택할 수 있길 바라며 :)

(『데이터 과학자 되는 법』 책(p.50~)에서 일부 발췌하였습니다.)

---

1. 대기업

[가상 기업] 약 8만 명의 직원을 보유한 20년 연혁의 대기업으로, 대규모 장비, 클라우드 서비스, 소프트웨어 등을 판매하는 기술 회사. (ex. 구글, 마이크로소프트)

장점

• 데이터 과학자가 다른 기업 규모에 비해 매우 많다. ‘데이터 팀’이 있으며 각 부서별로 개별적으로 배치되어 지원한다.
• 기술과 지식을 빠르게 습득할 수 있으며, 체계적인 절차가 있다.
• 사람이 많기에 일이 힘들 때 다른 데이터 과학자들의 도움을 받을 수 있다.
• 대기업이기에 R&D에 투자할 자금이 많으며, 그래서 흥미롭고 참신한 데이터 과학 프로젝트를 시도하려고 한다. 최첨단 기법을 사용하기도 한다.(돈이 많이 들더라도, ok!)
• 안정적으로 일할 수 있다.

단점

• 사람이 많으니 사용하는 기술도 다 다르다. (예를 들면 DB 저장할 때, 어떤 팀은 MS-SQL server에, 어떤 팀은 Apache Hive에 저장한다.)
• 대기업이므로 자체 제작 기술 스택이 있다. 이를 잘 배워야 이 기업 내의 데이터에 더 액세스가 가능해진다. 다만 습득한 지식을 다른 회사에 사용할 수는 없다.
• 또한 기업이 워낙 크고 사람이 많다 보니 현재 상황을 파악하기가 어렵다.
• 주위에 데이터 과학자가 많기에 주목받기가 힘들다. 당신이 하려고 하는 프로젝트는 이미 다른 과학자가 하고 있을 가능성이 높다.
• 관료주의, 정치질이 있다.

장점이자 단점

• 대기업이기에 업무가 세분화되어 있다. 그래서 비전문적인 일을 맡기기 쉽다.
• 고정된 업무 방법이 있다. 이에 익숙한 사람이라면 좋겠지만, 주도적으로 일하고 싶어하는 사람에겐 적합하지 않다.

 

---

2. 오프라인 체인 기업

[가상 기업] 미국 전역 250여 곳의 소매 체인점에서 지갑을 판매하는 20년이 넘는 오랜 역사의 기업. 매장 배치, 고객 경험 개선 등에는 잘 아는 전문가가 많지만, 신기술 도입이 늦다.
이 기업은 오프라인을 기반으로 하기 때문에, 최근 온라인 유통업체의 시장점유율이 높아지자 이제서야 앱을 만들고 데이터 과학자를 고용하려고 하고 있다.

현황

• 이 기업은 말하자면 약간 구식(?) 이다. 초기의 데이터팀은 기업실적 지표 보고서를 엑셀로 작성해왔으며, 더 실력이 좋은 데이터 과학자들이 들어오면서 R을 활용한 고객 성장 예측, 경영진이 판매를 쉽게 이해할 수 있도록 만든 대시보드, 고객 마케팅을 위한 고객 세분화 등의 업무를 하고 있다.
• 보통 조직에서는 새로운 보고서와 분석에 힘을 실어주고자 머신러닝 모델을 만든다. 하지만 이 기업은 이런 머신러닝에 지속적으로 투자하지 않으며 웹사이트에서 상품을 추천하는 것은 타사의 머신러닝 제품을 활용하고 있다. 데이터 팀에서 바꾸자는 이야기가 있었지만 시간이 얼마나 걸릴지는 아무도 모른다.

장점

• 회사가 데이터를 잘 모르지만 데이터를 활용하고자 하고 있으므로, 여러분이 더 많은 것을 배우고 새로운 것을 시도할 수 있다.(선구자의 역할!)
  • 그래서 팀이 성장할수록 빠르게 팀의 선임자가 될 수 있다.
• 회사 내 타 부서에서도 데이터 과학자에게 많이 의지한다. 데이터 과학자의 영향력이 크다. 

단점

• 데이터 과학자 팀이 하는 업무가 맞는 것인지 확인할 전문가가 없다. (사내 직원들은 대부분 데이터 인력이 아니기에)
• 이 회사에서 쓰고 있는 데이터베이스는 클라우드가 아닌, 사내 서버(20년간 운영된..)이다. 모든 데이터를 하나의 대형 서버에 저장해 운영하기 때문에, 가끔 쿼리가 오래 걸리거나 시스템이 과부하될 수 있다.
• 대부분의 분석은 노트북으로 한다. 모델을 훈련할 더 좋은 컴퓨터가 필요할 수 있지만, 이를 얻기 힘들다.
• 머신러닝 조직이 사내에 없기 때문에 머신러닝 관련 기술 스택이 없다.
• 기술 스택이 오래되었고 신기술을 사용하고 싶어도 지원을 잘 받지 못한다.
• 급여가 대기업 or 기술 기업의 데이터 과학자보다 적다. 회사는 데이터 과학자에게 많은 임금을 지불할 자금이 없다. (어차피 이 회사는 최고 수준의 데이터 과학자가 필요한 게 아닌, 기본기만 충실한 직원이면 되기 때문이다.)
  • 다행인 것은 비슷한 경력의 타 부서 직원 임금보다는 훨씬 높을 것이다.

장점이자 단점

• 옳다고 생각하는 일을 할 수는 있다. 하지만 도움을 청할 사람이 별로 없다. 일이 잘 안 풀릴 때의 결과도 당신이 책임져야 한다.
• 자신이 옳다고 생각하는 것을 자유롭게 할 수는 있지만, 회사는 가장 최신의 기술(방법)을 사용하는 것엔 관심이 없다.
  • 그래서 당신이 일반적인 통계 방법을 활용하여 일상적인 보고를 하는 것을 좋아하는 스타일이라면, 이 회사는 적합할 것이다.
  • 그러나 훌륭한 머신러닝 방법을 사용하는 것에만 관심이 있다면 이 회사는 적합하지 않다. 여러분의 말을 이해할 수 있는 사람이 거의 없을 테니까.

---

3. 스타트업

[가상 기업] 직원 수 50명, 3년 정도 된 신생 기업. 이 회사는 B2B 회사이며 고객사의 웹사이트를 해당 고객에 맞춰 개인화할 수 있도록 도와주는 제품을 만든다. 짧은 역사지만 유명한 몇몇 대기업이 주 고객이며 VC 투자도 받았다.

현황

• 여러분은 이 회사의 첫번째 데이터 과학자가 될 수도 있다. 그게 아니라면 소수의 데이터 과학자 중 한 명일 것이다.
• 스타트업이기 때문에 프로그래밍 언어, 코드 저장 방법, 공식 회의 등이 아무것도 정해진 게 없다.
• 팀의 문화는 팀원의 자발적인 노력으로 만들어간다.

장점

• 팀원이 적기에 서로 깊은 유대감을 형성하고 우정을 쌓을 수 있다. 
• 다양한 신기술, 방법, 도구로 업무를 진행하고자 노력한다.
  
  • 데이터는 클라우드 최신 기술로 저장되며, 그 외에 소프트웨어 개발, 데이터 저장 및 수집, 분석 및 보고에 사용되는 기술도 모두 최신이다.
  • 이는 업무의 성과를 높일 수 있으며, 이직할 때 매우 플러스 요인이다.
• 회사가 성장하는 동안 흥미롭고 다양한 데이터 과학 업무를 경험해볼 수 있어서 빠르게 배울 수 있다.
  
  • 이러한 것들을 커리어 초기에 배우게 된다면, 여러분의 구직 시장에서의 가치가 매우 높아진다. (많은 기업에서 대기업에서만 일한 사람보다 훨씬 좋아한다.)

단점

• 회사가 체계적이지가 않다.
• 기술은 최신이지만 회사가 빠르게 성장하기 때문에 각 기술 간 조합에는 끊임없는 문제가 생긴다. 기술 발전이 너무 빨라 모든 업무를 관리하기가 어렵다. (이를테면 데이터 과학자가 클라우드에서 데이터가 누락된 것을 알아차리면 데이터 엔지니어(DE)가 해결할 때까지 기다려야 한다.—이것도 DE가 운좋게 있는 경우에나 가능하다. 없는 스타트업도 많다.)
• 동작 중인 프로그램을 유지할 수 있도록 DevOps 팀이 있다면 좋겠지만, 예산을 다른 데 썼으면 이런 팀을 구성하기 어려울 수 있다.
• 매우 열심히 일해야 한다. 야근이 일상일 수 있으며 회사는 모든 직원이 자기 업무뿐 아니라 다른 일도 할 수 있기를 원한다.
• 고용 안정성이 낮아 갑자기 직원을 해고하거나 파산할 수 있다. 그래서 직원들의 평균 연령이 낮은 편이다.

장점이자 단점

• 처음으로 분석을 하는 것이기 때문에, 팀의 업무는 좋을 수도 있고 어려울 수도 있다.
  • 선구자가 될 수 있는 기회이기도 하다.
• 체계가 없어 업무가 혼란스러울 수도 있지만, 여기서 일하는 동안엔 많은 기술을 빠르게 배울 수 있다. 또한 보다 주도적으로 일할 수 있다.
• 단기적인 업무가 많다. 종종 ‘꽤 괜찮은’ 해결책을 내놓고 어서 다음 단계로 진행해야 하기에 장기적인 프로젝트를 선호한다면 스타트업은 비추.
• 급여는 대기업보다는 못하지만 미래에 큰 수익이 될 수 있는 스톡옵션을 제공한다. 회사가 상장되거나 매각된다면 이 스톡옵션은 수십만 달러 (이상)의 가치를 가질 것이다.
  • 당신이 극소수의 실력자라면 대기업보다도 높은 임금을 줄 것이다. 하지만 그만큼 많은 양의 업무를 담당해야 한다.
• 경험을 쌓고 다른 곳으로 이직하려는 사람에게 가장 적합하다.

 

---

4. 중견기업

[가상 기업] 대기업만큼의 규모는 아니나, 매년 고객이 증가하고 있다. 데이터에 정통하며 데이터 직군의 분석가나 과학자들을 계속 고용 중이다. 팀의 데이터 과학자들은 비즈니스를 지원하고자 분석과 보고를 한다. 또한 머신러닝 모델을 만드느라 매우 바쁘다. (ex. 트위터, 에어비앤비)

장점

• 데이터 과학자에게 아주 적합한 규모의 회사이다. 주변에 멘토링해줄 수 있는 선배 데이터 과학자가 충분히 많으면서도 대기업만큼 사람이 많지는 않아 모든 팀원들을 알 수 있다.
• 데이터 과학자 규모가 적당히 많으므로 멘토링처럼 다른 사람을 가르치는 것을 좋아하거나, 논문을 읽거나, 강의를 들어 특정 전문분야를 많이 배우고 싶을 때 유리하다.
• 회사가 데이터 과학을 중요하게 생각하기에, 여러분의 연구가 C-level 임원들에게도 인정받을 수 있다.
• 데이터 파이프라인이 느려지거나 고장났을 때 직접 고칠 필요가 없다. 사내 데이터 엔지니어가 이를 해결해준다.

단점

• 정치질이 있다.
• 관리자의 부탁으로 인해, 비즈니스엔 별로 도움이 되지 않는 일을 하게 될 수도 있다. 이 떄문에 시간을 낭비한다고 생각할 수 있다.
• 스타트업만큼 자주 조직이 변하진 않겠지만 조금씩, 계속해서 조직은 상황 및 우선순위 등이 변할 것이다.

장점이자 단점

• 데이터 과학자들은 배울 기회는 많지만, 역할이 전문적으로 다 나뉘어 있기에 모든 것을 시도할 기회는 없다.
• 안정적인 회사이지만 많은 기회를 제공하진 않는다.