분류 전체보기

한 때, 빅데이터의 쌍두마차로 컴퓨터공학과 통계학이 언급되며, 둘 중 무엇을 배우는 것이 좋은지 의견이 분분했드랬다. 지금은 특수대학원 커리큘럼을 보든, 데이터 사이언티스트 국비 지원 교육 커리큘럼을 보든 통계학보다는 CS 위주로 구성되어 있어 어느 정도 정리(?)가 된 느낌이지만, 여전히 작게나마 소동극이 진행되고 있는 느낌이다. 혹자는 통계학을 배울 필요가 없다고 말하기도 하고, 혹자는 통계학이 데이터 사이언스의 기초 체력이라고 말한다. 여기에 통계학을 전공하고, 지금도 계속 공부하고 있는 사람으로서 의견을 정리해서 작성해보려고 한다. 1. 통계학에 대한 단상 결론부터 말하면 통계학은 도구로서의 학문이라고 생각한다. 이건 통계학을 공부하면, 공부할수록 절실히 느끼는 부분이다. 대학교 전공수업을 듣던 ..

오늘은 도구변수(Instrumental Variable, 이하 IV)에 대해 써보려고 한다. 해당 기법은 Tricky해서 잘 쓰면 정말 신박한 결과를 얻을 수 있지만 동시에 사용하기 까다로운 방법이기도 하다. 그렇지만 적절한 변수를 잘 찾는다면 인과추론의 내생성 문제를 해결하는데 도움이 되는 방법이라 간략히 정리해보려고 한다. 대리변수(Proxy Variable)과 어떻게 다른지 도구변수의 기본 개념이 무엇인지 사용 시 주의점이 무엇인지 의 단계로 글을 작성할 것이다. 1. 대리변수는 무엇인가? (사실 나만의 문제일 수 있지만...)도구변수가 주는 어감 때문에 대리변수와 헷갈릴 때가 있다. 마치 도구변수가 도라에몽의 도구같이 언제든 척척 꺼내쓰는 것처럼 느껴져서, 정량화하기 어려운 문제를 도구변수로 해결..

주간 회고를 블로그에 작성해보기로 결심했다. 일상을 그냥 저냥 흘려보내며 일만 벌이지 말고 다시 뭔가 수렴해보자 하는 일환인데, 그냥 일기장 같은 형태가 될 것 같다. 1. 신체적 작년 10월부터 그래도 매주 3~4회 꼬박꼬박 운동을 나가다가 몇 개월 전부터 운동을 제대로 못 나가고 있다. 몇 개월 전에 작은 수술을 받게 되었는데 그래도 나름 수술이어서 수술 부위에 영향이 없도록 4~6주 정도 운동을 쉬게 되었고... 그렇게 루틴이 깨져버리고, 다른 바쁜 일이 생기니까 에이 어쩔 수 없다 하면서 차일피일 조금씩 운동을 미루게 되었기 때문이다. 지금은 수술 영향은 전혀 없는데도 불구하고! 얼굴이 보름달처럼 동그래보인다고 생각해서 체중을 재보니 다시 역대급 갱신을 해버리고 말았다. 이대로는 안 되겠다 싶어 ..

제목은 거창하게 썼지만, 최근 PM을 위한 데이터 리터러시 인강(최근에는 학습률이 부진하지만... 큭)이나 현업에 계신 데이터 분석가 분들을 봬면서 느낀 점들을 기록하는 글이다. 결론부터 말하면 여전히 좋은 데이터 분석가라는 것을 정의하는 것은 어렵다. 애초에 한 두 가지의 범주로 정의 지을 수 있는 개념인지도 모르겠다. 하지만 결과가 아니라 한 단계 한 단계의 과정에 대해서는 이야기할 수 있을 것 같다. 결국 이 글은 엄밀히는 '점점 좋아지는' 데이터 분석가가 되기 위한 글이라고 볼 수 있겠다. 무작정 일을 벌이지 말고, 정리하는 시간을 반드시 갖자 PM을 위한 데이터 리터러시 인강(이하 PM인강으로 명명)에서 '발산'과 '수렴'이라는 키워드가 왕왕 나온다. 발산 = 아이디어를 자유롭게 풀어놓는 것 수..

지난번에는 매칭에 대해서 글을 썼는데, 오늘은 성향점수(Propensity Score : 이하 PS) 매칭, 역확률 가중치(Inverse Probability Weighting : 이하 ipw)에 대해 글을 써보려고 합니다. 성향점수란 무엇인가 역확률 가중치란 무엇인가 성향점수를 활용하는 매칭과 역확률가중치는 어떻게 다른가 의 이야기를 다루려고 합니다. 1. 매칭 이전 글에 다루기는 했지만 다시 간략하게 요약해보겠습니다. 매칭은 처치 집단과 통제 집단 간 공변량(Covariate)이 다를 때, 비슷한 특성을 가진 데이터끼리 짝지어 매칭시키고, 매칭된 데이터끼리 결과변수를 비교하는 개념입니다. X_1과 X_2 변수를 기준으로 각 셀마다 매칭된 데이터를 확인할 수 있고, 대조군과 처치군의 결과변수 평균 차이..

3월 목표로 했던 책을 다 읽어서, 나에게 주는 선물로 샀던 '사람을 얻는 지혜'. 잔뜩 기대했지만 생각만큼 좋은 느낌은 아니었다. 처세술에 대한 이야기도 은근히 나오는데, 개인적으로는 자기계발서에 나올법한 이야기를 보는 것이 아니라 인문학적인 내용을 보고 싶었기에 읽는 것이 조금 힘에 부쳤던 것 같다.남이 나를 의존하도록 욕구를 북돋우라. 다른 사람의 결핍을 이용하라. (p.226) 자기 바닥을 드러내지 말라. 늘 최신 기술의 기밀을 유지하라. (p.252) 호의 를 얻으면 일사천리로 일이 진행된다. (p.144) 그럼에도 불구하고 몇몇 새겨들으면 좋을만한 이야기는 있었는데,말하기 전에는 늘 시간이 있지만 말하고 나면 되돌릴 시간이 없다. 말하기 전에는 늘 시간이 있지만, 말하고 나면 되돌릴 시간이 없..

Bigquery의 특징 중 하나는 ARRAY라는 형식을 지원한다는 것이다. 몇 년 전의 나는 ARRAY라는 것이 일반 SQL에는 잘 쓰지 않기 때문에 사용할 일이 없다고 생각했었으나, 그건 천만의 말씀 만만의 콩떡이었다. 현재는 쿼리를 짤 때 굉장히 애용하고 있는 요소라 정리하는 차원에서 글을 써보려고 한다. Array는 무엇이고, 왜 쓰는가? 사실 Array가 무엇인지, 어떻게 쓰는지에 대해서는 굉장히 정리가 잘 된 글들이 많고, https://zzsza.github.io/gcp/2020/04/12/bigquery-unnest-array-struct/ BigQuery UNNEST, ARRAY, STRUCT 사용 방법 BigQuery Unnest, Array, Struct 사용 방법에 대해 작성한 글입니..

살면서 우리는 일상에서 '매칭'이라는 단어를 많이 사용합니다. 결혼정보회사에서도 등급이 비슷한 남녀를 매칭하여 소개해주고 있고, 게임에서도 비슷한 등급/점수를 가진 사람들끼리 매칭시켜서 플레이를 할 수 있게 해줍니다. 이렇게 우리는 '매칭'이라는 개념에 익숙한데, 인과추론에서 말하는 '매칭' 역시 일상적으로 사용하는 매칭과 크게 다를 것이 없습니다. 1. 매칭이란 무엇인가? 인과추론의 데이터 과학(Youtube)에서 설명을 잘 해주신 걸 가져오기는 가져오기는 했는데, 요는 성질이 비슷하지만, 처치(예. 병원 입원이 건강에 미치는 영향을 본다고 할 때, 입원 여부)에만 차이가 있는 사람들끼리 각각 '매칭'시켜 이 사람들을 비교해서 평균적으로 처치 여부에 따라 종속 변수(관심 변수)에 차이가 있는지 확인하는..

오늘은 인과추론의 핵심요소인 선택편의(Selection bias)와 교락(Confounding)에 대해 써보려고 합니다. 거창하게 두 가지를 쓰기는 했지만, 결론부터 말하면 사실 두 가지는 용어는 달라도 비슷한 내용이라고 말할 수 있습니다. 인과추론의 두 거장, 조슈아 앵그리스트(Joshua Angrist, 2021년 노벨 경제학상 수상)와 주데아 펄(Judea Pearl, 2011년 튜링상 수상)의 표현을 각각 가져온 셈이라, 두 거장(?)의 관점에서 인과추론을 어떻게 바라보는지 위주로 정리해 볼 예정입니다. 인과추론이 어려운 이유 앵그리스트의 표현을 빌리면 '사과 vs 오렌지'를 비교하는 상황에서는 인과성을 추정할 수 없기 때문에 인과추론은 어렵습니다. 이게 무슨 소리인고 하면, "고학력자의 소득이 ..

글또 5기부터 8기까지, 어느덧 4기수 째 참여 중이다. '와 진짜 너무 힘들다, 다음 기수에는 참여를 못하겠다.' 싶은 때도 있었고, '같은 채널 사람들 글 읽는 게 재밌으니 구독 느낌으로 또 참여해야지' 싶은 때도 있었다. 결국 나름의 진폭은 있었지만, 그래도 꾸준히 참여해 왔으니 새삼 스스로가 대견하게 느껴진다. 항상 글또 다짐글을 쓸 때는, 어떤 것을 공부할 것인지, 어떤 글을 쓰고 싶은지 위주로.. 그러니까 정말 글또 활동을 위한 다짐을 썼다면, 이번에는 글또 활동에 다시 참여하는 '나 자신'에 대한 마음가짐으로 다짐글을 작성해보려 한다. (그래서 딱딱한 경어보다는 친근한 평어로 작성한다.) 사실 글또 활동을 하면서 많은 능력자 분들이 작성해주신 글을 보면서, 이것도 저것도 다 좋아보여서 이것 ..