Bigquery의 특징 중 하나는 ARRAY라는 형식을 지원한다는 것이다. 몇 년 전의 나는 ARRAY라는 것이 일반 SQL에는 잘 쓰지 않기 때문에 사용할 일이 없다고 생각했었으나, 그건 천만의 말씀 만만의 콩떡이었다. 현재는 쿼리를 짤 때 굉장히 애용하고 있는 요소라 정리하는 차원에서 글을 써보려고 한다. Array는 무엇이고, 왜 쓰는가? 사실 Array가 무엇인지, 어떻게 쓰는지에 대해서는 굉장히 정리가 잘 된 글들이 많고, https://zzsza.github.io/gcp/2020/04/12/bigquery-unnest-array-struct/ BigQuery UNNEST, ARRAY, STRUCT 사용 방법 BigQuery Unnest, Array, Struct 사용 방법에 대해 작성한 글입니..
살면서 우리는 일상에서 '매칭'이라는 단어를 많이 사용합니다. 결혼정보회사에서도 등급이 비슷한 남녀를 매칭하여 소개해주고 있고, 게임에서도 비슷한 등급/점수를 가진 사람들끼리 매칭시켜서 플레이를 할 수 있게 해줍니다. 이렇게 우리는 '매칭'이라는 개념에 익숙한데, 인과추론에서 말하는 '매칭' 역시 일상적으로 사용하는 매칭과 크게 다를 것이 없습니다. 1. 매칭이란 무엇인가? 인과추론의 데이터 과학(Youtube)에서 설명을 잘 해주신 걸 가져오기는 가져오기는 했는데, 요는 성질이 비슷하지만, 처치(예. 병원 입원이 건강에 미치는 영향을 본다고 할 때, 입원 여부)에만 차이가 있는 사람들끼리 각각 '매칭'시켜 이 사람들을 비교해서 평균적으로 처치 여부에 따라 종속 변수(관심 변수)에 차이가 있는지 확인하는..
오늘은 인과추론의 핵심요소인 선택편의(Selection bias)와 교락(Confounding)에 대해 써보려고 합니다. 거창하게 두 가지를 쓰기는 했지만, 결론부터 말하면 사실 두 가지는 용어는 달라도 비슷한 내용이라고 말할 수 있습니다. 인과추론의 두 거장, 조슈아 앵그리스트(Joshua Angrist, 2021년 노벨 경제학상 수상)와 주데아 펄(Judea Pearl, 2011년 튜링상 수상)의 표현을 각각 가져온 셈이라, 두 거장(?)의 관점에서 인과추론을 어떻게 바라보는지 위주로 정리해 볼 예정입니다. 인과추론이 어려운 이유 앵그리스트의 표현을 빌리면 '사과 vs 오렌지'를 비교하는 상황에서는 인과성을 추정할 수 없기 때문에 인과추론은 어렵습니다. 이게 무슨 소리인고 하면, "고학력자의 소득이 ..
글또 5기부터 8기까지, 어느덧 4기수 째 참여 중이다. '와 진짜 너무 힘들다, 다음 기수에는 참여를 못하겠다.' 싶은 때도 있었고, '같은 채널 사람들 글 읽는 게 재밌으니 구독 느낌으로 또 참여해야지' 싶은 때도 있었다. 결국 나름의 진폭은 있었지만, 그래도 꾸준히 참여해 왔으니 새삼 스스로가 대견하게 느껴진다. 항상 글또 다짐글을 쓸 때는, 어떤 것을 공부할 것인지, 어떤 글을 쓰고 싶은지 위주로.. 그러니까 정말 글또 활동을 위한 다짐을 썼다면, 이번에는 글또 활동에 다시 참여하는 '나 자신'에 대한 마음가짐으로 다짐글을 작성해보려 한다. (그래서 딱딱한 경어보다는 친근한 평어로 작성한다.) 사실 글또 활동을 하면서 많은 능력자 분들이 작성해주신 글을 보면서, 이것도 저것도 다 좋아보여서 이것 ..
요즘 관심을 가장 관심을 갖고 공부하는 분야가 있다면 인과추론(Causal Inference)입니다. '인과 추론'이 어떤 개념인지는 정확히 몰라도, '인과성'에 대해서는 많이 들어보았을 것이라고 생각합니다. 통계학을 공부하다 보면 '상관관계'라는 개념이 나오고, 그 개념에는 마치 보험 특약처럼 이런 문구가 따라 붙습니다. 상관관계는 인과관계가 아닙니다. 상관관계가 높다고 해서 반드시 인과관계로 설명할 수는 없습니다. 네. 그렇습니다. 대학교에서 과제를 할 때마다 상관분석을 해놓고, 면피성으로 신나게 저 문구를 쓰던 저는 어느덧 사회인이 되고, 데이터 분석가가 되면서 다음과 같은 질문에 맞닥뜨리게 됩니다. 그래서 이렇게 했더니 효과가 있나요? 네. 하지만 이 질문에 대해서는 쉽게 답하기 어려웠습니다. 특..
참으로 다사다난한 2022년이었다. 2라는 숫자를 좋아하는지라 '2022년'은 막연히 행운이 가득할 것이라고 생각했는데 생각보다 빡셌다(?). 회고글을 쓰려고 작심하지 않았더라면 최근 기억(최신효과)으로만 2022년을 기억할 뻔 했다. 1. 독서 기록 사실 기록을 제대로 남긴 게 거의 독서 기록 밖에 없었다. 그렇다보니 독서가 회고글 작성 소재 1순위가 될 수 밖에 없었다는 것..! '북적북적'이라는 어플을 쓰면 읽은 책의 평점과 함께 독서 기록을 쉽게 남길 수 있다. 이 중 평점을 높게 줬던(4점 이상) 책 중 10권만 선정해 간략히 기록을 남겨 보려고 한다. 데이터는 어떻게 인생의 무기가 되는가 - 데이터를 소재로 글을 이렇게 재미있게 쓸 수 있다니... 데이터를 근거로 논리를 전개해 나가면서 유머를..
회고글은 편하게 써야 할 것 같아, 경어체 대신 평어(예의있는 반말이라고 한다.)로 써보려 한다. 블로그 내적인 변화 5~6기에는 글을 써보는 습관을 기르는데 집중했다면, 7기에는 좀 더 독자친화적인 마인드로 접근해보자고 다짐했었다. 이를 위해 일기 쓰듯 보이지 않으려면 일단 경어를 써보자 기술 관련 포스팅의 비중을 높이자 사람들이 관심 있어 할만한 글을 써보자 라는 3개의 목표를 세웠드랬다. '반말을 쓰지 않겠다'는 정말 반말만 쓰지 않으면 되기 때문에 비교적 쉽게 달성 가능한 목표였다. 동시에 '경어로 글을 쓰는 것'은 다른 목표의 수단이기도 했는데, 일기를 경어로 쓸 수는 없었기 때문에 해당 목표를 통해 자연스레 기술 관련 포스팅을 늘리게 되었던 것 같다. 5기, 6기에는 에세이/독후감 : 기술(파..
시계열 공부를 하면서 'SARIMA (Seasonal ARIMA)'는 ARIMA 모형에 계절성 부분만 추가한 버전이다.' 하고 넘어가기 일쑤였는데, 이렇게 넘어가는 게 아니라 한 번쯤은 ARIMA와 함께 SARIMA를 짚고 가면 좋을 것 같아 글을 써 봅니다. 최대한 시계열 개념을 직관적으로 설명하는 것이 목표지만, ARIMA에 대해 어느 정도 지식이 있거나,차분 / Moving Average 등의 용어에 익숙한 경우에글을 이해하기에 더 편할 것 같습니다. ARIMA란? ARIMA 라는 용어는 크게 AR + I + MA 3등분으로 나눠서 이해하면 편합니다.ARIMA 모형은 AR(AutoRegressive) + I (Integrated) + MA(Moving Average) 각각 3파트로 분리가 됩니다...
시계열 분석을 오랜만에 공부하면서, '단위근 검정', '자기상관 검정' 등 시계열 분석에 필요한 검정 방법에 대해서도 다시 공부하게 되었습니다. 이전에 개념을 제대로 못 잡은 탓인지 몰라도 몇 가지 의문이 들었었는데 단위근 검정 = 정상성을 확인하기 위한 검정이고, 정상성은 약정상성 기준으로 평균, 분산이 일정하고 자기상관이 시차에만 의존하는 경우 자기상관 검정 = 잔차의 자기상관이 있는지 확인하기 위한 검정 단위근 검정에서 말하는 자기상관과 자기상관검정에서 말하는 자기상관이 뭐가 다르지? 비슷한건가? 비슷한 거면 자기상관 검정 왜 함? 의 흐름으로 궁금증이 들었습니다. 기존에 알고 있다고 생각한 개념이 제대로 잡히지 않은 것 같아, 이번 기회에 정상성과 단위근검정, 자기상관검정 개념을 정리해보려고 합니..
이번에는 여러 종류의 확률분포에 대한 글을 작성해보려고 합니다. (ex. 이항분포, 정규분포..) 어떤 거창한 의미가 있는 것은 아니고, '개인적으로 공부한 것을 정리해보자!' 하는 취지의 글이기는 해요. 그렇지만 저와 비슷한 상황에 놓인 어떤 누군가에게도 도움이 되길 바라봅니다. 참고로 연속확률분포 / 이산확률분포를 따로 구분하여 작성하지는 않았습니다! 베르누이 분포, 이항분포 통계학에서 가장 기초가 되는 분포라고 할 수 있겠습니다. 옛날에 어떤 자격증 시험(정확히 기억 안남) 보기에 '이항분포', '베르누이 분포'가 동시에 보기로 나와서 갑론을박이 벌어졌던 것 같은 기억이 있는데요.(사실 이것도 정확히 기억 안 남.) 아무튼 요는 같은 뿌리에서 나온 분포이기 때문에 대충 개념만 알면 어떻게든 된다는 ..
