분류 전체보기

요즘 관심을 가장 관심을 갖고 공부하는 분야가 있다면 인과추론(Causal Inference)입니다. '인과 추론'이 어떤 개념인지는 정확히 몰라도, '인과성'에 대해서는 많이 들어보았을 것이라고 생각합니다. 통계학을 공부하다 보면 '상관관계'라는 개념이 나오고, 그 개념에는 마치 보험 특약처럼 이런 문구가 따라 붙습니다. 상관관계는 인과관계가 아닙니다. 상관관계가 높다고 해서 반드시 인과관계로 설명할 수는 없습니다. 네. 그렇습니다. 대학교에서 과제를 할 때마다 상관분석을 해놓고, 면피성으로 신나게 저 문구를 쓰던 저는 어느덧 사회인이 되고, 데이터 분석가가 되면서 다음과 같은 질문에 맞닥뜨리게 됩니다. 그래서 이렇게 했더니 효과가 있나요? 네. 하지만 이 질문에 대해서는 쉽게 답하기 어려웠습니다. 특..

참으로 다사다난한 2022년이었다. 2라는 숫자를 좋아하는지라 '2022년'은 막연히 행운이 가득할 것이라고 생각했는데 생각보다 빡셌다(?). 회고글을 쓰려고 작심하지 않았더라면 최근 기억(최신효과)으로만 2022년을 기억할 뻔 했다. 1. 독서 기록 사실 기록을 제대로 남긴 게 거의 독서 기록 밖에 없었다. 그렇다보니 독서가 회고글 작성 소재 1순위가 될 수 밖에 없었다는 것..! '북적북적'이라는 어플을 쓰면 읽은 책의 평점과 함께 독서 기록을 쉽게 남길 수 있다. 이 중 평점을 높게 줬던(4점 이상) 책 중 10권만 선정해 간략히 기록을 남겨 보려고 한다. 데이터는 어떻게 인생의 무기가 되는가 - 데이터를 소재로 글을 이렇게 재미있게 쓸 수 있다니... 데이터를 근거로 논리를 전개해 나가면서 유머를..

회고글은 편하게 써야 할 것 같아, 경어체 대신 평어(예의있는 반말이라고 한다.)로 써보려 한다. 블로그 내적인 변화 5~6기에는 글을 써보는 습관을 기르는데 집중했다면, 7기에는 좀 더 독자친화적인 마인드로 접근해보자고 다짐했었다. 이를 위해 일기 쓰듯 보이지 않으려면 일단 경어를 써보자 기술 관련 포스팅의 비중을 높이자 사람들이 관심 있어 할만한 글을 써보자 라는 3개의 목표를 세웠드랬다. '반말을 쓰지 않겠다'는 정말 반말만 쓰지 않으면 되기 때문에 비교적 쉽게 달성 가능한 목표였다. 동시에 '경어로 글을 쓰는 것'은 다른 목표의 수단이기도 했는데, 일기를 경어로 쓸 수는 없었기 때문에 해당 목표를 통해 자연스레 기술 관련 포스팅을 늘리게 되었던 것 같다. 5기, 6기에는 에세이/독후감 : 기술(파..

시계열 공부를 하면서 'SARIMA (Seasonal ARIMA)'는 ARIMA 모형에 계절성 부분만 추가한 버전이다.' 하고 넘어가기 일쑤였는데, 이렇게 넘어가는 게 아니라 한 번쯤은 ARIMA와 함께 SARIMA를 짚고 가면 좋을 것 같아 글을 써 봅니다. 최대한 시계열 개념을 직관적으로 설명하는 것이 목표지만, ARIMA에 대해 어느 정도 지식이 있거나,차분 / Moving Average 등의 용어에 익숙한 경우에글을 이해하기에 더 편할 것 같습니다.  ARIMA란? ARIMA 라는 용어는 크게 AR + I + MA 3등분으로 나눠서 이해하면 편합니다.ARIMA 모형은 AR(AutoRegressive) + I (Integrated) + MA(Moving Average) 각각 3파트로 분리가 됩니다...

시계열 분석을 오랜만에 공부하면서, '단위근 검정', '자기상관 검정' 등 시계열 분석에 필요한 검정 방법에 대해서도 다시 공부하게 되었습니다. 이전에 개념을 제대로 못 잡은 탓인지 몰라도 몇 가지 의문이 들었었는데 단위근 검정 = 정상성을 확인하기 위한 검정이고, 정상성은 약정상성 기준으로 평균, 분산이 일정하고 자기상관이 시차에만 의존하는 경우 자기상관 검정 = 잔차의 자기상관이 있는지 확인하기 위한 검정 단위근 검정에서 말하는 자기상관과 자기상관검정에서 말하는 자기상관이 뭐가 다르지? 비슷한건가? 비슷한 거면 자기상관 검정 왜 함? 의 흐름으로 궁금증이 들었습니다. 기존에 알고 있다고 생각한 개념이 제대로 잡히지 않은 것 같아, 이번 기회에 정상성과 단위근검정, 자기상관검정 개념을 정리해보려고 합니..

이번에는 여러 종류의 확률분포에 대한 글을 작성해보려고 합니다. (ex. 이항분포, 정규분포..) 어떤 거창한 의미가 있는 것은 아니고, '개인적으로 공부한 것을 정리해보자!' 하는 취지의 글이기는 해요. 그렇지만 저와 비슷한 상황에 놓인 어떤 누군가에게도 도움이 되길 바라봅니다. 참고로 연속확률분포 / 이산확률분포를 따로 구분하여 작성하지는 않았습니다! 베르누이 분포, 이항분포 통계학에서 가장 기초가 되는 분포라고 할 수 있겠습니다. 옛날에 어떤 자격증 시험(정확히 기억 안남) 보기에 '이항분포', '베르누이 분포'가 동시에 보기로 나와서 갑론을박이 벌어졌던 것 같은 기억이 있는데요.(사실 이것도 정확히 기억 안 남.) 아무튼 요는 같은 뿌리에서 나온 분포이기 때문에 대충 개념만 알면 어떻게든 된다는 ..

조지 스웨인 교수의 '공부책(How to Study)'이라는 책을 읽고 느낀 점을 작성해보려고 합니다. 표지에서부터 상당한 어그로(..)가 뿜뿜하는데(마치 지하철 광고판이나 인스타그램 광고에서 보일 것 같은 느낌) 실제 책의 내용은 결코 가볍지 않습니다. 오히려 책 표지 때문에 책 이미지가 손해를 보는 게 아닌가 싶을 정도로요..! 그래서 이 책은 어떤 책인가? 'How to Study'라는 부제처럼 공부하는 방법에 대한 책입니다. TMI이기는 하지만, 저는 공부하기 싫을 때 뭐라도 하는 느낌을 내고 싶어서, 자기 계발과 관련된 실용 서적들을 자주 읽는 편인데요. 제가 읽었던 다른 책들과 달리 '공부책'은 좀 더 근본에 집중하는 느낌입니다. 그렇다고 해서 다른 자기 계발 책과 동떨어진 이야기를 하는 건 ..

이 글은 뒤늦게 커리어를 시작하려고 하는 당신에게, 그리고 뒤늦게 커리어를 시작하고 있는 제 자신에게 쓰는 글입니다. 뒤늦게 커리어를 바꾼 저는 어떤 상황이었는지 데이터 분석가로서 입사하기 위해 어떤 것들을 노력하면 좋을지 어떤 것들을 공부하면 좋을지, 저는 어떤 것들을 공부하고 있는지 에 대한 이야기를 써보려고 합니다. 1. 나의 이야기 저는 첫 취업을 느즈막히 시작해서, 중간에 '데이터 분석가'로 직종을 바꾼 케이스입니다. 완전히 비전공자는 아니지만(통계학을 전공했기 때문에), 학부만 졸업한데다가 이전에 했던 회사에서 데이터를 다루기는 했지만, Excel, Powerpoint의 툴만 썼기 때문에 오히려 저를 비전공자로 간주하는 게 더 맞을 것 같네요. 그래도 SQL이나 R을 써 본 경험은 있었고, 어..

회귀분석을 공부하다보면 주성분분석(Principal Component Analysis, PCA)에 대한 이야기는 꼭 한 번씩 나오게 됩니다. 막연히 '주성분분석은 차원축소에 사용함', '주성분분석으로 기존 정보를 최대한 확보하는 새로운 변수를 생성함' 등의 내용을 공부하면서 보게 되는데, 오늘은 이 막연한 개념을 정리하는 시간을 가져보려고 합니다. 1. PCA 사용 목적 위에서 간략하게 썼던 것처럼 주성분분석(PCA)은 고차원의 데이터를 저차원의 데이터로 만드는데 사용합니다. 그리고 회귀분석 관점에서는 '다중공선성 문제를 완화'하는데 사용한다고 말합니다. 다중공선성은 설명변수들끼리 서로 상관성이 높을 때, 모형의 회귀계수의 표준오차를 크게 만들어서 모형에 유의한 변수를 찾기 어렵게 만드는 문제를 의미합니..

최근 인과분석을 공부하고 있습니다. 아는 게 많지 않아서 요런 Youtube(인과추론의 데이터과학)도 보고 있고, 요런 책들도 보면서 틈나는대로 공부를 하고 있는데, 공부하면서 요즘 제가 갖고 있는 고민들에 적용해볼만한 것들이 많은 것 같아 인과분석에 대한 개념 인과분석 관점으로 바라본 인생 고민 을 간략하게 기록으로 남겨보려고 합니다. 인과분석 기본개념 인과, 말 그대로 원인과 결과를 다루는 분석이라고 볼 수 있습니다. 그리고 많은 사람들이 찾고자 하는 궁극적인 목표가 아닐까 생각합니다. 마케팅 담당자는 '광고 집행이 실제 매출에 영향을 줄까?'를 알고 싶을 것이고, 정책 입안자는 '정책이 긍정적 효과가 있을까?'를 궁금해할 것이고, 저조차도 업무를 하면서 '특정 이벤트가 유저의 행동 패턴에 영향을 줄..