전직 소셜 빅데이터 분석가의 직무 썰풀기 (무엇을 하나요? 어떤 기술이 필요한가요?)

비록 그 기간이 길지는 않으나, 내 경력에는 "소셜 빅데이터 분석가"라는 것이 있다. 소셜 빅데이터 분석가라는 직무명을 말했을 때, 사람들은 데이터 분석가라는 직무명은 익숙해 하지만, 또 소셜 빅데이터라는 용어가 그다지 익숙하지 않아 하는 것 같다.

 

당장 구글링을 해봐도, "데이터 분석가"라는 검색결과는 분석가 개인이 작성하거나, 혹은 분석가 개인에게 도움이 되는 내용들, 어떻게 보면 일상에 녹아 있는 생생한 결과가 나오지만, 

 

데이터 분석가 검색 결과

 

소셜 빅데이터에 대한 검색 결과는 개인보다는 기업이나 공공기관에서 작성한 것 같은, 그런 느낌의 글이 많다. 이는 아직까지 대중에게 "소셜 빅데이터"라는 용어가 그다지 익숙하지 않다는 방증이기도 하다. 

 

 

소셜 빅데이터 분석가에 대한 글이 많지 않아 암묵적으로 소셜 빅데이터에 대한 글을 개인이 쓰면 안 되는 룰이 있는 건가? 라는 생각이 들기도 했지만...

 

• 소셜 빅데이터 분석가 라는 직무에 관심이 있는 사람에게 도움이 되기 위해,
• 또 세상에는 이런 데이터 분석가도 있구나 하고 알려주기 위해

 

전직 소셜 데이터 분석 업무를 했던 사람으로서 작게나마 썰을 풀어보려고 한다.

 

1. 소셜 빅데이터 분석이란?

 

대충 "소셜 빅데이터"와 "분석" 이렇게 나눠서 설명해볼 수 있을 것 같다. 

 

소셜 빅데이터

 

말은 어렵지만 SNS 등에 우리가 남기는 게시글 등을 수집한 데이터를 의미한다. 갸령 Youtube에 남기는 댓글이나, 혹은 네이버 등에 상품 구매 후기를 남기는 것 등을 예시로 들 수 있겠다. 간단하게 말하면 VOC를 수집하는 것이라고 볼 수 있다. 

 

 

이런 데이터를 분석한다? (feat.chatGPT)

 

소셜 빅데이터 분석

 

이런 데이터를 분석하겠다는 것은 결국 생생한 소비자 언어를 탐색하겠다는 것을 의미한다. 네이버 영수증 리뷰를 본다고 생각하면 이해가 편할 것 같은데,

 

분위기가 좋아요, 맛이 좋아요, 가성비가 좋아요

 

등에 대한 후기를 기반으로 우리 식당이 어떤 강점을 갖고 있는지, 소비자들이 어떤 부분에 만족을 느끼고 있는지, 어떤 사람들이 방문하고 있는지 분석할 수 있는 것처럼 소셜 빅데이터 분석은 소셜 데이터를 분석하여 인사이트를 도출해내는 작업을 의미한다.

 

가령, 가성비가 좋아요라는 후기가 많다면 우리 식당은 가격 측면에서 경쟁력이 있다는 것을 파악할 수 있고, 특정 메뉴에 대한 긍정적인 이야기가 많다면 해당 상품이 강점을 가진다는 것을 파악할 수 있다. (너무 뻔해보이기는 해도..)

 

 

2. 소셜 빅데이터 분석가는 무엇을 하나요?

 

이를 설명하기 위해서는 다른 직무와 비교를 하는 편이 더 편할 것 같다. 

 

데이터 분석가 vs 소셜 빅데이터 분석가

 

데이터 분석가라는 직무명이 공통적으로 들어가기 때문에 막연히 데이터 분석가라는 스탠다드한 이미지가 떠오르기 쉽지만 실제로 하는 일이나 업무에 필요한 역량이 많이 다른 것 같다.

 

가령, 일반적으로 "데이터 분석가"라고 하면

 

• AB 테스트를 진행하거나, 
• 퍼널 분석을 한다거나,
• 대시보드를 만든다거나 

등등 이런 업무를 할 것 같지만, 소셜 빅데이터 분석가는 위와 같은 일을 거의 하지 않는다.

 

"맛이 좋아요, 비싸지만 맛은 나쁘지 않아요, 존맛탱" 등등 이렇게 사람의 언어로 쓰인 데이터를 분석하기 위해서 어떻게 해야할까?

 

이걸 그대로 다 보여주면 보는 사람은 양에 압도당할 뿐 어떠한 인사이트도 얻기 어려울 것이다. 어느 정도 데이터를 가공해야 하고, 이는 결국 분석가 개인이 분석에 대한 관점을 갖고 정성 데이터를 범주화하여 이를 정량화하는 과정을 거쳐야 함을 의미한다. 그리고 이것이 소셜 빅데이터 분석가가 하는 일의 거의 대부분이다.

 

가령 총 200건의 VOC 중, 맛에 대한 언급이 180건, 가성비에 대한 언급이 30건, 직원의 불친절에 대한 언급이 50건이 있었다고 치면,

 

이를 맛 - 180건 / 친절도 - 50건 / 가성비 - 30건 등으로 수치화하여 요약할 수 있도록 만들어주는 것이다. 

 

이렇게만 보면 너무 당연해 보이지만, 데이터를 범주화하는 과정에서 분석가의 역량이 중요한데,

 

1. 해당 데이터를 취할 것인가, 버릴 것인가에 대한 관점을 가져야 한다. (데이터 전처리)

 

가령, 블로그에 나와 있는 광고성 게시글이나 혹은 마케팅의 일환으로 작성한 구매 후기는 제외할 것인지, 포함할 것인지는 분석가 개인이 정해야 한다. 광고성 게시글까지 포함하여 사람들이 얼마나 언급하고 있는지를 확인하고 싶다면 데이터에 포함해야 할 것이고, 순수하게 자연유입된 유저의 소비자 인식이 궁금하다면 이를 제외하고 볼 수도 있을 것이다.

 

2. 데이터를 어떤 관점에서 볼 것인지 결정해야 한다. (데이터 가설 세우기 / 데이터 분석)

 

위에서는 간단히 맛, 친절도, 가성비 등으로 표현했지만, 실제로는 데이터를 어떤 관점(Framework)에서 보느냐에 따라 분석 방향이 달라지므로 분석 관점을 결정하는 것이 중요하다.

 

3C 4P와 같이 전통적인 마케팅 방법론을 기준으로 데이터를 분류할 수도 있고,

데이터를 쭉 탐색하다 눈에 보이는 키워드들을 기반으로 새로운 분류체계를 만들 수도 있다.

 

그렇지만 어떤 방식을 쓰든, 분석 관점의 일관성이 깨진다면 좋은 분석이 되기 어렵다.

 

3. 분석 관점에 맞게 데이터를 적절히 분류해야 한다. (데이터 전처리 / 분석)

 

가령 "지르기 좋다"라는 단어는 가격이 저렴해서 여러 개 쟁여두기 좋다는 의미로도, 혹은 할인 프로모션을 빈번히 진행하기 때문에 부담없이 이용 가능하다는 의미로도 해석이 될 수 있다. 

 

전자의 경우는 가격 경쟁력이 좋다는 의미로, 후자의 경우는 프로모션이 잘 된다는 의미로 관점이 바뀌기 때문에 앞 뒤 문맥에 맞게 데이터를 적절히 분류해야 한다.

 

NLP 데이터 사이언티스트 vs 소셜 빅데이터 분석가

 

또, VOC 데이터를 다루기 때문에 자연어 처리를 하는 데이터 사이언티스트와 헷갈릴 수도 있을 것 같은데.... 결론부터 말하면 소셜 빅데이터 분석가는 자연어 처리를 하지 않는다. 극단적으로는 자연어 처리가 되지 않은 순수한 원문 데이터만 가지고도 위에서 이야기한 프로세스를 바탕으로 데이터 분석을 진행할 수 있다.

 

NLP 데이터 사이언티스트가 딥러닝을 기반으로 자연어 처리를 진행하는 것이 주 업무라면,

소셜 빅데이터 분석가는 소비자 언어를 적절하게 분류하여 인사이트를 도출하는 것이 주 업무라 할 수 있겠다.

 

 

3. 업무 / 스킬

업무 소개

 

위에서 대략 업무를 설명하기는 했지만, 직무 소개를 한다는 느낌으로 좀 더 구체적으로 이야기해보려고 한다.

 

딱 몇 마디로 요약하자면, 유데미에서 제공하는 소셜 빅데이터 강의의 목차로 설명할 수 있을 것 같다. (내가 들어본 게 아니기 때문에 이건 홍보나 추천이 아니다..!!)

 

출처 : Udemy, 소셜 빅데이터 분석 캠프

 

언급량 추이라는 단어가 나오는데, 간단히 말하면 구글 트렌드 등에 특정 검색어를 입력하면 해당 키워드가 대략 얼마나 검색됐는지를 보여주는 것처럼, 언급량 추이 역시 특정 키워드가 기간에 걸쳐 대략 얼마나 언급되었는지를 분석하는 것이다.

 

대충 요런 느낌

 

통계나 프로그래밍 스킬이 쓰이는 게 아니기 때문에 이 작업은 간단하게 하려면 간단하게 할 수 있지만, 어디까지를 언급량에 포함시킬 것인가 (데이터를 버리고 취한다는 관점)를 고민하다 보면 이 작업도 마냥 쉽게 할 수 있는 작업은 아니다.

 

또, 연관어 분석이라는 것도 나오는데 쉽게 말하면 워드 클라우드 같은 걸 생각하면 된다. 특정 키워드가 어떤 키워드와 자주 같이 쓰이는지 분석하는 것이다. 

 

가령 SK텔레콤이라는 키워드가 있을 때, 페이커가 자주 나오는지 멤버십이 자주 나오는지, 다른 경쟁사가 자주 나오는지 등을 파악하고 SK텔레콤이라는 키워드를 사람들이 어떻게 인식하고 있는지를 분석하는 것이다. 

 

이것 또한 통계나, 프로그래밍 스킬이 필요한 게 아니기 때문에 되게 간단해 보이지만, 개인이 어느 정도의 배경 지식을 갖추고 있느냐에 따라 연관어를 분류하는 관점이 달라지기 때문에 역량에 따라 분석의 깊이가 많이 달라질 수 있다. 

 

 

스킬 소개

 

해당 직무에 하드 스킬이 안 쓰이는 건 아니다. 앞서 말했듯 정성 데이터를 범주화 하는 것이 주 업무이기 때문에 범주형 데이터를 분석하는 스킬을 알면 도움이 된다.

 

• 다차원 척도법 (Multidimensional scaling,MDS)
• 대응일치분석 (Correspondence Analysis)

 

등 범주화된 다변량 데이터를 다루는 분석 방법론을 사용하기도 한다.

 

또한, 단어 간의 연관성을 파악하는 것도 주 관심사이기 때문에 네트워크 분석을 알아두면 업무에 도움이 될 수 있다.

 

하지만 역시나 무엇보다 중요한 건 소프트 스킬이다. 소셜 빅데이터 분석가의 출신 전공을 알려주면 뭔가 더 쉽게 와닿을 것 같다. 

 

소셜 빅데이터 분석가 직무에는 통계학과나 컴퓨터 공학 등의 전공자보다는 소비자학이나, 사회학 등의 전공자가 더 많다. 그 말인즉슨 통계나 컴퓨터 코딩 같은 하드스킬보다는 트렌드나 브랜드, 마케팅, 사람 사이의 관계 등을 이해하는 지식이 더 중요하다는 것을 의미한다.

 

데이터의 기반이 되는 배경 지식, 즉 소비자와 시장에 대한 이해가 가장 중요하다고 할 수 있겠다. 분석가 개인의 배경 지식의 깊이에 따라 분석의 깊이가 결정되기 때문이다. 반대로 분석가 역량에 따라 데이터의 해석 자체가 달라질 수 있다는 건 분석 결과의 신뢰도를 객관적으로 평가할 수 없다는 뜻이 되기도 한다. 객관적으로 분석의 신뢰도를 평가하는 것이 중요하다면 이 부분이 스트레스가 될 수도 있을 것 같다.

 

마치며

 

소셜 빅데이터 분석가가 우리가 흔히 생각하는 분석가와 다르다는 느낌으로 쭉 이야기하긴 했지만, 가설을 세우고 데이터를 적절하게 전처리해서 분석 및 인사이트를 도출한다는 과정은 모든 데이터 분석가가 잘 해내야 하는 과정이다. 

 

어떤 면에서는 가장 원형에 가까운 데이터를 다뤄내어 인사이트를 도출해야 하기 때문에 소셜 빅데이터 분석 과정을 거치는 것이 데이터 리터러시 측면에서 성장할 수 있는 기회가 크지 않을까 하는 생각도 든다.

 

소셜 빅데이터 분석에 관심이 있는 분에게는 도움이, 소셜 빅데이터 분석을 모르던 분들에게는 약간의 흥미를 줄 수 있는 글이 되길 바라본다.

 

참고자료

 

http://bigdata.emforce.co.kr/index.php/2023121301/

2024 온라인쇼핑몰 트렌드 | 엠포스 데이터랩

 

소셜 데이터 분석을 대략 어떻게 하는지 알 수 있다.

 

https://www.udemy.com/course/oeneyuer/

소셜 데이터 업무 관련 글 작성에 참고함. (홍보 아님.. 강의 안 들어봐서 어떤지 모른다..)