🐻 이모티콘 트렌드 및 통계 분석 (4) - 수작업으로 데이터 수집, 라벨링

수작업으로 데이터 수집 : 종류 구분하기

from google.cloud import vision
import io
import os

# 환경 변수를 설정하는 방법
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = r"C:\Users\user\Desktop\google api\emoticon-438506-47c95f919cae.json"


# Vision API 클라이언트 생성
client = vision.ImageAnnotatorClient()

# 이미지 읽기
image_path = 'C:\\Users\\user\\Desktop\\google api\\loopy.png'
with io.open(image_path, 'rb') as image_file:
    content = image_file.read()

# Vision API에 요청
image = vision.Image(content=content)
response = client.label_detection(image=image)
labels = response.label_annotations

# 결과 출력
for label in labels:
    print(f"Description: {label.description}, Score: {label.score}")

이 사진을 google vision api를 활용하여 이미지 분석을 해 보았는데요

 

Description: Liquid, Score: 0.8188296556472778
Description: Font, Score: 0.7295830845832825
Description: Domestic pig, Score: 0.7196884751319885
Description: Magenta, Score: 0.6961780786514282
Description: Happy, Score: 0.6898753046989441
Description: Fashion accessory, Score: 0.6710424423217773
Description: Saving, Score: 0.6612657904624939
Description: Suidae, Score: 0.6568648815155029
Description: Art, Score: 0.6258362531661987
Description: Toy, Score: 0.6151468753814697

 

분석 결과 핑크돼지로 인식합니다..^^;;

결국 수작업으로 해당 캐릭터 검색 후 사람,동물,캐릭터,스타 로 종류를 나눴습니다.

 

제가 기획 단계에서 수집하기로 한 데이터는 다음과 같은데요

현재까지 수집한 것은 밑줄 그었습니다.

• 이모티콘 이름
• 작가명
• 캐릭터 유형 (동물, 사람, 캐릭터 등)
• 이모티콘 스타일 (귀여운, 유머러스한, 감성적인 등)
• 발매일
• 인기 순위
• 카테고리 (감정 표현, 상황 표현, 연애, 회사, 친구, 계절/이벤트 관련 등)
• 10대,20대,30대 별 인기 순위
• 이모티콘 작가의 SNS 팔로우 숫자(유튜브,인스타그램,유튜브 등)
• 각 이모티콘의 태그

• 발매일 :  카카오 이모티콘샵에서 정보를 제공하지 않아서 제외
• 10대,20대,30대 별 인기 순위 : 모바일에서만 인기 순위를 제공하고 웹페이지 에서는 연령대별 인기 순위를 제공하지 않기에 수집 불가
• 이모티콘 작가의 SNS 숫자 : 인스타그램을 하지 않는 작가가 많고, 그 결과 데이터 결측값이 많아서 제외
• 각 이모티콘의 태그 : 원래 크롤링을 통해 태그를 수집하려 했으나 카카오는 웹크롤링을 막아놓았기에 제외

 

 

수작업으로 데이터 수집 : 카테고리 기준 설정후 구분하기

카테고리는 해당 데이터를 일상/연애/회사 크게 3개로 구분하여 나누었습니다.

 

연애 카테고리 분류 기준

1. 이모티콘 제목이 연애,커플,하트,사랑 등 연애와 관련된 키워드가 들어간 경우

2. 이모티콘에 커플로 보이는 두 쌍의 캐릭터가 존재할 경우

3. 이모티콘의 절반 이상이 하트, 연애 관련 내용일 경우

연애와 사랑, 로맨스 관련 이모티콘이 포함됩니다.

하트, 사랑 표현, 연인 간의 상호작용을 나타내는 이모티콘은 연애 카테고리에 속합니다.

 

회사 카테고리 분류 기준

이모티콘 제목이 회사,사회생활,직장 등 회사 관련 키워드가 들어간 경우

업무, 스트레스, 성과 등 직장과 사회 생활에 대한 모든 이모티콘이 포함됩니다.

직장에서 흔히 겪는 감정과 상황을 표현하는 이모티콘을 포함합니다.

 

일상 카테고리 분류 기준

연애,회사를 제외한 모든 이모티콘은 일상 카테고리로 분류하였습니다.

감정이나 일상 활동을 나타내는 모든 이모티콘이 이 카테고리에 속합니다.

일상적인 대화에서 자주 사용되는 감정 및 상호작용을 포함합니다.

 

 

데이터 라벨링 : google vision api를 활용해 이미지 특성 뽑아내기

이모티콘 스타일을 주관적으로 할 순 없기에 google cloud vision api를 사용해 이모티콘의 표정과 감정을 감지하려 했습니다. 웃음, 눈물, 화남, 사람 등의 기본 감정 레벨을 감지해 이모티콘의 주요 감정 파악후 해당 이모티콘이 유머러스한지,  감성적인지,귀여운지 등을 분류 했습니다.

import pandas as pd
from google.cloud import vision
import io
import os

# Google Cloud Vision API 환경 변수를 설정하는 방법
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = r"C:\Users\user\Desktop\google api\emoticon-438506-47c95f919cae.json"

# Vision API 클라이언트 생성
client = vision.ImageAnnotatorClient()

# 이미지 폴더 경로
image_folder = 'C:\\Users\\user\\Desktop\\google api\\'

# 라벨을 기반으로 이모티콘 스타일 분류 함수
def classify_style(labels):
    for label in labels:
        if label.score >= 0.7:  # 확신 점수가 0.7 이상인 라벨만 사용
            description = label.description.lower()
            if 'cute' in description or 'adorable' in description:
                return '귀여운'
            elif 'funny' in description or 'humor' in description:
                return '유머러스한'
            elif 'emotional' in description or 'heart' in description:
                return '감성적인'
    return '기타'

# 데이터를 저장할 리스트 초기화
data = []

# 1부터 100까지의 PNG 파일을 처리
for i in range(1, 201):
    image_filename = str(i).zfill(4) + '.png'  # 파일명을 0001, 0002, ..., 0200 형식으로 변경
    image_path = os.path.join(image_folder, image_filename)
    
    # 이미지 파일이 존재하는지 확인
    if os.path.exists(image_path):
        with io.open(image_path, 'rb') as image_file:
            content = image_file.read()

        # Vision API에 요청
        image = vision.Image(content=content)
        response = client.label_detection(image=image)
        labels = response.label_annotations
        
        # 0.7 이상의 라벨만 추출 (확률을 제외하고 설명만 추출)
        selected_labels = [label.description for label in labels if label.score >= 0.7]
        
        # 스타일 분류
        style = classify_style(labels)
        
        # 데이터를 리스트에 추가
        data.append({
            'Image': image_filename,
            'Labels': ', '.join(selected_labels),  # 라벨을 콤마로 구분하여 저장
            'Style': style
        })

# 데이터프레임으로 변환
df = pd.DataFrame(data)

# 데이터프레임을 CSV 파일로 저장
df.to_csv('C:\\Users\\user\\Desktop\\emoticon_labels_and_styles.csv', index=False, encoding='utf-8-sig')

# 결과 출력 (원한다면)
print(df)

 

이모티콘을 수작업으로 일일이 찍고 파일명을 순위와 맞춰 저장했습니다.

예를 들어, 이터널 리턴 이모티콘을 찍고 파일명을 0001, 듀..가나다 이모티콘을 스크린샷 찍고 파일명을 0002

이런식으로 저장했습니다.  해당 스크린샷 총 200개를 google api라는 폴더에 저장하였습니다..ㅎㅎ

 

그리고 for 반복문을 사용해서 1~200 까지의 모든 파일을 읽고 이미지 분석하여 csv 파일로 저장하는 코드를 작성하고 저장했습니다.

import pandas as pd
from collections import Counter  # Counter를 임포트

# 'Labels' 열에서 모든 라벨을 하나의 리스트로 분리
labels = combined_df['Labels'].str.split(', ').explode()

# 각 라벨의 빈도 계산
label_counts = Counter(labels)

# 결과를 데이터프레임으로 변환
label_counts_df = pd.DataFrame(label_counts.items(), columns=['Label', 'Count'])

# 빈도 순으로 정렬
label_counts_df = label_counts_df.sort_values(by='Count', ascending=False)

# 결과 출력
print(label_counts_df)

import matplotlib.pyplot as plt

# 상위 N개의 라벨만 표시 (예: 상위 20개)
top_n = 20
label_counts_top = label_counts_df.head(top_n)

# 그래프 그리기
plt.figure(figsize=(10, 6))
plt.bar(label_counts_top['Label'], label_counts_top['Count'])
plt.title('Label Frequency')
plt.xlabel('Labels')
plt.ylabel('Count')

# x축 라벨을 90도로 회전
plt.xticks(rotation=90)

# 그래프 보여주기
plt.tight_layout()
plt.show()

 

카카오 이모티콘 상위 200개를 이미지 분석을 통해 라벨링 해주고 가장 많이 쓰인 라벨들을

20개만 뽑아서 그래프로 나타냈습니다.

 

 

 

쉼표를 기준으로 칼럼값을 나누어 새 칼럼에 저장

import pandas as pd

# 'Labels' 열을 쉼표로 나누고, 최대 몇 개의 라벨이 있는지 확인하기 위해 확장
label_split = combined_df['Labels'].str.split(', ', expand=True)

# 새로운 열 이름 설정 (라벨1, 라벨2, 라벨3, ...)
label_split.columns = [f'라벨{i+1}' for i in range(label_split.shape[1])]

# 원래 데이터프레임과 분리된 라벨 데이터를 합치기
df_combined = pd.concat([combined_df, label_split], axis=1)

# 결과 확인
print(df_combined)

# 새로운 CSV 파일로 저장
df_combined.to_csv('C:\\Users\\user\\Desktop\\split_label_df.csv', index=False, encoding='utf-8-sig')

 

해당 기능을 태블로에서도 적용하고자 쉼표별로 나눠서 저장했습니다.

태블로에는 해당 기능을 처리할 수 없기에 파이썬에서 나눠야 합니다.

이렇게 잘 나누어졌습니다.

 

이로써 데이터 수집 및 분류 작업이 끝났습니다.

다음 글 부턴 태블로와 파이썬을 활용한 데이터 분석을 하겠습니다.