🐻 이모티콘 트렌드 및 통계 분석 (3) - EasyOCR, Google Cloud Vision API

EasyOCR를 활용해 스크린샷을 텍스트로 전환

import easyocr

# EasyOCR Reader 생성
reader = easyocr.Reader(['en', 'ko'])  # 영어와 한국어 지원

# 이미지에서 텍스트 추출
result = reader.readtext('C:\\Users\\dasom\\Desktop\\google api\\sample.png')

# 텍스트 출력
for detection in result:
    print(detection[1])  # 텍스트 부분만 출력

 

딥러닝 기반 EasyOCR를 사용해보았습니다.

 

Tesseract OCR보다는 잘 나오지만 여전히 성능이 구립니다.

이제 남은 방법은 Google Cloud Vision API 또는 chat gpt를 사용해야 합니다.

처음엔 딥러닝을 이용해 모델을 만들고 텍스트 전환 성능이 늘어난 모델을 쓰려고 했는데요.

그러려먼 완벽한 텍스트 파일이 존재하고 그걸로 모델 훈련을 해야만 합니다.

하지만 텍스트 파일이 존재하지 않으니 맞지 않는 방법인거 같아서 google cloud vision api를 이용해 보려 합니다.

사실 가장 빠르고 손쉬운 방법은 chat gpt이긴 하지만 공부하려고 하는 프로젝트니까 api를 이용해 보겠습니다 ㅎㅎ..

 

 

Google Cloud Vision API를 활용해 스크린샷을 텍스트로 전환

import io
import os
from google.cloud import vision

# 환경 변수를 설정하는 방법
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = r"C:\Users\user\Desktop\google api\emoticon.json"

# Google Cloud Vision API 클라이언트 생성
client = vision.ImageAnnotatorClient()

# 이미지 파일 경로
image_path = 'C:\\Users\\user\\Desktop\\google api\\sample.png'

# 이미지 읽기
with io.open(image_path, 'rb') as image_file:
    content = image_file.read()

# 이미지 데이터 설정
image = vision.Image(content=content)

# 이미지에서 텍스트 감지
response = client.text_detection(image=image)
texts = response.text_annotations

# 추출된 텍스트 출력
for text in texts:
    print(f"Detected text: {text.description}")

# 에러 핸들링
if response.error.message:
    raise Exception(f'{response.error.message}')

 

Googl Cloud vision api는 한달에 1000회에 제한하여 무료입니다.

신규 사용자는 한달에 30$ 이하까지는 무료라고 해서 google cloud 계정 생성 후 프로젝트를 만들었습니다.

권한을 부여하고 emotcion.json 파일을 다운받아서 환경변수로 설정해줬습니다!!

해당 방법은 구글에 검색하시면 자세하게 나오니 설명은 생략하겠습니다.

 

그 후 , 위 코드를 작성해서 추출해 보았습니다.

아주아주 잘 되네요 만족스럽습니다.

 

코드를 조금 수정해서 한줄 단위로 저장하려고 합니다.

 

 

import io
import os
import pandas as pd
from google.cloud import vision

# Google Cloud Vision API 클라이언트 생성
client = vision.ImageAnnotatorClient()

# 이미지 파일 경로
image_path = 'C:\\Users\\user\\Desktop\\google api\\sample2.png'

# 이미지 읽기
with io.open(image_path, 'rb') as image_file:
    content = image_file.read()

# 이미지 데이터 설정
image = vision.Image(content=content)

# 이미지에서 텍스트 감지
response = client.text_detection(image=image)
texts = response.text_annotations

# 첫 번째 텍스트(전체 텍스트)를 줄 단위로 분리
if texts:
    full_text = texts[0].description  # 첫 번째 항목이 전체 텍스트
    lines = full_text.split('\n')  # 줄바꿈(\n)을 기준으로 텍스트 분리

    # 줄 단위로 분리된 텍스트를 데이터프레임으로 변환
    df = pd.DataFrame({'Detected Text': lines})

    # 데이터프레임 출력
    print(df)

# 에러 핸들링
if response.error.message:
    raise Exception(f'{response.error.message}')

 

이렇게 하면 텍스트가 한줄 단위로 저장됩니다.

근데 깔끔한 방식으로 저장이 되질 않습니다. 

이미지에서 텍스트를 추출하여 줄 단위로 인식한 후, 각 줄을 별도로 출력하는 방식으로 코드를 수정할 수 있습니다. Google Cloud Vision API는 기본적으로 줄 단위로 텍스트를 추출하는 기능을 제공하므로 이를 활용할 수 있습니다.

해당 기능을 활용하여 텍스트 추출 > 줄 단위로 저장이 아니라

텍스트 추출시 줄 단위로 추출 > 줄 단위로 저장  방식으로 코드를 조금 수정하겠습니다.

 

 

import io
import os
import pandas as pd
from google.cloud import vision

# Google Cloud Vision API 클라이언트 생성
client = vision.ImageAnnotatorClient() # Google Cloud Vision API와의 상호작용을 위해 클라이언트를 생성합니다. 이 클라이언트를 사용하여 이미지를 Vision API로 보내고 텍스트를 분석할 수 있습니다.

# 이미지 파일 경로
image_path = 'C:\\Users\\user\\Desktop\\google api\\sample4.png' # 이미지 파일의 경로입니다. 이 경로는 이미지가 저장된 위치를 가리킵니다.

# 이미지 읽기
with io.open(image_path, 'rb') as image_file: # rb 모드를 사용하여 이미지를 바이너리로 읽습니다. io.open()은 이미지 파일을 읽기 위해 사용됩니다.
    content = image_file.read() # 파일의 내용을 읽어와서 content 변수에 저장합니다. 이 내용은 Vision API로 전송될 이미지의 바이너리 데이터입니다.

# 이미지 데이터 설정
image = vision.Image(content=content)  # Vision API에서 사용할 수 있는 이미지 객체를 생성합니다. content 변수에는 바이너리 이미지 데이터가 들어가 있습니다.

# 이미지에서 텍스트 감지
response = client.text_detection(image=image) # Vision API에 텍스트 감지를 요청합니다. 이 요청은 이미지에서 텍스트를 찾아서 응답(response) 객체로 반환합니다. response에는 감지된 텍스트 정보가 들어 있습니다.

texts = response.text_annotations

# 각 텍스트 줄 단위로 분리
if texts: # 텍스트가 감지되었는지 확인합니다. 만약 텍스트가 감지되지 않았다면 이후 코드가 실행되지 않습니다.
    # 첫 번째 텍스트 항목에 전체 텍스트가 포함됨
    full_text = texts[0].description # 전체 텍스트는 texts[0].description에 저장되어 있습니다. 이 텍스트는 이미지에서 감지된 모든 텍스트입니다.
    lines = full_text.split('\n') # 텍스트를 줄바꿈(\n)을 기준으로 분리하여 각 줄을 lines 리스트로 만듭니다.

    # 줄 단위로 분리된 텍스트를 데이터프레임으로 변환
    df = pd.DataFrame({'Detected Text': lines}) # 분리된 텍스트 줄을 데이터프레임으로 변환합니다. 데이터프레임은 한 열(Detected Text)로 구성되며, 각 행은 감지된 텍스트의 한 줄을 나타냅니다.

    # 데이터프레임 출력
    print(df)

# 에러 핸들링
if response.error.message:
    raise Exception(f'{response.error.message}')

 

주석을 남겨서 코드에 대한 해설을 달았습니다. 

코드에 대한 주석을 계속 남기는 이유는 다른 분들이 이해하기 편함도 있지만,

나중에 제가 다시 볼때 왜 이런 코드를 썼지? 하는 경우가 없기 위해 대부분 작성하는 편입니다.  

 

아주 잘 추출됩니다.

이 방식으로 데이터를 추출해봅시다.

해당 데이터를 csv로 바꾼다음에 중간 중간에 제대로 변환하지 못한 것들을 확인하여 수작업으로 변환해주었습니다.

 

# 지정할 칼럼명 리스트
column_names = ['Text']
left = pd.read_csv('C:\\Users\\user\\Desktop\\analysis\\project\emoticon\\199.csv', encoding='utf-8-sig', header=None, names=column_names)

# 지정할 칼럼명 리스트
column_names = ['Text']
right = pd.read_csv('C:\\Users\\user\\Desktop\\analysis\\project\emoticon\\200.csv', encoding='utf-8-sig', header=None, names=column_names)

import pandas as pd

# DataFrame으로 불러왔을 때 이와 같은 구조일 수 있습니다.
left_df = pd.DataFrame(left, columns=["Text"])
right_df = pd.DataFrame(right, columns=["Text"])

# 짝수 항목(이모티콘)과 홀수 항목(작가명) 분리
emoticons = left_df.iloc[::2].reset_index(drop=True)  # 짝수 인덱스 항목 (이모티콘)
authors = left_df.iloc[1::2].reset_index(drop=True)   # 홀수 인덱스 항목 (작가명)

emoticons2 = right_df.iloc[::2].reset_index(drop=True)  # 짝수 인덱스 항목 (이모티콘)
authors2 = right_df.iloc[1::2].reset_index(drop=True)   # 홀수 인덱스 항목 (작가명)

# 새로운 DataFrame 구성
result_df = pd.DataFrame({
    "이모티콘": emoticons["Text"],
    "작가명": authors["Text"]
})

result_df2 = pd.DataFrame({
    "이모티콘": emoticons2["Text"],
    "작가명": authors2["Text"]
})

# 결과 출력
print(result_df)

result_df['순위'] = [i for i in range(1, 2*len(result_df), 2)]  # 1부터 시작하는 홀수 리스트 생성
result_df2['순위'] = [i for i in range(2, 2*len(result_df2)+1, 2)]  # 2부터 시작하는 홀수 리스트 생성

result = pd.concat([result_df, result_df2], ignore_index=True)

result_sorted = result.sort_values(by='순위')
result_sorted_reset = result_sorted.reset_index(drop=True)

그 다음에 데이터를 하나로 합쳤습니다.

다음에 해야 할 것은 하나씩 데이터를 수작업으로 수집해야 합니다.