🎮RIOT API 분석 프로젝트(6) - 데이터베이스 구축

puuid, matchid sql DB에 저장하기

 

한동안 글이 뜸했던 이유는 추석 연휴내내 DB를 구축했기 때문입니다.

riot api rate limit 때문에 1시간에 2천개 데이터 추출이 최대입니다...

import mysql.connector

# MySQL 데이터베이스 연결
connection = mysql.connector.connect(
    host="localhost",        # MySQL 서버 주소
    user="root",    # MySQL 사용자명
    password="0224", # MySQL 비밀번호
    database="riot_game_database"  # 사용할 데이터베이스 이름
)

# 커서 생성
cursor = connection.cursor()

# puuid와 match_id 데이터를 테이블에 삽입하는 함수
def insert_match_id(puuid, match_id):
    sql = """
    INSERT INTO summoner_puuid (puuid, match_id)
    VALUES (%s, %s)
    """
    cursor.execute(sql, (puuid, match_id))


# puuid와 각각의 match_id를 테이블에 삽입
for entry in summoner_matchID_list:
    puuid = entry['puuid']
    match_ids = entry['match_ids']
    
    for match_id in match_ids:
        insert_match_id(puuid, match_id)

# 변경사항 커밋
connection.commit()

# 커서와 연결 종료
cursor.close()
connection.close()

 

일단 puuid와 match_id를 DB에 담았습니다.

 

 

 

SQL 서버 연결 및 데이터 분할

ex1_match_ids=match_ids[:2000]
ex2_match_ids=match_ids[2001:4001]
ex3_match_ids=match_ids[4002:6002]
ex4_match_ids=match_ids[6003:8003]
ex5_match_ids=match_ids[8004:10004]
ex6_match_ids=match_ids[10005:10250]

import mysql.connector

# MySQL 서버에 연결
connection = mysql.connector.connect(
    host="localhost",         # MySQL 서버 호스트 이름 (보통 로컬일 경우 localhost)
    user="root",      # MySQL 사용자 이름
    password="0224",  # MySQL 사용자 비밀번호
    database="riot_game_database"    # 사용할 데이터베이스 이름
)

# 연결이 성공했는지 확인
if connection.is_connected():
    print("MySQL 연결 성공")
else:
    print("MySQL 연결 실패")

 

한번에 10250개(250명 x 10판의데이터)  를 가져오면 오류가 날 것 같아서 2000개씩 끊어서 가져왔습니다.

 

 

 

MATCHID를 호출하여 원하는 정보만 SQL DB에 저장하기

import aiohttp
import asyncio
from asyncio_throttle import Throttler

# 비동기적으로 match 데이터를 가져오는 함수
async def fetch_match_data(session, match_id, api_key, throttler):
    url = f"https://asia.api.riotgames.com/lol/match/v5/matches/{match_id}"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0",
        "Accept-Language": "ko,en;q=0.9,en-US;q=0.8",
        "Accept-Charset": "application/x-www-form-urlencoded; charset=UTF-8",
        "Origin": "https://developer.riotgames.com",
        "X-Riot-Token": api_key
    }
    
    async with throttler:  # 요청 속도 제한
        async with session.get(url, headers=headers) as response:
            if response.status == 429:  # Rate limit 처리
                retry_after = int(response.headers.get('Retry-After', 60))  # Retry-After 헤더 확인
                print(f"Rate limit exceeded for match {match_id}. Sleeping for {retry_after} seconds.")
                await asyncio.sleep(retry_after)  # 비동기 대기
                return await fetch_match_data(session, match_id, api_key, throttler)  # 다시 시도
            elif response.status == 200:
                match_data = await response.json()  # JSON 데이터 반환
                queue_id = match_data.get('info', {}).get('queueId', None)
                if queue_id == 420:  # Solo Rank 모드 (Queue ID 420)만 가져옴
                    return match_data
                else:
                    print(f"Skipping match {match_id} because queueId is not 420")
                    return None
            else:
                print(f"Error: {response.status} for match ID {match_id}")
                return None


async def fetch_all_matches(ex5_match_ids, api_key):
    throttler = Throttler(rate_limit=20, period=1)  # 초당 20개의 요청으로 제한
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_match_data(session, match_id, api_key, throttler) for match_id in ex5_match_ids]
        responses = await asyncio.gather(*tasks)
        for response in responses:
            if response is None:
                print("Failed to fetch data for a match.")
        return [response for response in responses if response is not None]
    
# MYSQL 연결 설정
def create_db_connection():
    connection = mysql.connector.connect(
    host="localhost",         # MySQL 서버 호스트 이름 (보통 로컬일 경우 localhost)
    user="root",      # MySQL 사용자 이름
    password="0224",  # MySQL 사용자 비밀번호
    database="riot_game_database"    # 사용할 데이터베이스 이름
)
    return connection

# MYSQL 에 매치 데이터를 삽입
def insert_match_data(connection,match_data):
    cursor=connection.cursor()
    for match in match_data:
        match_id = match.get('metadata', {}).get('matchId', 'Unknown Match ID')
        
        inser_query = """
        INSERT INTO matches5 (match_id, summoner_name, puuid, kills, deaths, gold_earned, wards_placed, wards_bought, css, assists, kda, teamPosition)
        VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)
        """
        for participant in match.get('info', {}).get('participants', []):
            data = ( match.get('metadata', {}).get('matchId', 'Unknown Match ID'),
                participant.get('summonerName'),
                participant.get('puuid'),  # puuid 추가
                participant.get('kills'),
                participant.get('deaths'),
                participant.get('goldEarned', 0),
                participant.get('wardPlaced', 0),
                participant.get('visionWardsBoughtInGame', 0),
                (participant.get('totalMinionsKilled', 0) + participant.get('neutralMinionsKilled', 0)) / (match.get('info', {}).get('gameDuration', 1) / 60),
                participant.get('assists'),
                participant.get('challenges', {}).get('kda'),
                participant.get('teamPosition')  # teamPosition 추가
            )
            try:
                cursor.execute(inser_query, data)
            except mysql.connector.Error as err:
                print(f"Error: {err}")
    connection.commit()
    cursor.close()

# 비동기 메인 함수
async def main():
    api_key = "MY_API"  # Riot Games API 키

    # 모든 match_ids에 대해 게임 정보 가져오기
    match_data_list = await fetch_all_matches(ex5_match_ids, api_key)
    
    # mysql 연결 및 데이터 삽입
    connection=create_db_connection()
    insert_match_data(connection,match_data_list)
    connection.close()

# asyncio 실행
await main()

 

문제가 있습니다. 코드가 잘 실행되다가 오류가 났지 뭡니까

분명 ex1~4까진 잘 됐는데 ex5에서 오류가 났습니다.

 

 

css를 계산하는 식이 아래와 같은데 분모에 0이 들어가는 값이 있는 것 같습니다..

(participant.get('totalMinionsKilled', 0) + participant.get('neutralMinionsKilled', 0)) / (match.get('info', {}).get('gameDuration', 1) / 60)

 

게임시간이 0인 경우가 있는 것 같습니다. 

API오류인지 꺼버린 건지는 모르겠지만 해당 오류일 경우도 계산해주는 코드로 다시수정합니다.

 

import aiohttp
import asyncio
import mysql.connector
from asyncio_throttle import Throttler

# 비동기적으로 match 데이터를 가져오는 함수
async def fetch_match_data(session, match_id, api_key, throttler):
    url = f"https://asia.api.riotgames.com/lol/match/v5/matches/{match_id}"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0",
        "Accept-Language": "ko,en;q=0.9,en-US;q=0.8",
        "Accept-Charset": "application/x-www-form-urlencoded; charset=UTF-8",
        "Origin": "https://developer.riotgames.com",
        "X-Riot-Token": api_key
    }
    
    async with throttler:  # 요청 속도 제한
        async with session.get(url, headers=headers) as response:
            if response.status == 429:  # Rate limit 처리
                retry_after = int(response.headers.get('Retry-After', 60))  # Retry-After 헤더 확인
                print(f"Rate limit exceeded for match {match_id}. Sleeping for {retry_after} seconds.")
                await asyncio.sleep(retry_after)  # 비동기 대기
                return await fetch_match_data(session, match_id, api_key, throttler)  # 다시 시도
            elif response.status == 200:
                match_data = await response.json()  # JSON 데이터 반환
                queue_id = match_data.get('info', {}).get('queueId', None)
                if queue_id == 420:  # Solo Rank 모드 (Queue ID 420)만 가져옴
                    return match_data
                else:
                    print(f"Skipping match {match_id} because queueId is not 420")
                    return None
            else:
                print(f"Error: {response.status} for match ID {match_id}")
                return None

async def fetch_all_matches(ex5_match_ids, api_key):
    throttler = Throttler(rate_limit=20, period=1)  # 초당 20개의 요청으로 제한
    async with aiohttp.ClientSession() as session:
        tasks = [fetch_match_data(session, match_id, api_key, throttler) for match_id in ex5_match_ids]
        responses = await asyncio.gather(*tasks)
        return [response for response in responses if response is not None]

# MYSQL 연결 설정
def create_db_connection():
    connection = mysql.connector.connect(
        host="localhost",         # MySQL 서버 호스트 이름
        user="root",              # MySQL 사용자 이름
        password="0224",          # MySQL 사용자 비밀번호
        database="riot_game_database"  # 사용할 데이터베이스 이름
    )
    return connection

# MYSQL에 매치 데이터를 삽입
def insert_match_data(connection, match_data):
    cursor = connection.cursor()
    for match in match_data:
        match_id = match.get('metadata', {}).get('matchId', 'Unknown Match ID')
        
        inser_query = """
        INSERT INTO matches5 (match_id, summoner_name, puuid, kills, deaths, gold_earned, wards_placed, wards_bought, css, assists, kda, teamPosition)
        VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)
        """
        for participant in match.get('info', {}).get('participants', []):
            total_minions_killed = participant.get('totalMinionsKilled', 0)
            neutral_minions_killed = participant.get('neutralMinionsKilled', 0)
            game_duration = match.get('info', {}).get('gameDuration', 1) / 60  # 분 단위로 변환
            
            # 게임 시간이 0일 경우 처리
            css = (total_minions_killed + neutral_minions_killed) / game_duration if game_duration > 0 else 0
            
            data = (
                match_id,
                participant.get('summonerName'),
                participant.get('puuid'),
                participant.get('kills'),
                participant.get('deaths'),
                participant.get('goldEarned', 0),
                participant.get('wardsPlaced', 0),
                participant.get('visionWardsBoughtInGame', 0),
                css,
                participant.get('assists'),
                participant.get('challenges', {}).get('kda'),
                participant.get('teamPosition')
            )
            try:
                cursor.execute(inser_query, data)
            except mysql.connector.Error as err:
                print(f"Error: {err}")
    connection.commit()
    cursor.close()

# 비동기 메인 함수
async def main():
    api_key = "MY_API"  # Riot Games API 키

    match_data_list = await fetch_all_matches(ex5_match_ids, api_key)
    
    # MySQL 연결 및 데이터 삽입
    connection = create_db_connection()
    insert_match_data(connection, match_data_list)
    connection.close()

# asyncio 실행
await main()

 

이제 게임시간이 0인 경우도 제대로 호출할 수 있습니다.

 

DB에서 솔로랭크에 해당하는 것만 다시 가져와서 9천개가 조금 넘는 데이터만 남게 되었습니다.

matchid는 아레나 모드도 포함되어 있기에 그 부분은 제외하였습니다.

 

이제 이 DB를 가지고 유저들의 평균을 태블로로 구현할 예정입니다.