🎮RIOT API 분석 프로젝트(4) - matchID, game data 추출

MATCH-V4 API에서 matchID 추출하기

지난 게시글에서 puuID까지 추출하여 데이터 프레임 형태로 만들었습니다.

/lol/match/v5/matches/by-puuid/{puuid}/ids를 활용하여 matchID를 추출 하겠습니다.

 

api_key = MY_API
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0",
    "Accept-Language": "ko,en;q=0.9,en-US;q=0.8",
    "Accept-Charset": "application/x-www-form-urlencoded; charset=UTF-8",
    "Origin": "https://developer.riotgames.com"
}

summoner_matchID_list=[]

for puuid in puuid_list:
    url=f"https://asia.api.riotgames.com/lol/match/v5/matches/by-puuid/{puuid}/ids?start=0&count=20&api_key=MY_API"
    rp2=requests.get(url,headers=header)

    if rp2.status_code==429:
        print("Rate limit exceeded. Sleeping for 60 seconds")
        time.sleep(60)
        rp2=requests.get(url,headers=header)
    if rp2.status_code==200:
        summoner_match_data=rp2.json()
        summoner_matchID_list.append({'puuid': puuid, 'match_ids': summoner_match_data})

    # 딜레이 추가
    time.sleep(1)  # 각 요청 사이에 1초의 딜레이를 추가하여 Riot API의 Rate Limit에 걸리지 않도록

 

이전 게시글에서 만든 puuID 리스트를 넣어서 matchID를 호출 하겠습니다.

 

제대로 호출됨을 확인할 수 있습니다.

이제 matchID를 넣어서 게임 정보를 호출하겠습니다.

 

 

matchID를 활용해 게임 데이터 불러오기 (동기적 방식)

api_key = MY_API
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0",
    "Accept-Language": "ko,en;q=0.9,en-US;q=0.8",
    "Accept-Charset": "application/x-www-form-urlencoded; charset=UTF-8",
    "Origin": "https://developer.riotgames.com",
    "X-Riot-Token": api_key
}

match_user_data=[]

for player in summoner_matchID_list:
    puuid=player['puuid']
    match_ids=player['match_ids']
    for match_id in match_ids:
        url = f"https://asia.api.riotgames.com/lol/match/v5/matches/{match_id}"
        rp3=requests.get(url,headers=header)

        if rp3.status_code==429:
            print("Rate limit exceeded. Sleeping for 60 seconds")
            time.sleep(60)
            rp3=requests.get(url,headers=header)
        if rp3.status_code==200:
            match_data=rp3.json()
            match_user_data.append({'puuid': puuid, 'match_id': match_id, 'match_data':match_data})

    # 딜레이 추가
    time.sleep(1)  # 각 요청 사이에 1초의 딜레이를 추가하여 Riot API의 Rate Limit에 걸리지 않도록

 

해당 코드를 돌렸는데 40분 동안 돌아가더니 결국 오류가 났습니다.

 

 

API 호출을 너무 많이 해서 생긴 오류 같습니다.

250개 뿐만 아니라 앞으로 티어별로 500개씩은 호출해야 할텐데, 250*20=4100 판 정보 호출하는데 너무 오래걸리고 오류가 떴습니다. 작성한 코드가 동기적 방식으로 코드를 요청했는데 동기적 방식으로 요청을 처리하면 하나의 요청이 완료될 때까지 다음 요청을 기다려야 하기 때문에 시간이 오래 걸립니다.

 

이를 해결하기 위해 비동기 요청(asynchronous requests)을 사용하면 여러 요청을 동시에 처리할 수 있어 속도를 크게 향상시킬 수 있습니다. aiohttp와 같은 라이브러리를 사용하면 비동기적으로 API 요청을 보낼 수 있습니다.

 

 

matchID를 활용해 게임 데이터 불러오기 (비동기적 방식)

import aiohttp # asyncio를 사용하여 HTTP 요청을 하기 위해 사용
import asyncio # Python 3.3부터 소개된 비동기 지원 모듈
import time

# 비동기 요청을 처리하기 위한 함수
async def fetch_match_data(session, puuid, match_id, header): 
    # Riot API에서 각 match_id에 대해 비동기적으로 데이터를 가져오는 역할
    # session : aiohttp.ClientSession()을 사용하여 생성된 HTTP 세션 객체. 비동기적으로 HTTP 요청을 보내기 위해 필요
    url = f"https://asia.api.riotgames.com/lol/match/v5/matches/{match_id}" 
    async with session.get(url, headers=header) as response:
        # session을 통해 여러개의 matchID를 동시에 입력하여 url 주소 가져오기
        if response.status == 429:
            # Rate limit에 걸리면 (status == 429), Retry-After 헤더 값을 확인하여 60초 만큼 대기한 후 재시도
            retry_after = int(response.headers.get('Retry-After', 60))  # Retry-After 헤더 확인
            print(f"Rate limit exceeded. Sleeping for {retry_after} seconds.")
            await asyncio.sleep(retry_after)  # 비동기 대기
            # 60초만큼 대기중인 상태
            async with session.get(url, headers=header) as retry_response:
                if retry_response.status == 200:
                    # 60초만큼 대기 후 재시도
                    return await retry_response.json(), puuid, match_id
        elif response.status == 200:
            return await response.json(), puuid, match_id
            # 응답이 성공적일 경우 (status == 200), 응답 데이터를 json 형식으로 반환
        else:
            print(f"Error: {response.status}")
            return None, puuid, match_id
            # 오류 응답이 발생할 경우 상태 코드와 함께 오류 메시지를 출력하고 None을 반환

# 비동기 메인 함수
async def fetch_all_matches(summoner_matchID_list, header):#여러 플레이어의 여러 match_id에 대해 비동기적으로 API 요청을 동시에 처리
    match_user_data = []
    async with aiohttp.ClientSession() as session:
        tasks = []
        # 각 플레이어의 puuid와 해당 match_ids에 대해 fetch_all_data 함수를 호출하는 작업(task)을 생성
        for player in summoner_matchID_list:
            puuid = player['puuid']
            match_ids = player['match_ids']
            for match_id in match_ids:
                task = asyncio.create_task(fetch_match_data(session, puuid, match_id, header)) 
                # asyncio.create_task()를 사용하여 비동기 작업을 생성하고, 이 작업을 모두 모아서 asyncio.gather()로 동시에 실행
                tasks.append(task)
                await asyncio.sleep(1)  # 비동기 대기 (1초)
        responses = await asyncio.gather(*tasks)
        
        # 응답 데이터 처리
        for match_data, puuid, match_id in responses:
            if match_data:
                match_user_data.append({'puuid': puuid, 'match_id': match_id, 'match_data': match_data})

    return match_user_data

 

 

 

2초만에 끝났습니다. 코드에 대한 해설도 같이 달아놓았습니다.

제대로 호출됐는지 확인해봅시다.

 

sample3=pd.DataFrame(match_user_data)
sample3['match_data'][0]

 

필요한 정보들을 맞게 불러왔습니다. 

이제 이 정보에서 사용할 것만을 추출하여 MySQL DB에 담겠습니다.

하지만 이전에 작성한 코드들도 비동기 함수를 사용하여 빠르게 호출할 수 있도록 수정 과정을 먼저 거치겠습니다.