[aiohttp] API 반복되는 구문을 비동기 호출로 시간 단축하기

RIOT API 프로젝트를 하다가 aiohttp 비동기 요청에 대해 알게 됐다.

처음 보는 함수여서 정리를 하고자 글을 작성하게 됐다.

 

목차

✅목적: matchID 리스트를 활용해서 url 205*20=4100 개의 get 요청을 하자

✅해결방안 1 : for loop

✅해결방안 2:  aiohttp

✅ async, await,코루틴 란?

 

 

해결방안 1 : for loop

api_key = MY_API
header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0",
    "Accept-Language": "ko,en;q=0.9,en-US;q=0.8",
    "Accept-Charset": "application/x-www-form-urlencoded; charset=UTF-8",
    "Origin": "https://developer.riotgames.com",
    "X-Riot-Token": api_key
}

match_user_data=[]

for player in summoner_matchID_list:
    puuid=player['puuid']
    match_ids=player['match_ids']
    for match_id in match_ids:
        url = f"https://asia.api.riotgames.com/lol/match/v5/matches/{match_id}"
        rp3=requests.get(url,headers=header)

        if rp3.status_code==429:
            print("Rate limit exceeded. Sleeping for 60 seconds")
            time.sleep(60)
            rp3=requests.get(url,headers=header)
        if rp3.status_code==200:
            match_data=rp3.json()
            match_user_data.append({'puuid': puuid, 'match_id': match_id, 'match_data':match_data})

    # 딜레이 추가
    time.sleep(1)  # 각 요청 사이에 1초의 딜레이를 추가하여 Riot API의 Rate Limit에 걸리지 않도록

 

for 문을 돌며 하나씩 GET 요청을 보내는건 가장 쉽게 생각할 있는 방법이다.

하지만 한 번에 한 URL 밖에 처리할 수 없기 때문에 무척 비효율적이다.

그래서 무려 40분이 넘는 시간 동안 코드가 실행 됐음에도 오류가 났다.

 

해결방안 2 :  AIOHTTP

import aiohttp # asyncio를 사용하여 HTTP 요청을 하기 위해 사용
import asyncio # Python 3.3부터 소개된 비동기 지원 모듈
import time

# 비동기 요청을 처리하기 위한 함수
async def fetch_match_data(session, puuid, match_id, header): 
    # Riot API에서 각 match_id에 대해 비동기적으로 데이터를 가져오는 역할
    # session : aiohttp.ClientSession()을 사용하여 생성된 HTTP 세션 객체. 비동기적으로 HTTP 요청을 보내기 위해 필요
    url = f"https://asia.api.riotgames.com/lol/match/v5/matches/{match_id}" 
    async with session.get(url, headers=header) as response:
        # session을 통해 여러개의 matchID를 동시에 입력하여 url 주소 가져오기
        if response.status == 429:
            # Rate limit에 걸리면 (status == 429), Retry-After 헤더 값을 확인하여 60초 만큼 대기한 후 재시도
            retry_after = int(response.headers.get('Retry-After', 60))  # Retry-After 헤더 확인
            print(f"Rate limit exceeded. Sleeping for {retry_after} seconds.")
            await asyncio.sleep(retry_after)  # 비동기 대기
            # 60초만큼 대기중인 상태
            async with session.get(url, headers=header) as retry_response:
                if retry_response.status == 200:
                    # 60초만큼 대기 후 재시도
                    return await retry_response.json(), puuid, match_id
        elif response.status == 200:
            return await response.json(), puuid, match_id
            # 응답이 성공적일 경우 (status == 200), 응답 데이터를 json 형식으로 반환
        else:
            print(f"Error: {response.status}")
            return None, puuid, match_id
            # 오류 응답이 발생할 경우 상태 코드와 함께 오류 메시지를 출력하고 None을 반환

# 비동기 메인 함수
async def fetch_all_matches(summoner_matchID_list, header):#여러 플레이어의 여러 match_id에 대해 비동기적으로 API 요청을 동시에 처리
    match_user_data = []
    async with aiohttp.ClientSession() as session:
        tasks = []
        # 각 플레이어의 puuid와 해당 match_ids에 대해 fetch_all_data 함수를 호출하는 작업(task)을 생성
        for player in summoner_matchID_list:
            puuid = player['puuid']
            match_ids = player['match_ids']
            for match_id in match_ids:
                task = asyncio.create_task(fetch_match_data(session, puuid, match_id, header)) 
                # asyncio.create_task()를 사용하여 비동기 작업을 생성하고, 이 작업을 모두 모아서 asyncio.gather()로 동시에 실행
                tasks.append(task)
                await asyncio.sleep(1)  # 비동기 대기 (1초)
        responses = await asyncio.gather(*tasks)
        
        # 응답 데이터 처리
        for match_data, puuid, match_id in responses:
            if match_data:
                match_user_data.append({'puuid': puuid, 'match_id': match_id, 'match_data': match_data})

    return match_user_data

 

2초만에 실행되었고 API도 제대로 호출되었다.

성능 쩐다.. 코드에 대한 해석도 달아 놓았다.

 

 

 

async, await, coroutine 이란?

async def : 코루틴을 정의하기 위한 키워드

coroutine : 진입점이 여러개인 함수, 보통 우리가 작성하는 함수는 처음 호출된 시점이 유일한 진입점임

asyncio.wait : 이 task들의 list인 tasks가 전부 끝날때까지 기다린다.