Serverless Discord Chatbot with AWS Lambda

개요

AWS Lambda 를 이용하여 디스코드 챗봇을 만들 것이다.
그 과정에서 API Gateway, Lambda function, and Amazon SNS (Simple Notification Service) 에 대한 실습 코드를 직접 작성할 것이다.

기능

1. /time : 현재 시간 보여주기
2. /rice : 공대 식당 오늘의 메뉴 보여주기
3. /email : 당신의 정보가 담긴 이메일 전송

본격적인 개발 시작에 앞서서 developer mode 를 활성화시켜야한다.
Discord UI 하단에 User Settings 버튼을 누르고 Advanced 탭에 가서 Developer Mode 를 활성화시킨다.

 

 

봇 설정하기

 

Discord’s Developer Portal (https://discord.com/developers/applications) 에 가서 New Application 버튼을 통해 원하는 어플리케이션을 생성한다.

 

 

 

좌측에  있는 OAuth2 – URL Generator 메뉴에 들어가서 다음과 같이 설정한 후 맨 아래에 스크롤하여 generated URL를 확인하고 웹 브라우저에서 헤당 링크에 접속한다.

 

 

커맨드 설정하기

 

지금은 봇에 새로운 / 명령어를 등록할 것이다. Discord는 봇이 어떤 명령어를 가지고 있는지 자동으로 파악할 수 없으므로, 사용 가능한 각 명령어를 직접 알려줘야 한다. 안타깝게도 이를 위한 사용자 인터페이스(UI)는 존재하지 않으며 현재로서는 HTTP 엔드포인트를 통해서만 가능하다. 이를 위해 register_command.py라는 이름의 Python 스크립트를 만든다.

 

import requests
APP_ID = ""
SERVER_ID = ""
BOT_TOKEN = ""
url = f''
json = [
 {
 'name': 'time',
 'description': 'Shows the current time',
 'options': []
 },
 {
 'name': 'rice',
 'description': 'Provides today\'s menu at Engineering Building Cafeteria',
2024-2 Cloud Computing (01)
-4-
 'options': []
 },
 {
 'name': 'email',
 'description': 'Send an email message',
 'options': []
 }
]
response = requests.put(url, headers={'Authorization': f'Bot {BOT_TOKEN}'}, json=json)
print(response.json())

 

어플리케이션 상세정보 창에 명시된 것을 바탕으로 APP_ID(application ID), SERVER_ID,  BOT_TOKEN 을 채운다.

 

그리고 다음 명령어를 통해 스크립트를 실행한다.

python3 register_command.py

 

 

다음과 같은 응답 창이 뜨면 등록이 성공적으로 완료된 것이다.

 

 

 

https://discord.com/oauth2/authorize?client_id=1313891142965792890&permissions=8&integration_type=0&scope=bot

Discord - Group Chat That’s All Fun & Games

 

 

 BeautifulSoup library으로 웹페이지 파싱하기 

 

아래는 기본적인 BeautifulSoup의 튜토리얼이다.

https://www.scrapingbee.com/blog/python-web-scraping-beautiful-soup/

BeautifulSoup tutorial: Scraping web pages with Python

 

우리는 아래 공대식당 웹사이트를 파싱해볼 것이다.

https://ewha.ac.kr/ewha/life/restaurant.do?mode=view&articleNo=905&article.offset=0&articleLimit=10

공대식당

 

 

Getting the HTML

 

가장 먼저, HTTP GET request 를 통하여 URL로부터 contents를 가져와야 한다.

요청을 보내기 위해서 Python Requests library 를 사용할 수 있다.

 

HTML data 를 빼온 후에는 원하는 정보를 빼내기 위해서 BeautifulSoup 라이브러리를 이용할 수 있다.

 

요청을 보내기 위해서 튜토리얼에 나와있던 것 처럼 다음과 같은 main.py 코드를 작성하고 실행시켰다.

 

import requests
from bs4 import BeautifulSoup

response = requests.get("https://news.ycombinator.com/")
html_content = response.content

# Use Beautiful Soup to parse the HTML
soup = BeautifulSoup(html_content, "html.parser")

 

 

그런데 HTML 을 받아온 결과가 다음과 같이 깨지는 현상을 발견할 수 있었다.

 

처음엔 인코딩 설정이 잘못되었나했는데, 알고보니 response.encoding 을 확인해본 결과 동일하게 utf-8 로 설정이 되어있었다.

뭐가 문제지.. 하고 공식문서를 찾아보는데 response.text 를 사용하는 코드를 볼 수 있었다.

 

https://requests.readthedocs.io/en/latest/user/quickstart/#response-content

 

 

response.content 와 response.text 의 차이점이 궁금해서 찾아보았는데

 

- response.content :  bytes (바이트열) , 서버에서 전송된 원시 데이터를 그대로 반환, 응답 데이터의 인코딩과 관계없이, 변환 없이 원본 데이터를 반환

- response.text : str (문자열), 서버에서 전송된 데이터를 설정된 인코딩으로 디코딩하여 반환, 서버 응답의 Content-Type 헤더에 명시된 인코딩을 사용

 

결국 content 는 raw binary data 를 그대로 반환하고 text 는 디코딩 후에 문자열을 반환한다는 점이 달랐다.

그래서 content -> text 로 다음과 같이 코드를 살짝 수정해주었더니 이제 한글로 잘 나온다 ㅎㅎ

import requests

# Send a GET request to the specified URL
response = requests.get("http://ewha.ac.kr/ewha/life/restaurant.do?mode=view&articleNo=905&article.offset=0&articleLimit=10")
response.encoding = 'utf-8'  # 강제로 UTF-8 설정

# Check if the request was successful (status code 200)
if response.status_code == 200:
    html_content = response.text
    print(html_content)
else:
	print(response)

 

 

전체 아키텍쳐 구조 설계

 

AWS API Gateway와 Lambda 함수는 서버리스 애플리케이션 개발에서 핵심적으로 연계되어 사용된다.

 

 

• API Gateway: 클라이언트 애플리케이션(웹, 모바일, IoT 등)이 요청을 보내는 엔드포인트를 제공. 요청을 받아 백엔드 서비스로 전달하고, 응답을 클라이언트에 반환
• Lambda 함수: API Gateway가 전달한 요청을 처리하는 서버리스 컴퓨팅 리소스. 실제로 요청에 대한 로직(데이터 처리, 데이터베이스 작업, 외부 서비스 호출 등)을 실행

작동흐름

 

 

• 클라이언트(예: 브라우저 또는 모바일 앱)가 API Gateway에 요청(예: HTTP POST)을 보낸다.
• API Gateway는 요청을 Lambda 함수로 전달한다.
• Lambda 함수는 지정된 비즈니스 로직을 실행하고 결과(응답 데이터 또는 오류)를 반환한다.
• API Gateway는 Lambda 함수의 응답을 클라이언트로 전달한다.

즉, 우리는 API Gateway 를 진입점으로 하고, Lambda Function 을 컴퓨팅 리소스로 사용하는 어플리케이션 구조를 만들 것이다.

 

 

Lambda Function 생성하기

이를 위해 가장 먼저 Lambda Function을 생성한다. AWS Lambda Console 로 가서 Create function 버튼을 누른다. 다음 페이지에서 Author from scratch 를 선택하고 function에 이름을 부여한다. 런타임은 Python 3.8, 아키텍쳐는 x86_64으로 설정하고 함수를 생성한다.

 

import json
import requests
from bs4 import BeautifulSoup
import datetime
from nacl.signing import VerifyKey
from nacl.exceptions import BadSignatureError
import pytz
import json
import boto3
client = boto3.client('sns')
PUBLIC_KEY = ?
PING_PONG = {"type": 1}
RESPONSE_TYPES = { "PONG": 1,
 "ACK_NO_SOURCE": 2,
 "MESSAGE_NO_SOURCE": 3,
 "MESSAGE_WITH_SOURCE": 4,
 "ACK_WITH_SOURCE": 5}
def verify_signature(event):
 raw_body = event.get("rawBody")
 signature = event['params']['header'].get('x-signature-ed25519')
 timestamp = event['params']['header'].get('x-signature-timestamp')

 verify_key = VerifyKey(bytes.fromhex(PUBLIC_KEY))
 verify_key.verify(f'{timestamp}{raw_body}'.encode(), bytes.fromhex(signature))
def ping_pong(body):
 if body.get("type") == 1:
 return True
 return False

def lambda_handler(event, context):
# verify the signature
 try:
 verify_signature(event)
 except Exception as e:
 raise Exception(f"[UNAUTHORIZED] Invalid request signature: {e}")
 # check if message is a ping
 body = event.get('body-json')
 if ping_pong(body):
 return PING_PONG

 if body.get("type") == 2:
 return command_handler(body)

 # dummy return
 return {
 "type": RESPONSE_TYPES['MESSAGE_NO_SOURCE'],
 "data": {
 "tts": False,
 "content": "BEEP BOOP",
 "embeds": [],
 "allowed_mentions": []
 }
 }
def command_handler(b):
 command = b['data']['name']
 if command == 'rice':
 pass # Fill in here
 elif command == 'time':
 timeZ_S = pytz.timezone('Asia/Seoul')
 dt = datetime.datetime.now(timeZ_S)
 return {'type': 4,
 'data': {'content': dt.strftime('%Y-%m-%d %H:%M:%S %Z %z')}
 }
 elif command == 'email':
 pass # Fill in here

 

 

① /rice command 에 대하여 웹페이지를 파싱하기 위해 BeautifulSoup library 를 이용할 것이다.

② /email command 에 대하여 이메일을 보내기 위하여 boto3 library  를 이용할 것이다.

 

 

Parsing the HTML with Beautiful Soup

그런데  BeautifulSoup 를 이용할 때에는  text representation을 decode 하는 것에 더 용이해 response.content를 사용하는 것이 더 좋다고 한다. character encoding 으로 인한 잠재적 이슈를 방지해주는 효과가 있기 때문이다.

 

BeautifulSoup 는 HTML content 와 parser 를 인자로 받는데, 이 부분에 content 를 넣어주면 된다. 그리고 get_text()를 통하여 웹페이지의 텍스트들을 모두 받아올 수 있다.

 

import requests
from bs4 import BeautifulSoup

# Send a GET request to the specified URL
response = requests.get("http://ewha.ac.kr/ewha/life/restaurant.do?mode=view&articleNo=905&article.offset=0&articleLimit=10")
response.encoding = 'utf-8'  # 강제로 UTF-8 설정

# Check if the request was successful (status code 200)
if response.status_code == 200:
    html_content = response.content
    #print(html_content)
    # Use Beautiful Soup to parse the HTML
    soup = BeautifulSoup(html_content, "html.parser")
    
    # The title tag of the page
    print(soup.title)

    # The title of the page as string
    print(soup.title.string)

    # Text from the page
    print(soup.get_text())
else:
	print(response)

 

결과

결과

 

 

Targeting DOM elements

 

BeautifulSoup을 사용하여 웹 스크래핑을 할 때 가장 중요한 작업 중 하나는 특정 DOM(Document Object Model) 요소를 대상으로 하여 추출하는 것이다. DOM은 웹 문서를 위한 프로그래밍 인터페이스이다. 웹페이지의 HTML을 upside-down tree로서 상상해보자. 각 HTML 요소(헤딩, 문단, 링크 등)는 이 트리의 노드이다. 

 

BeautifulSoup(BS4)를 사용하면 필요한 DOM 요소를 빠르고 우아하게 대상으로 설정할 수 있다. 아래는 Beautiful Soup이 DOM 내에서 이러한 요소를 대상으로 설정하는 다양한 방법들이다. 다음과 같이 특정 태그나 클래스를 통해 원하는 요소에 접근할 수 있다.

 

soup.find("a")
soup.find_all("span")

soup.find(class_="athing")
soup.find_all(class_="athing")

 

 

우리가 받아와야 하는 정보는 오늘 날짜에 해당하는 중식 메뉴 목록이다. 

따라서  HTML 가 어떤 구조로 되어 있고 해당 점심 메뉴 Text 가 어떤 태그, 클래스에 해당하는지 알아야 한다.

 

 

 

개발자 도구를 열어서 HTML 을 확인해보니 ul 태그의 class = b-menu-box 에 전체 박스 내용이 담겨있고,

그 하위에 해당하는 li 태그의 b-menu-day.mon 에 각 날짜에 해당하는 박스가 담긴다.

 

 

 

그리고 그 박스 내부에는 brunch 와 lunch 로 나누어진 영역(div)이 있고

lunch 를 뜻하는 div -> div -> pre 내부의 text 를 가져오면 중식 메뉴를 가져올 수 있었다!

 

<div class="b-day"></div>
<div class="b-menu-b"></div>
<div class="b-menu-l">
<p>중식</p>
<div>
<pre>소고기설렁탕
쌀밥
동그랑땡야채조림
파래김자반볶음
치커리겉절이
배추김치

&lt;일품&gt;
토핑선택돈까스
(1.갈릭칩2.눈꽃치즈3.고구마무스)</pre>
</div>
</div>

 

 

 

여기서 한가지 주의해야할 점은 오늘 날짜에 해당하는 메뉴를 가져와야 하는 것인데,

따라서 오늘의 요일을 받아온 다음에 이를 바탕으로 b-menu-box 에서 몇번째 요일 정보를 받아올 것인지 결정했다.

 

import requests
from bs4 import BeautifulSoup
import datetime

# Send a GET request to the specified URL
response = requests.get("http://ewha.ac.kr/ewha/life/restaurant.do?mode=view&articleNo=905&article.offset=0&articleLimit=10")
response.encoding = 'utf-8'  # 강제로 UTF-8 설정

# Check if the request was successful (status code 200)
if response.status_code == 200:
    html_content = response.content
    # print(html_content)
    # Use Beautiful Soup to parse the HTML
    soup = BeautifulSoup(html_content, "html.parser")
    
    # The title tag of the page
    #print(soup.title)

    # Text from the page
    #print(soup.get_text())

    # 오늘 날짜 가져오기
    today = datetime.date.today()

    # 요일 번호 가져오기 (0: 월요일, 6: 일요일)
    weekday_number = today.weekday()
    print(weekday_number)

    week_menu_box = soup.find(class_="b-menu-box")
    day_menu_box = week_menu_box.select_one(f'li:nth-of-type({weekday_number+1})')
    day_menu_text = day_menu_box.select_one(f'.b-menu-l > div > pre').text
    
    print(day_menu_text)

else:
	print(response)

 

결과

r

 

Lambda Function 완성하기

 

전체 소스 코드이다. 하나하나 의미를 잠깐 살펴보면, 

def lambda_handler(event, context):
    # Verify the signature
    try:
        verify_signature(event)
    except Exception as e:
        raise Exception(f"[UNAUTHORIZED] Invalid request signature: {e}")

    # Check if message is a ping
    body = event.get('body-json')
    if ping_pong(body):
        return PING_PONG

    if body.get("type") == 2:
        return command_handler(body)

    # Dummy return
    return {
        "type": RESPONSE_TYPES['MESSAGE_NO_SOURCE'],
        "data": {
            "tts": False,
            "content": "BEEP BOOP",
            "embeds": [],
            "allowed_mentions": []
        }
    }

def command_handler(b):
    command = b['data']['name']
    if command == 'rice':
        # Send a GET request to the specified URL
        response = requests.get("http://ewha.ac.kr/ewha/life/restaurant.do?mode=view&articleNo=905&article.offset=0&articleLimit=10")
        response.encoding = 'utf-8'  # 강제로 UTF-8 설정

        if response.status_code == 200:
            html_content = response.content
            soup = BeautifulSoup(html_content, "html.parser")
            today = datetime.date.today()
            weekday_number = today.weekday()
            print(weekday_number)

            week_menu_box = soup.find(class_="b-menu-box")
            day_menu_box = week_menu_box.select_one(f'li:nth-of-type({weekday_number+1})')
            day_menu_text = day_menu_box.select_one(f'.b-menu-l > div > pre').text
    
            return {
            'type': 4,
            'data': {'content': day_menu_text}
            }

else:
	print(response)

        pass  # Fill in here
    elif command == 'time':
        timeZ_S = pytz.timezone('Asia/Seoul')
        dt = datetime.datetime.now(timeZ_S)
        return {
            'type': 4,
            'data': {'content': dt.strftime('%Y-%m-%d %H:%M:%S %Z %z')}
        }
    elif command == 'email':
        pass  # Fill in here

 

 

요청 서명 검증 함수

def verify_signature(event):
    raw_body = event.get("rawBody")
    signature = event['params']['header'].get('x-signature-ed25519')
    timestamp = event['params']['header'].get('x-signature-timestamp')

    verify_key = VerifyKey(bytes.fromhex(PUBLIC_KEY))
    verify_key.verify(f'{timestamp}{raw_body}'.encode(), bytes.fromhex(signature))

 

 

• Discord에서 들어오는 요청이 올바른지 확인하기 위해 Ed25519 서명 검증을 수행
• 검증 실패 시 예외를 발생시켜 요청을 무효화
• PUBLIC_KEY는 Discord 애플리케이션의 공개 키로, 외부 요청의 무결성을 보장.

 

Ping-Pong 처리 함수

 

def ping_pong(body):
    if body.get("type") == 1:
        return True
    return False

 

 

• Discord 서버가 보낸 Ping 요청인지 확인
• Ping 요청이면 True를 반환

 

메인 핸들러 (lambda_handler)

def lambda_handler(event, context):
    try:
        verify_signature(event)
    except Exception as e:
        raise Exception(f"[UNAUTHORIZED] Invalid request signature: {e}")

    body = event.get('body-json')
    if ping_pong(body):
        return PING_PONG

    if body.get("type") == 2:
        return command_handler(body)

    return {
        "type": RESPONSE_TYPES['MESSAGE_NO_SOURCE'],
        "data": {
            "tts": False,
            "content": "BEEP BOOP",
            "embeds": [],
            "allowed_mentions": []
        }
    }

 

 

• 서명 검증: 요청이 Discord 서버에서 온 것이 맞는지 확인.
• Ping 처리: Ping 요청이면 바로 PING_PONG 응답 반환.
• 명령어 처리: type == 2인 경우, command_handler로 명령어를 전달.
• 기본 응답: "BEEP BOOP" 메시지를 반환.

 

def command_handler(b):
    command = b['data']['name']
    if command == 'rice':
        response = requests.get("http://ewha.ac.kr/ewha/life/restaurant.do?mode=view&articleNo=905&article.offset=0&articleLimit=10")
        response.encoding = 'utf-8'
        if response.status_code == 200:
            html_content = response.content
            soup = BeautifulSoup(html_content, "html.parser")
            weekday_number = 0  # 현재 날짜를 기준으로 요일 계산 가능
            week_menu_box = soup.find(class_="b-menu-box")
            day_menu_box = week_menu_box.select_one(f'li:nth-of-type({weekday_number+1})')
            day_menu_text = day_menu_box.select_one(f'.b-menu-l > div > pre').text

            return {
                'type': 4,
                'data': {'content': day_menu_text}
            }
    elif command == 'time':
        timeZ_S = pytz.timezone('Asia/Seoul')
        dt = datetime.datetime.now(timeZ_S)
        return {
            'type': 4,
            'data': {'content': dt.strftime('%Y-%m-%d %H:%M:%S %Z %z')}
        }
    elif command == 'email':
        pass

 

 

command 분기:

1. /rice:
   • 이화여대 식당 메뉴 페이지를 크롤링하여 주어진 날짜의 메뉴를 반환.
   • HTML 파싱은 BeautifulSoup을 사용.
2. /time:
   • 한국(서울) 시간대를 기준으로 현재 시간을 반환.
3. /email:
   • 구현되지 않은 상태(작성 필요).

 

소스코드에 다음과 같은 코드를 작성하고 Deploy 버튼을 누른다.

 

ㅌ

 

그리고 AWS Lambda Console 로 돌아와 Create Layer 를 누른다.

 

 

 

그리고 Lambda 에 사용된 여러 라이브러리 파일들을 하나로 압축하여 dependency.zip 을 만든다.

 

그리고 레이어탭에 가서 방금 생성한 dependency 레이어를 추가해준다.

 

 

 

 

 

AWS API Gateway

이제 우리의 애플리케이션이 통신할 수 있는 웹 엔드포인트를 만들어야 한다. 이를 위해 API Gateway에서 작업을 진행한다.

AWS API Gateway는 Amazon Web Services(AWS)에서 제공하는 완전 관리형 서비스로, 개발자가 API(Application Programming Interface)를 생성, 게시, 유지 관리, 모니터링 및 보안을 설정할 수 있도록 돕는 플랫폼입니다. API Gateway는 백엔드 서비스와 클라이언트 애플리케이션 사이의 중개 역할을 하며, HTTP, RESTful API, WebSocket API 등의 다양한 유형의 API를 지원합니다.

 

 먼저 기본 API를 생성하여 기본 URL을 얻고, 그런 다음 API 내에서 리소스를 정의하여 POST 요청이 가능한 완전한 엔드포인트를 만든다. 마지막으로 API를 배포하여 인터넷에서 접근할 수 있도록 설정한다.

 

먼저 API Gateway Console로 이동한다. Create API -> REST API Build 클릭 

그러면 빈 루트 API를 보인다. 이제 API를 채워야 하는데, 이는 리소스와 메서드를 정의하여 수행된다.  Create resource 를 통해 새로운 리소스를 추가할 수 있다.

 

 

이번에는 Create method 를 눌러 자원 HW3 에 대한 POST 메소드를 만든다.

 

 

 

 

 

 

기본 정보를 입력해주고, API Gateway mapping template를 설정해준다.

 

https://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-mapping-template-reference.html

API Gateway mapping template and access logging variable reference - Amazon API Gateway

 

 

📌 AWS API Gateway의 Mapping Template이란?

 

클라이언트에서 들어오는 요청(Request) 또는 백엔드에서 반환되는 응답(Response)의 데이터를 변환(Transform)하는 데 사용된다.

 

 

 

그 다음에는 Method response 탭으로 가서 Create response 버튼을 누른다.

 

 

그 다음 다시 Resource 탭으로 돌아와서 Deploy API  를 해준다.

 

 

그리고 Stages 에서 Invoked URL 을 복사한다.

 

 

 

 

 

그리고 다시 Developer Portal 로 돌아와서 INTERACTIONS ENDPOINT URL 에 방금 복사한 URL 을 붙여넣는다.

 

 

 

그리고 Save changes 를 누르면 다음과 같은 경고가 뜬다.

 

 

그런데 제대로 동작하지 않아서 CloudWatch 에서 lambda 관련 로그를 살펴보아야한다.

 

Lambda 함수는 기본적으로 실행 시 관련 로그 그룹을 자동 생성한다. 그러나  에러 로그를 살펴보기 전에 CloudWatch 와  lambda 가 기본적으로 연동이 잘 안되는 문제가 있어서 Monitor 탭을 확인해보았더니, 

CloudWatch Logs에서 지정된 로그 그룹(/aws/lambda/HW3Discord)이 존재하지 않는다는 에러가 떴다.

그래서 IAM 권한을 다시 확인해주었더니 이번엔 UNAUTHORIZED 에러가 발생했다.

 

 

알고보니 POST 쪽의 URL 을 복사해야하는데 root 경로에 있는 URL 을 복사해서 생긴 문제였다..ㅎㅎ

 

 

 

이제 로그도 제대로 뜬다.

 

 

변경이 잘 되는 것을 확인해준다!

 

이제 디스코드에 접속하여 봇으로 명령어를 작성해보니, time 명령어만 먹고 나머지는 제대로 응답이 되지 않는다..

 

 

 

Simple Notification Service

Lambda function 으로부터 email 을 보내기 위해 Amazon SNS 를 활용한다. Standard Type 으로 Topic 을 하나 생성한다.

 

메일 인증을 해주면 구독 주소를 확인할 수 있다.

 

이제 SNS 를 lambda 에서 사용할 수 있도록 연관시킬 것인데, Add destination 을 눌러서 Amazon SNS 를 추가해준다.

 

 

 

Lambda 함수의 IAM 역할이 로그 작성 권한

 

https://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-mapping-template-reference.html

API Gateway mapping template and access logging variable reference - Amazon API Gateway

 

 

 

API Gateway mapping template and access logging variable reference - Amazon API Gateway

 

 

 

 

 

 

 

 

official document: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sns/client/publi sh.html