나이브 베이즈를 사용한 스팸 메일 분류기 (Spam Classification via Naïve Bayes)

나이브 베이즈 분류기란?

확률 이론을 바탕으로 한 지도 학습 알고리즘 중 하나로, 주로 텍스트 분류, 스팸 필터링, 감성 분석과 같은 문제에 널리 사용된다.

베이즈 정리를 기반으로 하며, 데이터의 각 특징들이 독립적이라고 가정하는 나이브(naïve)한 특징을 지닌다.

 

베이즈 정리(Bayes' Theorem)

나이브 베이즈 분류기는 베이즈 정리에 따라 작동한다. 베이즈 정리는 어떤 사건 A와 B가 있을 때, 사건 B가 일어났을 때 사건 A가 일어날 확률을 계산할 수 있는 방법을 제공한다.

 

 

 

 

 

나이브 베이즈의 중요한 가정은 모든 특징들이 서로 독립적이라는 것이다. 즉, 특정 데이터의 한 특징이 주어졌을 때, 다른 특징들이 이와 무관하게 나타난다고 가정한다. 현실에서는 이 가정이 항상 맞지 않지만, 이 가정 덕분에 계산이 매우 단순해지며, 실제로도 꽤 좋은 성능을 보이는 경우가 많다.

기본 아이디어

이러한 베이즈 정리가 스팸 메일 분류와 어떤 관련이 있을까?

 

우리는 주어진 메일의 여러가지 특징들 ( X1=x1, ... , Xj=xj ) 을 통해 이 메일이 스팸인지(y=true) 그렇지 않은지(y=false) 구분해내야한다. 나이브 베이즈 분류기를 활용하면 주어진 데이터(특징들)가 특정 클래스에 속할 확률을 계산하고, 그 중 가장 높은 확률을 가진 클래스를 결정할 수 있다. 예를 들어, 스팸 이메일 분류 문제에서 이메일의 각 단어(특징)를 분석해 그 이메일이 스팸일 확률과 스팸이 아닐 확률을 계산한 후, 더 높은 확률을 가진 클래스로 분류할 수 있다. 

 

 

나이브 베이즈의 중요한 가정은 모든 특징들이 서로 독립적이라는 것이다. 즉, 특정 데이터의 한 특징이 주어졌을 때, 다른 특징들이 이와 무관하게 나타난다고 가정한다. 즉, P(X1,X2) = P(X1)P(X2) 가 성립한다고 전제한다. 

 

결국, 나이브 베이즈 분류기는 각 클래스 y에 대해 주어진 데이터의 특징 벡터 x1,x2,...,xn 이 발생할 확률을 다음과 같이 계산해낸다.

 

 

동일한 feature 에 대해서 클래스 확률을 계산하는 것이므로 어짜피 분모는 같을 것이기에 계산하여

클래스 확률을 비교할 때에는 크게 의미가 없기에 분모는 버리고 분자값만 계산한다.

라플라스 스무딩(Laplace Smoothing)

특정 클래스에서 어떤 특징이 한 번도 등장하지 않았을 경우, 해당 확률 P(xi | y) 는 0이된다. 

이는 해당 단어(특징)이 포함되었다는 이유만으로 전체 확률을 0으로 만들어버리는 문제를 일으킬 수 있다. 

 

이를 방지하기 위해 라플라스 스무딩을 적용하며, 라플라스 스무딩은 한 클래스에 속하는 어떤 특성의 등장 횟수에 1을 더해

확률이 0이 되지 않도록 조정하는 방법이다.

 

스무딩이 적용된 확률 계산은 다음과 같이 나타낼 수 있다.

 

 

여기서 V는 전체 특성의 개수를 의미한다. 즉, x1, ... , xi 까지의 주어진 모든 특성들에 대하여 샘플을 하나씩 더한다고 가정하므로,

더해준 샘플의 개수만큼 전체 샘플의 개수를 늘리는 원리이다.

 

나이브 베이즈 분류기의 단계

1. 훈련

 

- 훈련 데이터에서 각 클래스(예: 스팸/비스팸)에 대한 사전 확률 P(Class) 를 계산

- 각 클래스별로 각 특징이 등장할 확률 P(Feature∣Class) 을 계산

 

2. 예측 

 

- 주어진 새로운 데이터(예: 이메일)에 대해 각 클래스에 속할 확률을 계산

=> 즉, 베이즈 정리를 사용하여 각 클래스에 속할 사후 확률 P(Class∣Features)를 계산

- 가장 높은 사후 확률을 가진 클래스를 선택하여 해당 데이터의 클래스를 예측

 

P(Class | Features) 를 계산하기 위해서는 다음 공식을 활용해주면 된다. 

 

 

특징 벡터의 각 특징에 대한 확률을 곱하는 과정에서 매우 작은 값들이 계속 곱해지기 때문에, 값이 너무 작아져 언더플로우(underflow) 문제가 발생할 수 있다. 이를 방지하기 위해 로그 변환을 사용하여 곱셈을 덧셈으로 변환할 것이다. 

 

 

나이브 베이즈 분류 알고리즘 적용 예시

 

예를 들어, 다음과 같은 데이터셋이 존재한다고 해보자. 그리고 우측과 같은 Test Sample 에 대하여

좋아할지(Liked) 아닐지(Not Liked) 분류해야한다.

 

 

즉, 우리는 P(Like | Type=Comedy, Length=Medium ) 일 확률과 P( Not Liked | Type=Comedy, Length=Medium ) 일 확률을 각각 구하여 더 높은 확률 지닌 클래스로 해당 메일을 분류하게 된다. 

 

이 때, 앞서 배웠던 베이즈 정리를 활용한다. 

 

실수로 Liked 를 Spam 으로 잘못 적었는데 양해 부탁드려요..ㅎㅎㅎ

 

Not-Like 일 경우도 동일한 공식을 써서 구해주면 된다. 

 

이 수식의 값을 계산하기 위해서 미리 다음의 값들을 계산해둘 것이다.

 

- 각 클래스에 대한 사전 확률 P(Class) : P(Liked), P(Not Liked)

- 각 클래스별로 각 특징이 등장할 확률 P(Feature∣Class)  : P(Comedy | Liked), .... , P(Long | Not Liked )

 

 

 

그리고 예측할때에는 이 값들을 활용하여 주어진 공식에 대입해주기만 하면 된다. 

 

Liked일 확률

 

 

Not Liked일 확률

 

따라서 P(Liked | Feature) = 0.15 > P(Not Liked | Feature) = 0.04 

Liked 할 확률 > Not Liked 할 확률 이므로 Type=Comedy, Length=Medium  특성을 지닌 샘플은 Liked로 분류된다.

목표

이제 본 이론을 바탕으로 나이브 베이즈(Naïve Bayes) 알고리즘과 SVM을 사용하여 스팸 분류기를 구현할 것이다.

이메일주소(EMAILADDR), 웹주소(HTTPADDR), 통화(DOLLAR), 숫자들(NUMBER) 을 특별한 토큰으로 정의하고 분류 과정에 적절하게 고려되도록 할 것이다. 본 문제에서 우리는 "words" 대신 "tokens"이라는 용어를 사용할 것인데, 그 이유는 일부 특징들이 EMAILADDR과 같은 특수 값에 해당하기 때문이다.

데이터셋

 

우리가 고려할 토큰의 집합, 즉 어휘는 중간 빈도에 속하는 토큰들로만 구성되어 있다. 직관적으로, 너무 자주 발생하거나 너무 드물게 발생하는 토큰들은 분류에 큰 의미가 없다고 판단되기 때문이다. 예를 들어, "the", "and", "of" 같은 단어들은 너무 많은 이메일에서 너무 자주 등장하며, 그 자체로는 특정 콘텐츠와 관련이 없으므로 모델링할 가치가 없다. 또한 "price", "prices", "priced"와 같은 단어들은 "price"로 대체되어 동일한 단어로 처리되도록 하였다. 사용된 토큰의 목록은 아래와 같은 TOKENS_LIST 파일에서 확인할 수 있다.

 

hw2_TOKENS_LIST.txt

0.01MB

1 abil
2 absolut
3 abus
4 access
5 accid
6 accord
7 account
8 accur
9 act
10 action
11 actual
12 ad
13 addition
14 address
15 administr
16 admit
17 adult
18 advanc
19 advantag
20 advert
21 advertis
22 advic
23 ae
24 affect
25 affili
26 afford

 

MATRIX.TRAIN 파일에는 이미 원시 이메일 메시지에서 추출된 특징 벡터들이 포함되어 있다.

이는 이는 문서-단어 행렬 (Document-Term Matrix, DTM)로, 텍스트 분류에 사용된다. 문서-단어 행렬이란,

다수의 문서에서 등장하는 각 단어들의 빈도를 행렬로 표현한 것을 말하며, i번째 행은 i번째 문서/이메일을 나타내고,

j번째 열은 j번째 고유 토큰을 나타낸다. 따라서 이 행렬의 (i, j) 항목은 i번째 문서에서 j번째 토큰이 발생한 횟수를 의미한다.

 

MATRIX.TRAIN

DOC_WORD_MATRIX_TRAIN
200 1448
abil absolut abus access accid accord account accur act action actual ad addition address administr admit adult advanc advantag advert advertis advic ae affect affili afford afraid ag against agenc agent ago agreem air al alert almost alon alt altern although alwai amaz america american amherst anim announc annual anonym answer anti anumb anybodi anymor anyth anytim anywai anywher aol apolog apologi appar appl appli applic appreci approach apr april area aren argu argum arial arm arriv art articl associ assum atheist attach attack attain attempt attent attract auction author auto automat averag awai awar award bachelor background backup bad balanc bank bar base basebal basi basic batf bb beach beat beauti becom bed behalf behavior behind belief believ benefit besid best bet beyond bibl big bigger bike bill billion bit black blank block blood blue board bob bodi boi bold bonu book born boss boston bother bottom bought box brain branch brand break breakthrough brian bring broadcast brother brought browser btw bu budget bui build built bunch burn busi button buyer ca cabl california came campaign canada car card career carefulli carri cartridg cash catalog catch categori caus cb cd celebr cell cent center centuri certain certainli certif certifi challeng chanc channel charg charset cheap check cheer child children chip christ church citi citizen claim class classic clean clear clearli click client clinton clipper clock close club cnn co code collect colleg color com combin comfort command comment commerci commit common commun compani compar compat compet competit compil complet complex complianc compound comprehens comput concept conclusion condition conduct confer confid confidenti configur congress connect consist consolid construct consult consum continu contract contribut control conveni convent convers convinc cool copi copyright coral corpor correctli cost couldn count countri coupl cours court cover coverag crave creat creation credit crime critic cross ct cultur cure current custom customerservic cut daili dailybargainmail damag damn danger data databas dave david de dead deal dealer dear death debt decor dedic deep defens defin definit degre delet deliv deliveri demand depend deposit dept describ descript deserv design desir destruct detect devic di did didn die diet differ digit diploma directli director directori disclaim discount discov discoveri diseas disk displai distanc distribut division doctor docum dod doesn dollar domin don door doubl doubt download dr draw dream drive driver drop drug dvd earli earn earth easi easier easiest easili eat ebai econom ed edg edition edu educ effort eight electr electron elimin els elsewher em email emailaddr employ emsi en encourag encrypt end energi enforc engin england enhanc enjoi enough enterpr entertain entir environ equal equip equiti eric error especi essenti establish et ethic evalu even event ever everyth everywher evid exactli excel exchang excit exclud exclus excus execut exerc exist expand expect expens experi experienc expert expir explain express extend extens extra extrem ey face fact factor fail fair faith fall famili famou fan faq far fast faster fastest fat favorit fax fbi feder fee feedback feel field fight figur file fill final financ financi fine finish fire firm first fit fix fl flame flow fly focu folk font food forc forev forget form format formula fortun forward frame frank free freedom fri friend friendli front frustrat ftp fulli fun function fund futur ga gain game gatewai gave gear gener georg gift girl gmt goal god goe gone got gotten govern graduat grant graphic great greatest greatli ground group grow growth guarante guess gui guid gun hacker hand handl hang happen happi hard hardwar hassl hate haven head health hear heard heart heat hei height hell hello help helvetica hi higher highest highli highlight him himself histori hit hockei hold holidai home homeown honor hope host hot hous hover hp html httpaddr huge human hundr hurri ibm id idea ideal identifi idiot ignor ii iii illeg imag imagin immedi impli import imposs impress inc inch incid incom inconveni incred inde independ indic individu industri info inform ing innoc input instal instant institut instruct insur integr intellig intens interact interfac intern internet interpret interview introduc introductori invest investig investor invit involv island isn iso israel issu iti jack jame januari jesu jew jewish jim job joe john join jon journal judg jump june justic kei keyword kick kid kill kind king kit knew knock knowledg koresh la lab lack land languag larger largest late latest launch law lead leader leagu learn led legal legitim lender length letter level librari licens life light limit line link listen littl live ll lo load loan local lock log logic longer lose loss lost lot love lover low lower lowest luck lucki ma mac machin magazin mail mailbox maintain major man manag manual manufactur map march mark market mass massiv master match matter maxim maximum mayb mb mba mean measur mechan media medic medicin meet member membership memori men mention merchand merchant mere messag met method michael microsoft middl mike mile militari million mime mind mine minimum minor minut miracl mirror miss mistak mit mode model modern modifi moment mondai monei monitor monthli moral morn mortgag mostli mother motiv mount movi mr multi multipl murder muscl music muslim myself nashua nation nationwid natur nb nearli necessari necessarili neighbor neither net network news newsgroup newslett newsread nh nice night nine non none normal north norton noth notic notifi novemb nt number numberd numberk numbermb numbernd numbernumb numberpt numberpx numberrd numberst numberth ny object oblig observ obviou obvious offens offic offici oh ok old older onc onlin oper opinion opportun oppos oprah opt option orbit order organ origin otherw output outsid ov overlook owner pack packag page pai paid pain paper paragraph parent park parti particip particularli partner past pattern paul payment pc peac peopl percentag perfect period perman permiss peter phd phone physic pick pictur piec pill plai plain plan player pleasant pleasur plenti plnumber plu plug pm po polic polici polit pool poor popul popular port posit position post postal potenc potenti pound power practic pre predict premium presid press pressur pretti prevent previous price print printer privaci privat prize pro probabl product profession profil profit program progress prohibit project promis promotion proof proper properli properti protect prove proven public publish pull purchas push qualif qualifi quantiti quick quickli quit quot race radiat radio ram rang rate re reach reader readi real realiti realiz realli reason recal recent recipi recogn record recur red reduc reduct refer referr refin refinanc reflect refund refus regard regardless regist registr regul regular rel relationship releas relev reliabl religi religion rem remark rememb repair repli report repres request research resel reserv resid resolut resourc respect respond respons restrict result retail reveal revers reward rich ride right risk road rock roll rom ron room round routin rule run safe safeti sai sale sampl san satisfact satisfi saturdai saw schedul scheme school sci scienc scientif score screen se seal search season second secret section secur seek self sell sender sens sensit separ seri serif seriou serious serv server servic set setup sex sexual shall shape share ship shoot shop shot shouldn shut sick side sign signal signatur signific similar simpl simpli sincer singl sit site situat six size skeptic skill skin sleep slow smaller smart smith smoke social societi softwar sold solid solution solv somebodi someon someth sometim somewher soon sorri sort soul sound sourc sp space spam spe speak special spend spent sport spot spring st staff stai stand standard star statem station statist statu step steve stick stock stop store stori straight strategi street strength strong strongli student studi stuff stupid style subject submit subscrib subscript success suffer suit summari summer sun sundai super suppli suppos sure surpris survei suspect sweepstak switch system tabl tal talk tape target tax teach team tech technic techniqu technologi tel telephon tell ten tend term test text th thank thecompanystor themselv theori therefor third though thought thousand thread throughout throw ti ticket tim tip tire titl tm todai told toll tom took tool top topic toronto total touch tough toward track trade trademark tradition traffic trail train transact transfer travel treat treatment tri trial trick trip troubl true truli trust truth tv tx type typic ultim un understand unfortun uniqu unit univers unix unlik unlimit unsolicit unsubscrib untitl updat upgrad upon url usa usenet user usual util vacat valet valid valu valuabl vari varieti ve vehicl verif verifi version video virtual viru vision visit vital vnumber voic volum vote waco wait walk wall war warn washington wasn wast watch water weapon wear web websit weekend weekli weight welcom went west whatev wheel whenev white whole why wi width wife will win window wing winner wit woman women won wonder word work world worri wors worth wouldn write wrong wrote www ye yeah year york young younger yourself zip 
0 6 1 25 1 41 1 40 1 260 1 37 1 256 1 26 1 23 1 146 1 18 2 17 1 77 2 64 1 184 1 40 1 9 1 146 1 21 1 6 3 -1
0 78 4 77 1 214 1 18 1 22 5 58 1 27 3 5 1 50 2 2 1 230 1 39 1 40 1 39 1 31 1 47 1 39 2 1 1 19 1 63 1 207 2 103 1 18 1 2 2 7 4 1 4 -1
0 26 1 149 1 197 1 37 2 29 1 130 1 37 1 113 1 75 1 3 1 64 1 5 1 5 1 8 3 24 1 27 1 22 1 39 1 46 1 133 1 34 1 57 1 51 1 124 1 1 1 -1
0 11 3 75 1 39 1 39 1 18 1 61 1 68 1 16 2 21 1 60 1 1 1 9 1 20 2 191 1 2 1 6 1 38 1 50 1 3 1 2 1 11 1 12 1 45 1 16 1 19 1 27 1 18 4 15 1 44 2 4 1 32 1 8 1 56 1 6 1 33 1 49 2 14 1 20 1 20 1 19 1 63 1 -1
0 31 1 47 1 94 1 174 1 41 1 22 2 29 1 19 1 39 1 70 1 144

 

헤더

행 열

토큰 단어 목록

스팸메일여부(0:false, 1:true) 단어출현빈도쌍(토큰의 인덱스, 토큰의 빈도수)

 

순으로 나열되어 있다. 마지막 행이 의미하는 바를 다시 한번 살펴보면,

0 6 1 25 1 41 1 40 1 260 1 37 1 256 1 26 1 23 1 146 1 18 2 17 1 77 2 64 1 184 1 40 1 9 1 146 1 21 1 6 3 -1

 

위와 같은 데이터가 있다고 가정했을 때, 첫번째 열인 0 은 스팸메일여부(0=false) 를 의미한다. 나머지 열들에 대해서는 

두 값씩 묶어서 첫째는 토큰의 인덱스, 둘째는 토큰의 빈도수를 나타내게된다.

즉, 6 1 -> 6번 토큰의 빈도수가 1, 25 1 -> 25번 토큰의 빈도수가 1 ... 이런식으로 해석하면 된다.

목표

 

- 나이브 베이즈 분류기(naïve Bayes classifier)를 사용하여 스팸 분류기(spam classifier)를 구현한다.

- 이때, 다항 사건 모델(multinomial event model)과 라플라스 스무딩(Laplace smoothing)을 사용할 것이다.

 

구현

매개변수를 학습한 다음( 예측에 필요한 사전 값 마련 ),

이 매개변수를 사용하여 테스트 세트 데이터(MATRIX.TEST)를 분류하는 코드를 완성할 것이다.

 

라이브러리 불러오기

import matplotlib.pyplot as plt
import numpy as np

 

 

훈련 파일 읽고 문서-단어 행렬 만들기 

def readMatrix(file):
    fd = open(file, 'r') # 파일의 첫 줄은 헤더로 무시
    rows, cols = [int(s) for s in fd.readline().strip().split()] # 행의 개수(문서 수)와 열의 개수(토큰 수)
    tokens = fd.readline().strip().split() # 문서에 포함된 토큰(단어)들의 리스트 저장
    matrix = np.zeros((rows, cols)) # 크기가 (rows, cols)인 영행렬(zero matrix)을 생성
    Y = [] # 레이블을 저장할 빈 리스트 Y를 초기화
    
    for i, line in enumerate(fd):
        nums = [int(x) for x in line.strip().split()]
        Y.append(nums[0]) # 이 문서의 레이블(1: 스팸, 0: 스팸 아님) 추가
        kv = np.array(nums[1:])
        
        # 슬라이싱 구문 array[start:stop:step] 활용하여 key, value 구분
        k = np.cumsum(kv[:-1:2]) # 짝수 인덱스 부분, 즉 토큰의 인덱스를 추출 
        v = kv[1::2] # 홀수 인덱스 부분, 토큰의 빈도수를 추출
        matrix[i, k] = v # 현재 문서(i)에서 추출한 토큰의 인덱스(k)에 해당하는 열에 그 토큰의 빈도수(v)를 저장.
    return matrix, tokens, np.array(Y)

 

 

결과

 

- matrix : i(특정 문서), j(j번째 인덱스의 토큰 출현 빈도) 를 저장하는 문서-단어 행렬

[0]	[1]	..	[1447]
0	1	3	1
0	2	5	0

 

- Y : i번째 문서가 스팸메일(1) 인지 아닌지(0) 저장된 1차원 배열 생성

0

1

1

..

0

 

모델 훈련

 

주어진 훈련 데이터를 기반으로 나이브 베이즈 분류기에 필요한 확률값을 계산한다. 이 때, 라플라스 스무딩도 적용한다.

 

우리가 미리 계산해두어야 하는 값들은 다음과 같다. 

 

- P(Spam), P(Not Spam)

- P( xi | Spam ) i = 1 ~ 1448

- P( xi | Not Spam ) i = 1 ~ 1448

 

def nb_train(matrix, category):
    state = {}
    N = matrix.shape[1]  # 전체 특성(토큰)의 개수
  

    # 각 클래스에 속하는 문서 수
    spam_count = np.sum(category)  # 스팸 문서 수 (레이블이 1인 경우)
    not_spam_count = len(category) - spam_count  # 스팸이 아닌 문서 수 (레이블이 0인 경우)

    # 사전 확률 P(spam) 및 P(not_spam)
    P_spam = spam_count / len(category)
    P_not_spam = not_spam_count / len(category)

    # 스팸과 비스팸 문서에서 토큰이 등장한 횟수를 구함
    token_counts_spam = np.sum(matrix[category == 1], axis=0)   # 스팸 문서에서 각 토큰이 등장한 횟수 
    token_counts_not_spam = np.sum(matrix[category == 0], axis=0)  # 비스팸 문서에서 각 토큰이 등장한 횟수

    # 라플라스 스무딩을 적용하여 조건부 확률 P(token|spam) 및 P(token|not_spam) 구하기 
    P_token_given_spam = ( token_counts_spam + 1 ) / ( spam_count + N )
    P_token_given_not_spam = ( token_counts_not_spam + 1 ) / ( total_tokens_not_spam )

    # 학습된 상태를 저장
    state['P_spam'] = P_spam
    state['P_not_spam'] = P_not_spam
    state['P_token_given_spam'] = P_token_given_spam
    state['P_token_given_not_spam'] = P_token_given_not_spam

    return state

 

matrix[category == 1] 를 통해 본 matrix 에서 스팸으로 라벨링 된 메일만 필터링한다. 

axis=0, 즉 열 방향에 대하여 누적합을 계산함으로서 스팸 메일 중에서 해당 i번째 단어가 나타나는 총 빈도를 계산해낼 수 있다.

 

결과 

 

- token_counts_spam : xi  ∩ Spam , 스팸 메일 중에서 특정 인덱스의 단어가 등장한 총 횟수 

[0]	[1]	[2]
0	5	6	7

 

 

- token_counts_not_spam : xi ∩ Not Spam , 스팸이 아닌 메일 중에서 해당 단어가 등장한 총 횟수 

[0]	[1]	[2]
0	13	14

 

 

-  P_token_given_spam : P( xi | Spam )

[0]	[1]	[2]	[3]	...
0	0.33	0.55	0.03

 

 

-  P_token_given_spam : P( xi | Not Spam )

[0]	[1]	[2]	[3]	...
0	0.13	0.34	0.17

 

 

예측 

훈련된 모델의 확률을 사용하여 각 문서가 스팸인지 아닌지를 예측한다.

def nb_test(matrix, state):
    output = np.zeros(matrix.shape[0])  # 예측 결과 저장

    # 사전 확률과 조건부 확률 불러오기
    P_spam = state['P_spam']
    P_not_spam = state['P_not_spam']
    P_token_given_spam = state['P_token_given_spam']
    P_token_given_not_spam = state['P_token_given_not_spam']

    # 각 문서에 대해 스팸 여부를 예측
    for i in range(matrix.shape[0]):
        # 각 문서의 토큰 빈도
        doc = matrix[i]

        # 로그 확률을 계산하여 언더플로우 방지
        log_prob_spam = np.log(P_spam) + np.sum(np.log(P_token_given_spam) * doc)
        log_prob_not_spam = np.log(P_not_spam) + np.sum(np.log(P_token_given_not_spam) * doc)

        # 더 높은 로그 확률을 가진 클래스로 예측
        if log_prob_spam > log_prob_not_spam:
            output[i] = 1  # 스팸으로 분류
        else:
            output[i] = 0  # 스팸이 아닌 것으로 분류

    return output

 

 

여기서 확률을 구할 때 조금 혼란스러울 수 있는 점은 기존 예제와는 조금 다르게

각 문서의 특성에 해당하는 값들이 단순히 그 특성을 가지고 있다, 가지고 있지 않다로 판별되는 것이 아니라

특성이 나타나는 횟수를 기록하고 있었다는 점이다.

 

이러한 상황에서는 각 토큰의 조건부 확률 P(token_i | spam)을 토큰 등장 빈도수만큼 거듭 제곱해줄 것이다.

 

예를 들어 어떤 문서에서 a=3, b=4 일 때의 스팸 확률을 구한다면

P(Spam) * P( a | Spam ) ^ 3 * P( b | Spam )^4 를 구해주는 셈이다.

 

따라서 우리는 doc, P_token_given_spam 를 가지고 다음과 같이 계산을 수행할 수 있다.

 

doc: Matrix[i], i번째 샘플의 단어 행렬

[0]	[1]	[2]	..	[1447]
0	1	3	..	1

 

 

P_token_given_spam : P( xi | Spam )

[0]	[1]	[2]	[3]	...
0	0.33	0.55	0.03

 

 

결과 : P_token_given_spam ^ doc 

[0]	[1]	[2]	[3]	...
0	0.33^1	0.55^3	0.03^3

 

 

즉, 최종적으로는 이 행렬의 값들을 모두 곱해서 P(token_i | spam) 를 구해내게 된다.

 

 

 

⚠️ 주의할점 ‼️

이때 주의해야할 점은 나이브 베이즈를 기본적으로 구현하면 종종 계산된 값이 0이 된다는 것이다.
이는, 1보다 작은 확률들이 계속 곱해지는 것이 매우 작은 값이 되기 때문이다.
표준 컴퓨터의 실수 표현은 너무 작은 값을 처리할 수 없고, 대신 이를 0으로 반올림한다. ( 언더플로우(underflow) )
너무 작은 숫자들을 명시적으로 표현하지 않고 나이브 베이즈의 예측된 클래스 레이블을 계산할 방법을 찾아야한다.
따라서 이를 해결하기 위해서 로그를 사용하여 곱셈을 덧셈으로 변환하여 계산할 필요가 있다. 

 

 

언더플로우를 고려하여 로그를 적용하면 로그의 성질에 의하여

다음과 같이 빈도 행렬의 값인 doc 이 상수로 앞에 빠져나오게 되고

 

 

 

로그를 취해 확률을 일반화하면 다음과 같은 공식이 나온다. 

 

이를 실제 코드로 구현한 결과는 다음과 같다.

log_prob_spam = np.log(P_spam) + np.sum(np.log(P_token_given_spam) * doc)

 

 

모델 학습 및 평가 

def evaluate(output, label):
    error = (output != label).sum() * 1. / len(output)
    print('Error: %1.4f'%error)

def main():
    # Please set a training file that you want to use for this run below
    trainMatrix, tokenlist, trainCategory = readMatrix('./data/hw2_MATRIX.TRAIN')
    testMatrix, tokenlist, testCategory = readMatrix('./data/hw2_MATRIX.TEST')

    state = nb_train(trainMatrix, trainCategory)
    output = nb_test(testMatrix, state)

    evaluate(output, testCategory)
    return

if __name__ == '__main__':
    main()

 

 

실행 결과

Error: 0.0600

 

0.06 정도의 에러율을 보이며, 100개 중에 94개는 제대로 분류해내는 것을 확인할 수 있다.

 

어떤 토큰이 스팸을 구별하는데 가장 변별력 있을까?

 

스팸과 비스팸을 구별하는 데 가장 중요한 토큰 5개를 찾을 것이다. 따라서 각 토큰이 스팸 클래스에서 얼마나 중요한지(특징이 되는지)를 나타내는 값을 계산하고, 가장 큰 값을 가진 5개의 토큰을 선택할 것이다. 

 

이를 위하여 주어진 수식을 기반으로 로그 우도비(Log-likelihood ratio)를 계산한다. 

 

 

위의 수식을 코드에 반영하여, 토큰의 확률을 스팸과 비스팸에서 비교하는 로그 확률을 구한 다음, 그 값을 정렬하여

스팸을 변별하는 상위 5개의 토큰을 찾을 수 있다.

 

# Spam 과 Not Spam 을 구분하는 상위 n개의 토큰 찾기
def findTopToken(top_n,state,tokens):

    P_token_given_spam = state['P_token_given_spam']
    P_token_given_not_spam = state['P_token_given_not_spam']

    # 각 토큰에 대한 로그 우도비(log-likelihood ratio)를 계산
    log_likelihood_ratio = np.log(P_token_given_spam) - np.log(P_token_given_not_spam)

    # 로그 우도비가 가장 큰 상위 top_n개의 토큰을 찾음
    top_token_indices = np.argsort(log_likelihood_ratio)[-top_n:][::-1]

     # 상위 top_n개의 토큰과 그 값을 출력
    print(f"== Top {top_n} tokens most indicative of SPAM ==\n")
    for idx in top_token_indices:
        print(f"Token: {tokens[idx]}, Log-Odds Ratio: {log_likelihood_ratio[idx]:.4f}")

 

결과

html, space, unsolicit, eat, vacat 가 스팸을 변별하는 Top 5 키워드로 선별되었다. 

 

 

학습 곡선(Training Set Size vs Test Error)

다양한 크기의 훈련 세트를 사용하여 모델을 학습하고, 그에 따라 테스트 세트에서의 오류율을 계산하여 학습 곡선(learning curve)을 그릴 것이다. 훈련 세트의 크기는 50, 100, 200, ... 최대 1400까지 주어지며, 각각의 훈련 세트에 대해 학습을 진행한 후 테스트 세트에서의 오류율을 계산한다.

 

    # 훈련 세트 크기별로 파일을 읽고 학습 후 오류율 계산
    training_set_size = [50, 100, 200, 400, 800, 1400]
    test_errors = []
    for size in training_set_size:
        trainMatrix, tokenlist, trainCategory = readMatrix(f'./data/hw2_MATRIX.TRAIN.{size}')
        state = nb_train(trainMatrix, trainCategory)
        output = nb_test(testMatrix, state)
        error = evaluate(output, testCategory)
        test_errors.append(error)

 

def plotLearningCurve(train_sizes, test_errors):

    plt.plot(train_sizes, test_errors, marker='o', color='b')
    plt.title('Learning Curve (Training Set Size vs Test Error)')
    plt.xlabel('Training Set Size')
    plt.ylabel('Test Error')
    plt.grid(True)
    plt.show()

 

 

결과

 

훈련세트의 크기가 400일 때 가장 낮은 오차율을 보이는 것을 확인할 수 있다.