[DA][Python] 카카오톡 대화 내용 데이터 전처리하기 (1)

개요

카카오톡 채팅방의 대화 내용을 다운로드 한 후, 대화 내용을 분석하여 유의미한 결과를 도출할 수 있도록 데이터를 전처리한다.

 

최종 결과

데이터를 전처리했을 시, 최종적으로 출력되는 결과값은 아래와 같다.

나는 가족들 단톡 내용을 추출했다

 

요구사항

1. 카카오톡 채팅방에서 텍스트 파일을 불러온다

2. 불러온 텍스트 파일을 라인별로 읽는다 

3. 원본 데이터 파일에는 시간이 오전, 오후로 적혀있으므로 12시간 형식을 24시간 형식으로 변경하는 함수를 생성한다.

4. 데이터에서 결과 프레임에 필요한 요소들을 나눠서 추출하기 위해서 처리를 진행한다.

5. 데이터 프레임을 생성하여 원하는 순서에 맞춰서 출력한다.

 

카카오톡 채팅방의 텍스트 파일 불러오기

PC 카카오톡에 들어가서 텍스트를 추출하고 싶은 카톡방에 접속하여 "대화 내보내기"를 클릭한다.

위의 사진대로 대화 내보내기를 클릭하면 대화 내용들을 시간대별로 텍스트로 출력할 수 있다.

우선 위의 텍스트 파일을 알맞은 이름으로 저장하고, 텍스트 파일의 경로를 복사해둔다.

 

원본 데이터 읽기

원본 데이터에서 서로 다른 형식을 가진 라인 두개를 가져와서 확인한다.

--------------- 2023년 3월 24일 금요일 ---------------

[아빵] [오후 2:16] 🍊 삶의 교훈

아버지가 3월 24일 금요일 오후 2시 16분에 보낸 메시지이다.

최종 결과를 보면 데이터 프레임의 columns에 들어가야 할 내용은 아래와 같다.

Year	Month	Day	Day_of_Week	Time	Name	Message
2023	03	24	금요일	14:16	아빵	🍊 삶의 교훈

• 여기서 그대로 가져올 수 없는 내용은 Time이다. 원본 데이터에는 오전/오후가 입력되어있으며 12시간 기준으로 시간이 적혀있지만, 최종 출력값에서 원하는 건 24시간 형식이다. 그렇기 때문에 전처리 코드를 형성할 때 시간을 처리하는 함수를 생성해야 한다.

 

텍스트 파일 라인별로 읽기

우선, 데이터프레임으로 만들어줘야하기 때문에 pandas 라이브러리를 사용한다.

import pandas as pd

 

텍스트 파일의 경로를 복사하고 해당 경로에 맞게 파일을 읽어야 한다.

텍스트 파일의 경로를 하나의 변수에 입력한 후, 파일을 여는 함수를 사용하여 읽은 후 라인별로 저장한다.

with open(kakao_file, 'r', encoding='utf-8') as file:
    lines = file.readlines()

 

 

시간 표시 형식 변환 함수 생성

우선 해당 함수를 생성하기 전에 어떤 함수를 생성해야 하는지에 대해 생각해보아야 한다.

24시간 형식으로 변환하는 것이기 때문에 함수명을 covert_to_24hr로 짓는다.

def covert_to_24hr(time_str) :

함수가 호출될 때 전달되는 값을 받기 위해 인수인 time_str을 삽입한다.

여기서 time_str로 인수명을 지정한 이유는 원본 데이터에서 '오전', '오후' 부분의 문자열이 포함된 인수를 의미하고 해당 문자를 삭제한 후에 time이라는 변수를 지정한다.

 

원본 데이터를 보고 생각해보자. 원본 데이터 형식은 [오후 2:16] 이다.

먼저 오전, 오후 글자를 삭제해야 한다.

replace 함수를 활용하여 오전, 오후 문자를 공백으로 바꿔준다.

if '오전' in time_str :
	time = time_str.replace('오전', '')
elif '오후' in time_str :
	time = time_str.replace('오후', '')

• 오전과 오후를 나눈 이유는 오전은 문자를 생략만 하면 되지만, 오후는 시간 + 12를 해야 24시간 형식으로 변환할 수 있기 때문이다.
• 위의 코드를 거친 이후에 데이터 상태는 아래와 같다

[오후 2:16] -> [ 2:16]

 

그렇다면 오후에서 시 : 분 중, 시간 즉 hours에만 12를 더하기 위해서는 hours와 minutes 변수를 다시 지정해줘야 한다.

(여기서 간과하면 안되는 것은 오전 12시는 00시이기 때문에 이 부분도 처리해줘야 한다.)

우선 위의 함수에서 hours와 minutes를 먼저 나누는 코드를 추가하자

나누는 함수는 split을 사용할 수 있다.

if '오전' in time_str :
	time = time_str.replace('오전', '')
    hours, minutes = map(int, time.split(':'))
elif '오후' in time_str :
	time = time_str.replace('오후', '')
    hours, minutes = map(int, time.split(':'))

• 데이터에서 :를 기준으로 hours와 minutes를 정의해준다

hours = 2
minutes = 16

 

이제 오전에서는 12 숫자는 0으로, 오후는 12를 제외하고는 모두 12를 더하는 코드를 작성한 후, hours와 munites이 2자리 수로 반환되는 코드를 추가해준다.

if '오전' in time_str :
	time = time_str.replace('오전', '')
    hours, minutes = map(int, time.split(':'))
    if hours == 12:#오전 12시를 00시로
    	hours = 0
elif '오후' in time_str :
	time = time_str.replace('오후', '')
    hours, minutes = map(int, time.split(':'))
    if hours != 12:#오후 12시가 아니라면 12를 더하도록
    	hours += 12
 return f"{hours:02}:{minutes:02}"

• 여기까지 했을 때 반환되는 값은 아래와 같다

14:16

 

---

위와 같이 시간을 변환하는 함수를 작성했으므로 다음 글에서 데이터 프레임에 맞게 데이터를 처리하고 출력하는 함수를 작성해보려한다.