[DA][Python] 카카오톡 대화 내용 데이터 전처리하기 (2)

카카오톡 대화 내용 데이터 전처리하기 (1) 살펴보기

[Python] 카카오톡 대화 내용 데이터 전처리하기 (1)

 
앞선 글을 이어서 이번에는 데이터를 처리하는 과정에 대해 알아볼 것이다.
우선 데이터 프레임을 만들기 전에, 데이터를 리스트 형식으로 삽입할 수 있도록 빈 리스트 변수를 정의한다.

data = []

 

Year, Month, Day, Day_of_Week 데이터 처리

가장 먼저 날짜를 나타내는 year, month, day, weekday 함수를 가져와서 current_date라는 변수를 만든다.
그러기 위해서는 원본 데이터를 먼저 살펴본다.

--------------- 2023년 3월 24일 금요일 ---------------

원본 데이터는 위와 같으며 내가 출력해야 할 값은 아래와 같다

Year = 2023
Month = 03
Day = 24
Day_of_Week = 금요일

그러기 위해서는 '-'와 공백을 삭제하고 가져오고싶은 데이터만 추출하여 변수에 정의해야 한다. 
먼저 위와 같은 문자를 데이터에서 찾는 함수를 for 반복문을 활용하여 처리한다.

for line in lines:
    line = line.strip()

• 처음에 파일을 라인별로 읽어내도록 정의한 변수 lines를 가져와서 각 줄을 나타낼 수 있는 변수 line을 정의한다.
• 또한 line을 읽을 때 공백을 없애서 읽어낼 수 있도록 strip()함수를 사용한다. 

 
우선 날짜 형식부터 찾는다. 날짜 형식은 ------------------- 로 시작하고 '년', '월', '일' 이라는 문자가 포함되어 있다.

if line.startswith('---------------') and '년' in line and '월' in line and '일' in line:

 
위에서 날짜 형식에 맞는 라인을 찾았다면 거기서 각 날짜 형식 데이터를 추출한다.
우선 리스트 형식으로 각 데이터를 정의하기 위해 split을 사용한다. 그리고 strip을 사용하여 하이픈 데이터를 삭제하면 공백을 기준으로 데이터를 나눌 수 있다.

parts = line.strip('- ').split(' ')
        year = parts[0][:-1]  # 'YYYY년'에서 'YYYY' 추출
        month = parts[1][:-1]  # 'M월'에서 'M' 추출
        day = parts[2][:-1]  # 'D일'에서 'D' 추출
        current_weekday = parts[3] #요일에서 요일 추출

• 각 부분을 [:-1]까지만 정의하는 이유는 문자 '년', '월', '일'이 포함되지 않도록 하기 위해서이다.
  • 요일은 모든 문자가 다 추출되어야 하기 때문에 따로 조건을 입력하지 않았다.

 
 year, month, day를 포함해서 current_date라는 변수를 정의한다.
월(month)과 일(day)는 한 자리 숫자여도 두 자리로 출력되어야 하므로 zfill(2)를 사용하여 정의한다. 
(zfill은 문자열 메서드로 문자열의 길이가 지정된 길이(2)보다 짧을 경우, 앞에 '0'을 추가한다.)

        current_date = f"{year} {month.zfill(2)} {day.zfill(2)}"

 

Name, Time, Message 데이터 처리

날짜 아래에 대화 내용의 데이터 원본을 가져오면 아래와 같다.

[아빵] [오후 2:16] 🍊 삶의 교훈

여기서 데이터를 처리한 후에는 아래와 같아야 한다.

Name = 아빵
Time = 14:16
Message =🍊 삶의 교훈

 
우선 날짜 데이터와 같은 방식으로 메시지 형태의 데이터를 찾아야 한다. (해당 데이터도 for문 안에서 정의된다.)
모든 텍스트의 공통적인 부분이 대괄호(' [ ] ') 기호이므로 해당 기호가 포함된 라인을 찾는다.

    elif line.startswith('[') and '] [' in line:

 
메시지는 형식에 맞지 않는 라인이 있을 수도 있으니 try 함수를 사용하여 에러를 사전에 방지한다.
(만약 try, expect 함수를 쓰지 않으면 아래와 같은 오류가 발생한다.)

Traceback (most recent call last):
  File "c:\Users\wkdtj\OneDrive\desktop\signlab\family-kakao.py", line 58, in <module>
    time, message = rest.split('] ', 1)
    ^^^^^^^^^^^^^
ValueError: not enough values to unpack (expected 2, got 1)

 
우선 작성한 사람 먼저 추출한다.

            name, rest = line.split('] [', 1)
            name = name[1:]  # 앞의 '[' 제거

위의 방식을 거친 이후에 출력되는 데이터는 아래와 같다

name = 아빵
rest = 오후 2:16] 🍊 삶의 교훈

• ' ] [ ' 를 기준으로 구분했기 때문에 name과 rest가 나누어졌으며, name은 [아빵 에서 1부터 추출이기 때문에 [0] 인덱스 값인 ' [ ' 를 제거하고 추출된다.

 
rest에서 time과 message 또한 같은 방식으로 나눠서 추출한다.

            time, message = rest.split('] ', 1)
            time_24hr = convert_to_24hr(time)  # 시간을 24시간 형식으로 변환

• 여기서 추출된 time은 2:16이고, 이를 24시간 형식으로 변환하여 출력하기 위해 앞서 작성한 covert_to_24hr 함수를 활용한다.
• 그럼 최종 출력되는 데이터는 아래와 같다.

Name = 아빵
Time = 14:16
Message =🍊 삶의 교훈

 
데이터 처리가 완료되면 data 리스트에 데이터들을 추가해야 한다. 
current_date가 포함되어있는 data만 추가되도록 아래와 같이 if문과 append 함수를 써서 추가해준다.

if current_date:  # 현재 날짜가 있는 경우에만 추가
                data.append([current_date, time_24hr, name, message, current_weekday])

 
그리고 마지막으로 try를 썼으니 예외가 되었을 때의 처리 방식을 expect로 정의해주며 코드를 마무리한다.

        except ValueError:
            continue  # 형식에 맞지 않는 라인은 건너뜀

 
이제 데이터 프레임을 생성해준다.

df = pd.DataFrame(data, columns=['Date', 'Time', 'Name', 'Message', 'Day_of_Week'])

• 지금까지 만들었던 Date, Time, Name, Message, Day_of_Week을 columns로 추가해주고 data 리스트를 pandas 함수를 이용하여 DataFrame으로 생성한다.
• 위에 append에 넣었던 순서에 맞춰서 columns를 입력해줘야 한다.

 
여기서 Date를 그대로 출력하면 2023 3 24 로 출력되기 때문에 Year, Month, Day로 구분해서 데이터 프레임을 정의한다.
그리고 현재는 문자열이기 때문에 숫자로 출력될 수 있도록 type을 int로 변경해준다.

df['Year'] = df['Date'].str.split(' ').str[0].astype(int)
df['Month'] = df['Date'].str.split(' ').str[1].astype(int)
df['Day'] = df['Date'].str.split(' ').str[2].astype(int)

 
이제 원하는 순서대로 columns가 출력될 수 있도록 순서를 지정하고 출력하면 처음에 출력하고자 한 값대로 출력할 수 있다.

# 컬럼 순서 변경
df = df[['Year', 'Month', 'Day', 'Day_of_Week', 'Time', 'Name', 'Message']]

# 데이터프레임 출력
print(df.head(10))

 

최종 출력값

 

---

데이터를 프레임으로 변경했기 때문에 이후에 텍스트를 분석하여 채팅방에서 가장 많이 대화한 사람과 같이 알고싶은 정보를 출력하는 데 활용할 수 있다.