[DA][Python] (1차 설계) 카카오톡 대화 데이터 전처리 코드 수정 설계 (완성본 X)

• 이전 글 살펴보기

• 기존 작성 코드

• 코드 설계

• 1. Date 출력 함수

• 2. Time 출력 함수

• 3. Name 출력 함수

• 4. Message 출력 함수

• 5. 데이터 리스트에 데이터 추가 함수

• 6. 데이터프레임화 

• 생성해야 하는 함수 요약 및 순서 정리

 

결론부터 말하자면 아래처럼 설계한 코드에서 오류가 많이 나고 함수를 너무 많이 나눴으며 함수명이 모호하다는 피드백을 받아 2차 설계로 다시 코드를 작성하였다.

---

이전 글 살펴보기

카카오톡 대화 내용 데이터 전처리하기 (1)

[DA][Python] 카카오톡 대화 내용 데이터 전처리하기 (1)

카카오톡 대화 내용 데이터 전처리하기 (2)

[DA][Python] 카카오톡 대화 내용 데이터 전처리하기 (2)

 

 

기존 작성 코드

  

    
    
    
    
  
import pandas as pd

# 텍스트 파일 경로
kakao_file = "C:/Users/wkdtj/OneDrive/desktop/kakao2-data.txt"

# 파일 읽기
with open(kakao_file, 'r', encoding='utf-8') as file:
    lines = file.readlines()

data = []
current_date = None
current_weekday = None

#시간 변환 함수 (오전, 오후 => 오전 없애고 오후에 +12)
def convert_to_24hr(time_str):
    if '오전' in time_str:
        time = time_str.replace('오전 ', '')
        hours, minutes = map(int, time.split(':'))
        if hours == 12:  # 오전 12시는 00시로 변환
            hours = 0
    elif '오후' in time_str:
        time = time_str.replace('오후 ', '')
        hours, minutes = map(int, time.split(':'))
        if hours != 12:  # 오후 12시는 그대로 두고, 나머지는 12를 더함
            hours += 12
    return f"{hours:02}:{minutes:02}"

# 데이터 처리
for line in lines:
    line = line.strip()
    
    # 날짜 형식: "--------------- YYYY년 M월 D일 요일 ---------------"
    if line.startswith('---------------') and '년' in line and '월' in line and '일' in line:
        parts = line.strip('- ').split(' ')
        year = parts[0][:-1]  # 'YYYY년'에서 'YYYY' 추출
        month = parts[1][:-1]  # 'M월'에서 'M' 추출
        day = parts[2][:-1]  # 'D일'에서 'D' 추출
        current_weekday = parts[3] #요일에서 요일 추출
        current_date = f"{year} {month.zfill(2)} {day.zfill(2)}"
        

    # 대화 형식: "[보낸 사람] [시간] 메시지"
    elif line.startswith('[') and '] [' in line:
        try:
            sender, rest = line.split('] [', 1)
            name = sender[1:]  # 앞의 '[' 제거
            time, message = rest.split('] ', 1)
            time_24hr = convert_to_24hr(time)  # 시간을 24시간 형식으로 변환
            if current_date:  # 현재 날짜가 있는 경우에만 추가
                data.append([current_date, time_24hr, name, message, current_weekday])
        except ValueError:
            continue  # 형식에 맞지 않는 라인은 건너뜀


#데이터프레임 생성
df = pd.DataFrame(data, columns=['Date', 'Time', 'Name', 'Message', 'Day_of_Week'])

# 날짜와 시간을 분리
df['Year'] = df['Date'].str.split(' ').str[0].astype(int)
df['Month'] = df['Date'].str.split(' ').str[1].astype(int)
df['Day'] = df['Date'].str.split(' ').str[2].astype(int)

# 컬럼 순서 변경
df = df[['Year', 'Month', 'Day', 'Day_of_Week', 'Time', 'Name', 'Message']]

# 데이터프레임 출력
print(df)

기존에 작성한 코드는 위와 같았다.

돌아온 피드백은 사용한 함수가 한 개이기 때문에 코드의 재사용성이 떨어지며 정의한 내용이 간결하지 않아서 아쉬웠다는 점이다.

 

그래서 새롭게 코드를 설계하고 그 방식대로 가볼 생각이다. 지금 설계하는 코드도 틀릴 수 있기 때문에 만약 오류가 발생한다면 글이 올라가지 않을지도 🥲

 

코드 설계

• 사실 초반의 설계는 데이터프레임화 한 후에 함수를 형성하려 했는데 아직 부족한 지식이 많아서 나에겐 어려운 과정이었다. 여러가지 오류가 발생하고 함수를 생각하고 코드를 짜는 부분에서도 어려움이 많았으며, 아무래도 처음 생각한 방법이 데이터를 라인별로 정제하고 프레임화하는 과정이었다보니 생각의 과정을 바꾸는 것도 어려운 것 같아서 다시 for문을 사용하여 라인별로 확인하되 그 내에 함수를 만드는 코드 설계로 변경되었다.
• 최대한 함수를 여러 개 만들어볼 생각이다

 

1. Date 출력 함수

- 원본 데이터

--------------- 2023년 3월 24일 금요일 ---------------

• 여기서 Year, Month, Day, Day_of_Week 데이터를 가져올 수 있다.
• 필요한 함수
  1. 문자 정제 (processed_date_line)
  2. Date 값의 각 변수값 변환 (read_date)

 

2. Time 출력 함수

- 원본 데이터

[아빵] [오후 2:16] 🍊 삶의 교훈

• 필요한 함수
  1. 문자 정제 (processed_message_line)
  2. 시간 형식 변환 함수 (covert_24hr)
  3. Time 값 반환 (read_time)

 

3. Name 출력 함수

- 원본 데이터

[아빵] [오후 2:16] 🍊 삶의 교훈

• 필요한 함수
  1. 문자 정제 (processed_message_line)
  2. Name 값 반환 (read_name)

 

4. Message 출력 함수

[아빵] [오후 2:16] 🍊 삶의 교훈

• 필요한 함수
  1. 문자 정제 (processed_message_line)
  2. Message 값 반환 (read_message)

 

5. 데이터 리스트에 데이터 추가 함수

• 만들어둔 data = [] 리스트에 앞서 만든 데이터들을 추가한다.
• 필요한 함수
  1. 리스트에 데이터를 추가하는 함수 (add_data)

 

6. 데이터프레임화 

• 위에 데이터가 삽입된 data 리스트를 데이터 프레임화 하여 출력한다.

 

생성해야 하는 함수 요약 및 순서 정리

1. 문자 정제 (processed_date_line)
2. 문자 정제 (processed_message_line)
3. Date 값의 각 변수값 변환 (read_date)
4. 시간 형식 변환 함수 (covert_24hr)
5. Time 값 반환 (read_time)
6. Name 값 반환 (read_name)
7. Message 값 반환 (read_message)
8. 리스트에 데이터를 추가하는 함수 (add_data)

9. 데이터 프레임화 하여 출력

 

---

해당 설계에 맞춰서 다음 글에서는 함수를 순서에 맞춰서 작성해보는 게시물을 작성할 예정이다.