[DA][Python] (2차 설계 및 완성) 카카오톡 대화 데이터 전처리 코드 수정 설계

현재 해당 내용은 피드백을 받아 코드 작성을 완료하였으며 최종 완성된 코드에 대한 설명이다.

---

수정사항

1. 함수명을 명확하게 변경

2. 원본 데이터에 존재하는 서로 다른 형식의 라인 두 가지에 대한 처리 함수 + 시간 형식 변환 함수 + 데이터 전처리 함수 총 4개로 설계 변경

 

처음에 만들었던 형식 구분 및 데이터 전처리 과정의 코드는 그대로 가져오되, 함수를 처리하는 방식과 내용을 구분하는 방식, 데이터 프레임화 하여 columns에서 라인을 지정하여 반복문을 사용하는 방식에 대해 배울 수 있었다.

 

생성하는 함수 요약

1. extract_dates_inv

• 날짜 정보 추출
• year, month, day, current_weekday 값 추출
  • 데이터 추출 및 정제
    • ex) 2023년 => 2023

2. extract_conversation

• 메시지 라인 정보 추출
• name, time, message 값 추출
  • 원본 데이터에 있는 대괄호 제거

3. convert_24hr

• 시간 함수 12시간 형식을 24시간 형식으로 변경
• 원본 값 : 오후 1:30
• 함수 처리 값 : 13:30

 4. generate_dataframe

• 데이터 처리하기
• for문을 사용하여 라인별로 순환하고 조건에 맞는 라인 값에 앞에 만든 함수의 변수를 적용한다.

 

파일 불러오기

라이브러리 import

import pandas as pd
import warnings

 

오류 무시 함수

warnings.simplefilter(action='ignore', category=pd.errors.SettingWithCopyWarning)

• DataFrame의 일부를 수정할 때 변경 사항이 원래 DataFrame에 안전하게 적용되지 않을 수 있음을 알리는 경고를 무시하는 코드
• loc 인덱서를 사용하는 방법도 있다. 

▼ SettingWithCopyWarning에 대해 더 알아보기

예시 코드

import pandas as pd

df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6]
})

df_slice = df[df['A'] > 1]
df_slice['B'] = 0

위의 코드에서 'df_slice[ 'B' ] = 0' 에서 df_slice가 원래 df의 복사본인지 뷰인지 pandas가 확신할 수 없다.

- 'df'의 뷰라면? df_slice에 대한 변경이 df에도 영향을 줄 수 있다

- 'df'의 복사본이라면? 원래 'df'는 변경되지 않는다.

- ignore 코드를 사용하지 않고 처리할 시, (loc 사용)

df.loc[df['A'] > 1, 'B'] = 0

 

데이터 프레임 읽기

data = pd.read_table(r"본인의 파일명 삽입하기")

• 괄호 안에 자신이 데이터프레임화 하고 싶은 내용을 파일 경로를 복사하여 붙여넣기 하면 된다.

 

칼럼 변경

분석해야 할 내용은 라인별로 작성되어있는 내용이다. 

index가 rows이고 columns가 전처리 해야 할 내용이기 때문에 data 프레임의 컬럼명을 'text' 로 변환하여 사용한다.

data.columns=['text']

 

Date 정보 추출 함수

함수명 : extract_dates_inv

원본 데이터

--------------- 2023년 3월 24일 금요일 ---------------

추출에 필요한 과정

• 데이터와 무관한 '-' 기호와 앞뒤 공백 제거 후 공백을 기준으로 분리
• 날짜 데이터 분리 시 '년', '월', '일' 문자 제거
• 요일 날짜 저장 

def extract_dates_inv(line):
    date = line.strip('- ').split(' ')
    
    year = date[0][:-1]
    month = date[1][:-1]
    day = date[2][:-1]
    
    current_weekday = date[3]
        
    return year, month, day, current_weekday

 

메시지 정보 추출 

함수명 : extract_conversation

원본 데이터 

[아빵] [오후 2:16] 🍊 삶의 교훈

추출에 필요한 과정

• 데이터에서 대괄호 제거
• 이름, 시간, 메시지 내용 변수로 분리
• Error 발생 시, pass 하는 try 함수 사용

▼ try, except 사용 이유

만약, 사용하지 않고 함수를 출력한다고 가정하면

def extract_conversation(line):
    sender, rest = line.split('] [', 1)
    name = sender[1:]  # 앞의 '[' 제거
    time, message = rest.split('] ', 1)

    return name, time, message

ValueError: not enough values to unpack (expected 2, got 1)

해당 문구와 같은 오류가 발생한다.

이는 변수의 수와 실제 제공되는 값의 수가 일치하지 않을 때 발생한다.

원본 데이터를 보면 형식이 올바른 것도 있지만, 장문 텍스트의 경우 형식대로가 아닌 글자만 입력되어 있기 때문이다.

이러한 문장을 모두 무시하기 위해서 try, expcept 구문을 사용한다.

def extract_conversation(line):
    try:
        sender, rest = line.split('] [', 1)
        name = sender[1:]  # 앞의 '[' 제거
        time, message = rest.split('] ', 1)
    
        return name, time, message
    
    except ValueError:
        pass

 

시간 형식 변환 함수 

함수명 : convert_24hr

원본 데이터가 오전, 오후가 적혀있는 12시간 형식의 시간 표시이다.

이를 24시간 형식으로 변환하는 함수를 작성한다.

 

우선 해당 함수의 매개변수 값은 '오전 12:00' 와 같은 형식의 값이 들어갈 것이다.

그렇다면 일단 오전 / 오후 문자를 제거하고 오전 12시는 00시로, 오후 값은 모두 +12를 하는 코드를 구현해야 한다.

if문을 활용하여 오전 오후 조건을 나누고 값을 ":" 문자를 기준으로 나누면 hours와 minutes로 구분하여 hours에 +12를 할 수 있기 때문에 아래와 같이 구현해야 한다.

#시간 24시간 형식으로 변환
def convert_24hr(time_str):
    if '오전' in time_str:
        time = time_str.replace('오전 ', '')
        hours, minutes = map(int, time.split(':'))
        if hours == 12:  # 오전 12시는 00시로 변환
            hours = 0
    elif '오후' in time_str:
        time = time_str.replace('오후 ', '')
        hours, minutes = map(int, time.split(':'))
        if hours != 12:  # 오후 12시는 그대로 두고, 나머지는 12를 더함
            hours += 12
    return f"{hours:02}:{minutes:02}"

 

최종 데이터 처리

위에 작성된 함수들을 활용하여 데이터를 처리할 수 있다. 

함수명 : generate_dataframe

dataframe이라는 리스트를 만들고 year, ~ , current_weekday인 날짜 변수 값들을 None으로 초기화한다.

dataframe = []
year, month, day, current_weekday = None, None, None, None

 

이후 index와 행을 구분하여 index는 반복 중인 행의 인덱스를, rows는 반복 중인 행의 데이터를 의미하기 때문에 rows에 columns를 지정하여 공백을 제거하는 코드를 작성한다.

그리고 공백을 제거한 각 라인을 line이라는 변수에 저장한다.

for index,rows in data.iterrows():
    line = rows['text'].strip()

 

line이라는 변수에 조건을 달아서 두 가지 형식의 데이터를 처리한다.

먼저 날짜 데이터를 처리하기 위해서는 하이픈으로 시작하는 line을 찾는다.

if line.startswith('---------------'):
    year, month, day, current_weekday = extract_dates_inv(line)
    month = str(month).zfill(2)
    day = str(day).zfill(2)

날짜 데이터를 정제하기 위해 작성된 extract_date_inv 함수를 가져와서 year, month, day, current_weekday를 불러온다.

그리고 월 / 일은 두 자리 수로 표시하기 위해 .zfill(2)를 사용하여 빈 자리는 0으로 채워서 출력되도록 한다.

 

메시지 데이터를 처리하기 위해서 대괄호로 시작하는 line을 찾는다.

메시지 데이터를 처리하기 위한 함수인 extract_conversation 함수를 불러와서 변수값을 모두 result에 저장한다.

그리고 저장된 값이 올바른 함수가 아니라면 data 에 추가되어서는 안된다. 

그렇기 때문에 if문을 사용하여 name, time, message 형식이 맞으면 dataframe에 추가하고, 아니면 넘어가도록 코드를 작성한다.

elif line.startswith('['):
        result = extract_conversation(line)
        if result :
            name, time, message = result
            time_24hr = convert_24hr(time)
            dataframe.append([year, month, day, current_weekday, time_24hr, name, message])
        else :
            continue

 

최종 출력값

(message 값은 대화 내용이므로 숨김 처리 하였습니다)

위와 같은 결과를 도출해낼 수 있습니다.