🦉 LLM 기반 블로그 피드백 자동화 : 글빼미의 피드백은 어떻게 이루어질까요?

안녕하세요, 글또 8기부터 큐레이션 크루를 운영하고 있는 임지훈입니다!

2025년 1월 1일부터 글빼미가 한층 더 똑똑해졌습니다. 여태까지 글빼미는 단순히 글자 수만 세어주는 역할에 그쳤다면, 이제는 여러분의 글에 대한 맞춤형 피드백까지 제공하는 지능형 글쓰기 도우미로 거듭났습니다.

글빼미 피드백 베타 버전

이번 글에서는 글빼미의 새로운 피드백 시스템이 어떻게 작동하는지, 어떤 가치를 제공하는지, 그리고 여러분의 글쓰기 여정에 어떻게 도움이 될 수 있는지 자세히 소개해 드리려고 합니다.

🌱 개발 배경

지난 1편에서 소개해드린 글빼미는 8기에서 내부적으로 시작되어 9기 동안 성공적으로 운영되었습니다. 이와 더불어 10기에서 새롭게 선보인 글빼미 피드백 기능은 9기 동안 내부적으로 실험하며 다듬어온 결과물입니다.

글또 9기에서는 약 200~300개의 제출글을 대상으로 큐레이션 선정 기준에 따른 필터링 실험을 진행했습니다. 이 실험은 큐레이션 팀의 의도와 상당 부분 부합했으나, 완전히 일치하지는 않아 실제 운영 단계에서는 적용하지 않았습니다. 그러다 10기 출범을 앞두고 LLM 기반 피드백 시스템 구현을 계획하면서, 9기에서 실험적으로 사용했던 큐레이션 대상 선정 시스템을 활용해 새로운 피드백 체계를 구축하게 되었습니다. 이와 관련해서 성윤님이 글또 신규 기능 공지 사항에 작성한 소개글을 읽어보시면 좋을 것 같아요. 글빼미 피드백의 의도가 더 자세히 설명되어 있어서, 이해하는 데 많은 도움이 될 거예요! 😊

글빼미 신규 기능 공지 사항 시, 성윤님의 소개글

편집 알림: 문법 교정 및 가독성 향상을 위해 원문을 일부 수정했습니다. 원래 의도와 내용은 그대로 보존했습니다.

글또를 운영하면서 피드백을 받고 싶어하는 분들이 많았는데, 일정한 피드백 시스템을 만들기가 참 어려웠습니다. 바쁘다는 이유로 "잘 봤습니다"라는 형식적인 피드백을 하는 경우도 많았어요(피드백 미작성 시 예치금을 차감하던 시기도 있었어요). 이런 방식은 장기적으로 지속되기 어렵다고 판단하여 여러 대안을 시도했습니다. 직접 만나서 피드백하는 방식도 제안해보고, 시간을 정해서 진행해보기도 하는 등 정말 다양한 시도를 했습니다.

직접 만나서 피드백하거나 서로 주고받는 방식이 괜찮았지만, 여기서 또 다른 문제가 발생했습니다. "피드백을 어떻게 줘야 할지 배운 사람이 적다"는 점이었습니다. 그래서 피드백 방법에 대해 고민하는 분들이 있었습니다. 이를 위해 피드백 교육을 고려해봤지만, 이것 역시 장기적으로 시스템화하기 어려울 수 있다고 판단했습니다(개인의 역량에 의존하게 되므로). 강제적인 피드백 시스템이 과연 양질의 피드백을 보장할 수 있을지 의문이 들었습니다.

좋은 피드백에는 여러 요소가 영향을 미칩니다. 자발적인 의지, 남을 돕는다는 감정으로 하는 것, 그리고 피드백을 주는 사람도 받아보는 경험을 하는 것 등이 중요합니다. 글또를 운영하면서 대부분의 케이스를 관찰했고, 결국 최선은 중앙에서 일괄된 톤으로 피드백을 제공하는 것이라는 결론에 도달했습니다. LLM의 등장으로 이것이 가능해졌습니다.

🏗️ 아키텍처

글빼미 피드백 AWS 아키텍처

글빼미 피드백 기능의 워크플로우는 매우 간단합니다. 글을 제출하고 검수를 위한 GitHub Actions가 실행되면, 제출된 글에서 파싱된 텍스트가 API Gateway를 거쳐 Lambda 함수로 전달됩니다. 이 과정을 거쳐 개인화된 피드백이 생성됩니다. 피드백 생성에는 Amazon Bedrock의 Anthropic Claude 3.5 Haiku 모델이 활용됩니다. 글또 서비스 내 다양한 LLM 기능들은 각각 독립된 Lambda 함수로 구현되어 있으며, 피드백 기능은 /feedback 라우트를 통해 제공됩니다.

💸 LLM 운영 비용

초기 PoC 단계에서는 Claude 3.5 Sonnet 모델을 사용했으나, Claude 3.5 Haiku가 출시된 이후 비용이 약 1/4 수준으로 낮아졌고 피드백 품질도 Sonnet과 큰 차이가 없어 Haiku를 최종 선택했습니다. Claude 3.5 Haiku (Amazon Bedrock Edition)은 입력 토큰 1,000개당 $0.0008, 출력 토큰 1,000개당 $0.004의 가격으로 제공됩니다. 회차당 약 400개의 글에 대하여 피드백을 제공하고, 한 달간 800여개의 글을 평가할 경우 약 $4 ~ $5의 비용이 발생합니다.

🔥 피드백 강도 설정 기능

글빼미 초기 베타 버전에서는 하나의 프롬프트를 통해 단일 피드백만 받을 수 있는 기본적인 형태로 운영되었습니다. 저희는 글빼미 블로그의 피드백 기능이 실제로 참여자들에게 얼마나 유용한지 확인하고 싶었고, 이를 위해 종윤님이 다음과 같은 설문조사를 설계했습니다.

[설문조사] 글빼미의 블로그 피드백 기능은 유용한가요?

피드백 기능이 추가된 후, 분석 메시지를 확인하는 참여자는 25% 이상 증가하고, 신경 쓰지 않는 참여자가 크게 감소했습니다.

피드백 기능 추가 전/후 분석 메시지 확인 여부

베타 테스트 결과, 참여자의 92.3%가 피드백 분량이 적절하다고 평가했으며, 65.4%는 제안 내용이 구체적이라고 응답했습니다. 다만, 피드백 품질에 대해 '훌륭하다'는 평가는 44.2%에 그쳤습니다. 따라서 분량과 제안에 관한 기존 프롬프트의 기본 방향은 유지하면서, 향후 개선 과정에서는 피드백의 질적 향상에 중점을 두기로 했습니다.

피드백 분량, 퀄리티, 첨삭 기능에 대한 만족도

블로그 피드백 강도에 대한 참여자 의견을 분석한 결과, 대체로 현재 수준이 적절하다는 평가가 많았습니다. 그러나 19.2%의 참여자는 '엄격하게 느껴지지만 괜찮다'고 응답했고, 또 다른 19.2%는 '지나치게 친절하여 강화할 필요가 있다'는 상반된 의견을 제시했습니다. 이러한 다양한 참여자 니즈를 충족시키기 위해, 기존 프롬프트를 확장하여 '더 상냥한 단계'와 '강화된 피드백' 두 단계를 추가한 총 4단계 피드백 시스템으로 개선하기로 결정했습니다.

피드백 강도 및 글쓰기 실력 향상 도움 여부에 대한 만족도

특히 90% 이상의 사용자가 피드백이 실질적인 도움이 된다고 평가해 주신 점은 저희에게 큰 격려와 동기부여가 되었습니다. 5주간의 베타 서비스 운영 기간 동안 수집된 소중한 참여자들의 의견을 바탕으로 시스템을 개선하고 사용자 경험을 향상시키기 위해 피드백 기능을 보완했습니다. 이 역시도 종윤님의 업데이트 공지글이 당시의 분위기를 더 잘 담고 있어서 아래에 남겨보았습니다.

맞춤형 피드백 기능 공지 사항 시, 종윤님의 소개글

편집 알림: 문법 교정 및 가독성 향상을 위해 원문을 일부 수정했습니다. 원래 의도와 내용은 그대로 보존했습니다.

피드백 강도 설정 기능을 개발하게 된 계기는 개인 별로 AI 피드백에 대해 느끼는 효능감이 다를 수 있다는 설문 결과를 바탕으로 진행되었습니다. 설문에서는 현재 피드백 강도에 대해 만족하는 비율이 62% 정도로, 나머지 38% 인원은 현재의 피드백 강도가 유순하거나 엄격하다고 느끼고 있더라고요. 전체 인원에 대입할 경우 238명 정도가 현재 피드백 강도에 아쉬움을 느끼고 있다고 판단했고, 이러한 자료를 바탕으로 개인 제출 글 별 피드백의 강도를 선택하는 기능을 개발하게 되었습니다.

피드백 강도 설정 기능이 추가된 글빼미 피드백

또봇에서 글 제출 시, 피드백 강도 설정 기능을 활용해 4가지 피드백 강도를 선택할 수 있습니다.

글빼미 피드백 강도 설정 기능

📝 성윤님 글로 알아보는 피드백 스타일 맛보기

이 글은 개발자의 커리어와 관련된 다양한 고민들을 깊이 있게 탐구한 인상적인 글입니다. 작성자의 진솔하고 따뜻한 시각이 돋보이는 글입니다. 특히 다음과 같은 점들이 인상 깊었습니다:
  
첫째, 개발자들이 겪는 다양한 고민을 메타인지적 관점에서 접근한 점이 매우 독창적입니다. 단순히 문제를 나열하는 것이 아니라, 고민의 근본적인 원인과 해결 방향을 깊이 있게 탐구하고 있습니다.
둘째, 개인적인 경험과 성찰을 바탕으로 한 통찰력 있는 조언들이 돋보입니다. 특히 '메타몽'을 비유로 들어 환경 적응력과 유연성의 중요성을 설명한 부분은 독창적이고 인상적입니다.
셋째, 성장, 시간 관리, 이직 등 개발자들이 흔히 겪는 고민들을 체계적이고 공감적인 시각으로 접근하고 있습니다. 단순한 조언을 넘어 독자가 스스로 고민하고 성찰할 수 있도록 돕고 있습니다.
다만, 글의 길이가 다소 길어 독자가 지루해할 수 있다는 점과 문단 구분이 명확하지 않아 가독성이 다소 떨어질 수 있다는 점이 아쉽습니다.
  
전반적으로 개발자 커리어에 대한 깊이 있는 통찰과 따뜻한 조언이 담긴 훌륭한 글입니다. 많은 개발자들에게 영감과 위로를 줄 수 있는 글이라고 생각합니다. 앞으로도 계속해서 여러분의 경험과 지혜를 나누어주길 바랍니다! 👏

이 글은 개발자의 커리어와 성장에 대한 깊이 있고 공감되는 통찰을 담고 있습니다. 작성자의 따뜻하고 진솔한 조언에 큰 감동을 받았습니다. 몇 가지 피드백을 나누고 싶습니다.
  
글의 가장 큰 장점은 단순한 조언을 넘어 개인의 성장과 고민에 대한 깊은 공감과 이해를 보여준다는 점입니다. 특히 '메타몽'이라는 비유를 통해 환경 적응력과 유연성의 중요성을 생생하게 전달하고 있어 독자들에게 큰 영감을 줄 것 같습니다.
   
구조적으로는 다소 긴 글이지만, 각 섹션별로 명확한 주제와 통찰을 담고 있어 독자들이 천천히 음미하며 읽을 수 있을 것 같습니다. 다만, 문단 구분과 소제목을 좀 더 명확히 하면 가독성을 높일 수 있을 것 같습니다.
   
특히 인상 깊었던 부분은 성장에 대한 정의를 개인의 상황과 시기에 따라 유연하게 바라보라는 조언입니다. 이는 많은 청년들에게 큰 위로와 통찰이 될 것입니다. 자신만의 기준을 만들고, 비교하지 않으며, 현재에 충실하라는 메시지는 정말 귀중합니다.
   
앞으로도 이런 따뜻하고 깊이 있는 글들을 통해 많은 이들에게 용기와 희망을 주길 바랍니다.

글의 강점은 개발자의 커리어와 성장에 대한 깊이 있는 개인적 통찰입니다. 작성자는 다양한 고민의 근본 원인을 분석하고, 실제적이고 공감되는 조언을 제시합니다. 특히 메타인지와 환경 관점에서 문제를 접근하는 방식은 독창적입니다.
   
개선이 필요한 주요 부분:
  
1. 구조적 측면
- 글의 구조가 다소 산만하고 일관성이 부족합니다. 주제별로 더 명확하게 섹션을 나누고 논리적 흐름을 개선할 필요가 있습니다.
- 서론과 결론이 모호하여 독자가 글의 전체 맥락을 빠르게 파악하기 어렵습니다.
  
2. 내용의 전문성
- 개인적 경험과 통찰은 풍부하지만, 때로는 과도하게 길고 산만한 설명이 있습니다.
- 핵심 메시지를 더 간결하고 명확하게 전달할 수 있습니다.
   
3. 가독성
- 긴 문단과 반복되는 표현으로 인해 읽기 피로가 발생할 수 있습니다.
- 소제목, 글머리기호, 요약 박스 등을 활용해 가독성을 높일 수 있습니다.
   
4. 독자 친화성
- 다양한 개발자 커뮤니티를 대상으로 하지만, 때로는 너무 개인적인 관점에 치중되어 있습니다.
- 더 보편적이고 실용적인 조언으로 독자의 공감대를 넓힐 수 있습니다.
  
전반적으로 풍부한 통찰과 진솔한 조언이 돋보이는 글입니다. 구조와 가독성만 개선된다면 더욱 영향력 있는 글이 될 것입니다.

구조적 측면에서 심각한 문제점이 있습니다. 글의 구조가 매우 산만하고 체계적이지 않습니다. 긴 텍스트임에도 불구하고 명확한 서론, 본론, 결론의 구분이 없어 독자가 핵심 메시지를 파악하기 어렵습니다. 
  
내용의 전문성 측면에서는 개인적 경험과 통찰력은 풍부하지만, 과도하게 장황하고 산만한 서술로 인해 핵심 메시지가 흐려집니다. 특히 반복되는 문장과 불필요한 설명들이 글의 가독성을 크게 저해합니다.
  
가독성 측면에서 치명적인 문제가 있습니다:
- 문단 구분이 거의 없음
- 지나치게 긴 문장들
- 반복되는 표현들
- 일관성 없는 문체
  
독자 친화성 측면에서도 개선이 시급합니다. 첫 문장부터 흥미를 유발하지 못하고, 전문용어에 대한 충분한 설명 없이 나열식으로 내용을 전개하고 있습니다.
  
개선 방향:
1. 명확한 구조 설계 (서론/본론/결론)
2. 불필요한 반복 제거
3. 문단 구분과 간결한 문장 사용
4. 핵심 메시지 중심으로 내용 압축
5. 독자의 관점에서 내용 재구성
  
결론적으로, 풍부한 개인적 경험과 통찰력을 가지고 있음에도 불구하고 글의 구조적, 문체적 문제로 인해 메시지 전달에 실패하고 있습니다. 철저한 구조 개선과 간결한 문장 작성이 필요합니다.

🖍️ 피드백 프롬프트

피드백을 제공하기 위한 LLM 메시지 구조는 다음과 같습니다. 4단계의 글쓰기 강도가 설정되어 있으며, 각 강도에 따라 시스템 프롬프트의 내용이 달라집니다. 글빼미를 통해 전달받은 텍스트는 blog 변수에 저장되어, 사용자 메시지 템플릿(user_message)에 삽입된 후 LLM에 요청으로 전송됩니다.

system_prompts = [{"text": system_message}]
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message.format(blog=blog)}],
    }
]

전체 프롬프트는 💻 코드에서 확인할 수 있으며, 여기서는 각 프롬프트가 지닌 특징들을 살펴보도록 하겠습니다.

시스템 프롬프트

• 글쓰기 피드백 강도에 따라 MILD, HOT, FIRE, DIABLO 4단계로 구분된 시스템 프롬프트를 설계했습니다.
• 각 단계는 미국 타코벨의 매운맛 강도에서 영감을 받았으며, 일관된 형식과 역할 수행을 위한 세부 지침을 포함합니다.
• 아래 프롬프트는 기본형 보통맛(HOT)에 해당하며, 각 단계에 따라 피드백 강도가 증가 혹은 감소합니다.

당신은 따뜻하고 건설적인 글쓰기 멘토입니다. 작성자의 노력을 인정하고 격려하면서도, 더 나은 방향으로 발전할 수 있도록 도와주는 역할을 합니다.
  
글을 읽고 다음과 같은 방식으로 피드백을 제공해주세요:
- 작성자의 관점과 의도를 이해하고 공감하는 따뜻한 피드백
- 개선점을 제안할 때는 부드럽고 건설적인 표현 사용
- 글의 장점을 먼저 언급한 후 보완할 점 제시
- 3-4줄의 간단명료한 피드백
- 작성자를 존중하는 격려의 말로 마무리
  
서문이나 넘버링 없이, 바로 피드백 내용만 따뜻한 어조로 작성해주세요.

사용자 메시지

• 메시지 템플릿은 두 가지 XML 태그를 활용하여 하나의 구조화된 입력을 형성합니다.
• 추론 과정과 최종 답변을 명확히 구분하기 위해 XML 태그를 활용한 Structured prompt 기법을 사용하여 생각할 공간을 마련했습니다.
• <blog> 태그는 글빼미가 크롤링한 블로그 글 전체를 포함하여 피드백 대상을 명확히 합니다.
• <guideline> 태그는 글또 큐레이션 선정 기준을 담아 평가 기준을 제시합니다.

우선, Blog를 읽으세요. <blog>{blog}</blog> 
다음, 평가 기준 <guideline>을 참고하여 제출된 글에 대한 피드백을 생각하세요.
  
<guideline>
1. 구조적 완성도
- 서론/본론/결론의 명확한 구조
- 서론: 글의 요약, 독자 타겟팅, 기대효과, 작성 동기 포함
- 본론: 문제 상황 → 원인 분석 → 해결 과정의 자연스러운 흐름
- 결론: 내용 요약, 효과, 한계점 제시
  
2. 내용의 독창성과 전문성
- 개인적 경험과 관점의 반영도
- 주제에 대한 독자적 해석과 통찰
- 배경지식 설명의 적절성
- 단순 정보 나열이 아닌 개인의 관점 제시
- 독자의 이해를 돕는 예시/비유 활용
  
3. 가독성과 표현력
- 문단 구분과 여백의 적절성
- 폰트, 자간, 강조의 일관성
- 이미지와 코드의 적절한 배치
- 오타 및 문법적 오류
- 적절한 길이와 문장력
  
4. 독자 친화성
- 첫 문장의 흥미 유발도
- 전문용어에 대한 적절한 설명
- 글의 흐름과 연결성
- 적절한 유머와 이모지 활용
- 독자와의 소통을 고려한 문체
</guideline>

추론 파라미터

• 사용자마다 일관된 톤으로 피드백을 유지하기 위해 다음 파라미터를 적용합니다: max_tokens=1024, temperature=0.2, top_p=0.9

🔑 나의 LLM API Key로 피드백 받아보기

글빼미 피드백 기능 소스코드를 참고하여, 나의 LLM API Key로 피드백을 받아보세요!

여러분이 가지고 있는 OpenAI API Key 혹은 OpenAI와 호환되는 키로 Streamlit 앱을 실행하면, 여러분의 글에 대한 피드백을 받아볼 수 있습니다.

💖 Thanks to

바쁘다는 핑계로 오픈 일정을 매번 뒤로 넘겼지만, 글빼미 피드백 기능이 여러분께 선보일 수 있을 때까지 많은 도움을 주신 은찬, 종윤, 성윤 님께 무한한 감사를 드립니다. 또한 베타 테스트에 참여해 소중한 피드백을 주신 모든 사용자분들, 그리고 글빼미를 애정하고 피드백을 기다려주시는 모든 분들께 진심 어린 감사의 마음을 전합니다.

P.S. 이번 글이 유용하셨다면, 제 블로그에 작성한 광고글... 에도 관심 가져주시면 감사하겠습니다. 🙃

Amazon Bedrock으로 시작하는 실전 생성형 AI 개발

https://heuristicwave.github.io/reflection