🦉 글또의 제출 글 검수 자동화 봇: 글빼미를 소개합니다!

안녕하세요, 글또 10기 큐레이션 크루의 정종윤입니다!

9기까지 저는 자동화 크루에서 대나무숲, 글빼미처럼 여러 가지 슬랙 봇을 만드는 활동을 했습니다. 그리고 10기부터는 글빼미와 훌륭한 시너지를 낼 수 있는 큐레이션 크루에 합류하게 되었습니다.

이번 글에서는 E2E 테스트를 기반으로 제출된 글을 검수하는 슬랙 봇인 글빼미를 소개하려고 합니다.

글빼미에 대한 소스 코드는 이 곳에서 확인하실 수 있습니다.

글빼미는 무슨 뜻인가요?

글빼미가 지켜보고 있어요

글빼미라는 이름은 글또 와 올빼미 의 합성어입니다. 올빼미가 큰 눈을 이용해 밤에 먹이를 사냥하듯, 글빼미는 글또에서 제출된 글을 검수하여 어뷰징을 탐지한다는 의미를 담고 있습니다.

글빼미는 무슨 일을 하나요?

글빼미를 한마디로 요약하자면, 글또에서 제출된 글을 검수하고 피드백을 제공하는 과정을 자동화한 슬랙 봇입니다.

또봇으로 글을 제출하면, 글빼미가 스레드로 피드백을 남겨준다

글빼미에서 제공하는 기능을 조금 더 자세히 소개하자면 다음과 같습니다.

• 제출한 글에서 공백과 코드 블럭을 제외한 대략적인 글자수 분량을 측정합니다.
• 제출한 글에서 어뷰징이 의심되는 지표를 측정합니다.
• 제출한 글의 스크린샷을 촬영합니다.
• 제출한 글의 내용을 분석하여 LLM 기반의 피드백을 제공합니다.
• 위의 정량적 지표에 대한 리포트를 글 제출자와 운영진에게 요약해 제공합니다.

글빼미는 왜 필요한가요?

글빼미는 글또 활동 기간 내에서 발생하는 어뷰징을 방지하기 위해 만들어졌습니다.

글또 참여자는 2주마다 각자의 기술 블로그에 포스트를 작성하고 이를 글또 슬랙에 제출해야 합니다. 강제성을 부여하기 위해 보증금을 맡겨야 하고, 글을 제출하지 못하면 보증금이 차감되는 규칙이 있습니다. 이런 조건을 걸어둔 것은 글또의 목적 중 하나가 바로 개발자의 글쓰기 역량 강화를 목적으로 하는 커뮤니티이기 때문입니다.

하지만 보증금이 걸린 만큼 일부 참여자들은 보증금 차감을 피하기 위해 규칙의 경계를 넘나드는 행동을 보이기도 합니다. 최소 글자수 1,000자 미만의 글 제출, 미완성 글을 일단 올린 후 나중에 수정하거나, 코드로만 본문을 채우는 등의 사례가 있습니다. 이러한 행위에 대해 공정하고 적절한 조치가 이루어지지 않는다면 다른 참여자들의 의욕을 저하시킬 뿐만 아니라 글또 커뮤니티 전체의 신뢰도에도 부정적인 영향을 미칠 수 있습니다.

기존에는 이러한 논란이 발생하지 않도록 글또 운영진이 제출된 글을 수작업으로 검수하는 과정을 거쳤습니다. 하지만 글또의 참여자가 수백 명 단위로 늘어나자 이런 수작업 검수는 불가능에 가까워졌습니다.

따라서 글빼미는 이러한 문제를 해결하기 위해 위 과정을 자동화하여 운영진의 부담을 줄이고, 참여자들에게 공정한 기준을 제공하기 위한 목적으로 만들어졌습니다.

글빼미는 어떻게 동작하나요?

글빼미 아키텍처

글빼미의 아키텍처는 사실 GitHub Actions에서 동작하는 워크플로우며, 하나의 워크플로우는 데이터 크롤링, E2E 테스트, 슬랙 메시지 전송의 세 가지 파트로 나뉩니다.

GitHub Actions

글빼미의 GitHub Actions 실행

글또는 제출 마감일 자정에 가까워지면 거의 분당 수십 건 이상의 글이 제출되곤 합니다. 이런 상황에서 글빼미가 글이 제출되는 즉시 테스트를 실행하는 방식으로 구현하면, 동시에 실행되는 워크플로우가 너무 많아지게 되므로 비효율적입니다. 따라서 글빼미는 평일은 24시간마다, 주말은 2시간마다 실행되는 배치 방식으로 동작하도록 구현되었습니다.

데이터 크롤링

글또의 데이터베이스 역할을 하는 구글 스프레드시트

워크플로우가 실행되면 우선 글또의 데이터베이스 역할을 하는 구글 스프레드시트에서 제출된 글의 정보를 크롤링합니다. 이 정보에는 글 제출자의 이름, 제출한 글의 URL, 제출한 글의 내용 등이 포함되어 있습니다.

E2E 테스트

데이터 크롤링을 통해 제출된 글 목록을 가져오면, 하나의 열(row)을 하나의 테스트 케이스로 취급하는 E2E 테스트를 생성한 후 CLI 환경에서 테스트를 실행합니다. 이때 E2E 테스트 도구로는 Playwright 를 사용하였습니다.

우선은 제출된 글의 URL과 HTML 패턴을 분석하여 어떤 플랫폼을 사용하여 작성되었는지를 추론하고 적절한 전처리 작업을 진행합니다. 여기에서 추론된 블로그 플랫폼을 이용해, 블로그 플랫폼 별로 달라지는 지표 측정 방법을 반영할 수 있습니다.

다음으로는 본문에 해당하는 영역을 추론하여 글자 수를 측정합니다. 이 때는 블로그 플랫폼 별로 달라지는 HTML의 구조, 시맨틱 태그의 특성, 그리고 휴리스틱 알고리즘을 활용합니다. 가령 눈에 보이지 않는 텍스트나 동일하게 나타나는 문장의 반복은 글자 수 측정에서 제외하는 등의 방법을 사용합니다. 이렇게 추론된 본문 영역에서 공백과 코드 블럭을 제외한 글자 수를 측정합니다.

또한 글 내에서 코드의 비율이 지나치게 높거나 글 높이가 지나치게 짧아서 성의 없이 작성된 것으로 여겨질 수 있는 경우도 어뷰징 의심 지표로 측정합니다. 그리고 해당 글 전체의 스크린샷을 촬영하여 테스트 실행 시점에서의 글의 모습을 블랙박스처럼 기록해 둡니다.

슬랙 메시지 전송

최종적으로 완성된 슬랙 메시지

E2E 테스트가 모두 완료되면, 테스트 결과를 요약하여 슬랙 메시지로 전송합니다. 해당 메시지에는 제출한 글의 제목, 글자 수, 어뷰징 의심 지표, LLM 기반 피드백 등이 포함되어 있습니다.

메시지는 글 제출자와 운영진 양쪽에 모두 전송되며, 이를 통해 운영진은 한눈에 모든 글의 상태를 파악할 수 있고, 글 제출자는 자신의 글이 어떻게 평가되었는지 즉각적으로 확인할 수 있습니다.

글빼미는 진화한다

이렇게 해서 글빼미는 무엇이며, 왜 필요한지, 그리고 어떤 원리로 동작하는지에 대해 간단히 알아보았습니다.

글빼미를 도입한 이후로는 어뷰징에 대한 탐지가 자동화되고 선제적으로 진행할 수 있게 되면서 글또 운영진이 어뷰징 검수에 소요하는 시간을 대폭 줄일 수 있었습니다. 또한 글빼미를 통해 글또 참여자들은 자신의 글이 어떤 지표로 평가되는지에 대한 피드백을 빠르게 받을 수 있게 되었습니다.

출시 초반에는 정확도가 떨어지고 오류도 많았지만, 꾸준한 개선 과정을 통해 정확도와 기능을 많이 향상 시킬 수 있었습니다. 최근에는 LLM 기반의 피드백을 제공하는 기능을 추가하게 되었는데요, 이 과정에 대해서는 다음 글에서 자세히 소개하도록 하겠습니다.