저는 웹소설 읽는 걸 즐깁니다.

여러 웹소설을 읽다 보면 이 소설의 좋은 점, 아쉬운 점들이 눈에 띄더라고요. 그러면서 저만의 소설을 써보고 싶다는 생각을 했었는데, 본업도 있고 이과 출신이라 엄두를 못 내고 있었습니다.

최근에 여기에 올라오는 로컬 LLM 관련 정보를 보면서, hermes 에이전트를 설치해서 제가 생각해 왔던 주제로 글을 한번 써볼까 하는 생각이 들었어요.

그런데 로컬 3090으로 돌려본 Qwen은 아직까진 글쓰기에 많은 아쉬움이 있었습니다. ㅎㅎ

그래서 최근에 나온 재미나이 3.5 Flash(Antigravity), 클로드 소넷 3.6(Claude Code), Ollama Cloud GLM-5.1(hermes)을 번갈아 경쟁시키듯 요청하면서, 컨셉도 정하고 전체적인 큰 그림도 그려봤는데요.

한동안은 세계관, 등장인물, 전체적인 줄거리 등을 잡는 데 도움을 받으면서 신났었는데, 막상 상세한 프롤로그와 1화를 쓰려고 하니 AI의 치명적인 문제점이 보이더라고요.

바로, AI는 모르는 척을 정말 못한다는 것이었습니다.

새로운 설정을 만들어낼 때는 정말 뛰어난 녀석이었는데, 아직 후반부 컨셉이 등장하면 안 되는 프롤로그와 1화를 작성할 때에는, 아무리 타일러봐도, 윽박질러봐도, "재미나이는 이렇게 실수했는데 네가 한번 해볼래?" 이간질도 해봤지만, 헛웃음이 나올 정도로 중후반부 설정이 슬그머니 끼어들더라고요.

구체적으로 말씀드리면 '이름' 같은 게 있습니다. 아직 처음 만나 통성명도 하기 전인데 서술에는 이미 이름이 나와 있어요. 주인공이 상대방의 '나이'나 '직업'을 알 수 없는 상황인데도 관련 표현이 불쑥 튀어나옵니다.

지난 연휴부터 오늘까지 프롤로그와 1화밖에 못 썼는데, AI는 '아직 몰라야 하는 내용을 모른 척하는 것'에 정말 서툴다는 걸 절감했습니다.

그리고 매끄럽고 재밌게 글 쓰시는 작가분들이 평소보다 더 크게 대단하게 느껴지는 나날을 보내고 있습니다. 😊

나름 재밌었던 경험이라 여러분과 공유하고 싶어 글을 써봤습니다!

참고로, 위 세 AI를 사용하면서 느낀 개인적인 평가입니다. (왼쪽이 더 좋게 느껴졌음)

설정 구조화 및 충돌 분석 클로드 소넷 3.6 > (의외로) GLM-5.1 >= 재미나이 3.5 Flash(high) (glm-5.1이 좀 더 객관적인 느낌)

최종 원고 작성 재미나이 3.5 Flash(high) > 클로드 소넷 3.6 > GLM-5.1

원고 검수 클로드 소넷 3.6 > GLM-5.1 > 재미나이 3.5 Flash(high)

의외로 GLM-5.1이 한국어를 꽤 잘하더라고요(오타는 좀 섞임). 논리적인 처리도 뛰어났습니다. 다만 컨텍스트 크기가 가장 작아서 대규모 설정을 처리하는 데는 한계가 있었습니다.

얼마 전에 DeepSeek V4가 영구적으로 가격을 인하한다는 기사를 보고, DeepSeek V4-Pro 모델에도 글 작성을 시켜봤는데 가장 실망스러웠습니다. 응답 시간이 너무 오래 걸리고(분 단위), glm-5.1에서도 안보이는 환각 증상이 보이더라고요(설정에 정의되지 않은 내용으로 글 작성).