세무 AI, 잘 말하는 것과 믿을 수 있는 것은 다릅니다

회계법인이 세무 AI를 도입할지 정하는 자리. 벤더가 자료 한 장을 내밉니다. "저희 모델, 세무사 시험 정답률 90%입니다." 숫자는 깔끔합니다. 그런데 이 숫자로 무엇을 알 수 있을까요.

생각보다 많지 않습니다. 실무에서 사고를 내는 답은 틀린 답이 아니라, 그럴듯하지만 검증되지 않은 답. 세무사와 회계사가 검토 단계에서 매일 걸러내는 바로 그것입니다. 정답률이라는 한 숫자는 다음 다섯 가지를 구분하지 못합니다.

• 답은 맞지만 근거가 틀린 경우
• 계산은 맞지만 실무 설명이 위험한 경우
• 조문은 찾았지만 사실관계 적용이 틀린 경우
• 개정세법을 반영하지 못한 경우
• 불확실한 사안을 단정한 경우

객관식 정답률은 이 다섯을 한 칸으로 뭉개 버립니다. 시장에 필요한 질문은 따로 있습니다. "이 AI가 잘 말하는가"가 아니라 검증을 통과했는가.

회계는 이미 답을 정의해 두었다

신뢰할 수 있는 정보의 조건은 무엇일까요. 회계는 이 질문에 오래전 답을 내놓았습니다. 「재무보고를 위한 개념체계」의 질적 특성입니다. 정보가 쓸모를 갖고 실질을 충실히 담아야 한다는 기준. 비교·검증이 되고 제때 제공돼야 한다는 조건입니다.

K-TaxBench의 출발점은 단순합니다. 재무정보에 요구하는 그 특성을 AI 평가에도 똑같이 요구하자는 것. 점수 1점 차이가 "실무에 1만큼 더 맡길 수 있음"을 뜻해야 합니다(목적적합성). 정답은 법령과 기준서의 실질을 충실히 담아야 합니다(표현충실성). 세법은 매년 바뀌니 문항마다 기준일을 박습니다(적시성). 회계 전문가가 설계한 AI 평가라는 정체성이 여기서 나옵니다.

무엇을, 어떻게 재는가

K-TaxBench는 한국 세무·회계 실무를 101문항으로 분해합니다. 부가세부터 법인세·소득세·회계처리·기초세법·복합 사례까지 여섯 도메인. 답변은 다섯 축으로 쪼개 채점합니다.

채점은 두 층으로 갈립니다. 객관식과 계산, 인용한 조문의 위치는 코드가 결정론으로 채점해 줍니다. 사례 판단과 근거의 질은 LLM 심판이 일곱 차원으로 부분점수를 매깁니다. 다만 평가받는 모델이 자기 답을 채점하면 천장이 생기는 법. 심판은 언제나 후보군 밖 모델로 두고, 실행 환경까지 격리합니다.

라이브로 확인한 세 장면

기획안 속 숫자가 아닌, 실제로 모델을 돌려 본 결과입니다.

첫째, 모델 사이에 변별이 살아 있습니다.

세 모델을 같은 101문항에 세웠습니다. 상위 92.0점, 중위 86.3점, 하위 51.7점. 직전 30.1점보다 더 벌어진 차이입니다. 신규로 넣은 소득세 양도·소득구분 문항이 약한 모델을 더 선명히 갈라 준 결과입니다. 모두 만점이라 변별이 사라지는 포화의 반대 방향, 아직 잴 여지가 남았다는 신호.

둘째, RAG는 정답을 알려주기보다 환각을 막아 점수를 올립니다.

법령 원문을 주입하는 RAG 모드는 평균 72.4점을 81.0점으로 끌어올렸습니다. 8.6점의 이득. 안을 들여다보면 메커니즘이 보입니다. 약한 모델이 존재하지 않는 근거를 지어내던 사례가 14건에서 4건으로 71% 줄었습니다. 모델을 더 똑똑하게 만든다기보다, 가짜 출처를 지어내는 습관을 눌러 주는 셈. 만능은 아닙니다. 답이 곧 조문인 문항에선 크게 오르지만, 정당한 사유나 절차 판단이 필요한 국세기본법 문항에선 오히려 떨어졌습니다. 조문만 던져 주면 모델이 엉뚱한 데 닻을 내리니까요. 모드별 차이를 분해해 보여 주는 것 자체가 정답률 하나를 넘어서는 지점입니다.

셋째, 도구 사용은 강제하고 대조해야 믿을 수 있습니다.

답이 외부 사실을 필요로 하면 모델이 알아서 도구를 쓸까요. 아니었습니다. 감가상각 한도처럼 유명한 규정을 묻자 세 모델 모두 도구를 한 번도 쓰지 않았습니다. 이미 외우고 있으니까요. 더 날카로운 장면은 따로 있었습니다. 도구 사용을 강제로 걸자, 약한 모델은 조회를 0회 하고도 조문 원문을 토씨까지 정확히 인용하며 "도구 확인 완료"라 적었습니다. 날조. 기억으로 적은 인용과 실제 조회한 근거는 글자만 봐선 구별되지 않습니다. 모델이 무엇을 진짜 조회했는지 코드로 대조하는 장치, 그 하나가 거짓을 잡아냈습니다. 상위 모델은 같은 문항에서 2회 조회로 99점, 약한 모델은 날조 감점으로 78점.

인접한 벤치마크와 무엇이 다른가

한국과 해외의 법률·세무 벤치마크를 실측해 비교했습니다. KMMLU-Pro는 세무사·회계사·관세사 자격시험을 다룹니다. KBL은 한국 법률, LegalBench는 영미 법률 추론, PLAT은 가산세 적법성을 봅니다. 대부분 객관식 정답률이나 분류 정답을 잽니다.

다른 지점은 셋입니다. 정답률 대신 답변을 다섯 축으로 채점한다는 것. 조문과 기준서 문단 단위로 인용 정확성을 코드 채점한다는 것. 문항마다 시점을 관리해 개정세법을 추적한다는 것. 조사 범위 안에서 인용 정확성을 직접 채점하는 벤치마크는 없었습니다. 우연한 교차확인도 하나 있습니다. 법률 벤치마크 KBL에서 외부 자료를 붙인 개선폭이 8.6%. 우리 RAG 이득과 같은 크기였습니다. 독립된 벤치마크에서 검색의 효과가 나란히 재현된 셈입니다.

지금 상태와 솔직한 한계

공개 리더보드는 이미 라이브입니다. tax-benchmark.askewly.com에 들어가면 모델별 랭킹과 차원별 히트맵, 대표 오류 사례가 한눈에 들어옵니다. 재시도로 최고점만 올리거나 불리한 결과를 슬쩍 내리는 왜곡. 그것을 막는 제출 규칙도 화면에 박아 두었습니다.

한계도 숨기지 않겠습니다. 지금은 본인 단독 검수 단계. 외부 세무·회계 전문가의 검수 절차를 도입할 예정이고, 그 관문을 통과한 문항만 정식 버전으로 올립니다. LLM 심판에는 실행마다 점수가 흔들리는 분산이 있어, 표본이 작은 실험의 결론은 방향성으로만 한정합니다. 1차 범위는 한 계열의 세 모델. 다른 벤더 모델과의 교차 변별은 다음 차례입니다.

세무 AI가 신뢰를 얻는 길은 결국 한 가지. "잘 말한다"가 아니라 "검증을 통과했다", 그 증거를 내놓는 일입니다. K-TaxBench는 그 기준이 되려 합니다.