셀렉트스타, 신한은행과 금융 LLM 벤치마크 개발⋯ICAIF 워크숍 채택

금융지식·검색증강생성·도구 호출·안전성 등 6개 영역 평가

[아이뉴스24 최효경 기자] 셀렉트스타는 신한은행과 공동 연구한 금융 특화 대규모언어모델(LLM) 평가체계 '케이뱅크이밸(K-BankEval)' 논문이 국제금융인공지능학회 'ICAIF 2026' 워크숍에 채택됐다고 17일 밝혔다.

셀렉트스타, 신한은행과 공동연구한 금융 특화 LLM 평가 벤치마크 ‘K-BankEval’ 논문 채택. [사진=셀렉트스타]

해당 논문은 '한국 은행 업무에 적합한 LLM 선정을 위한 요구사항 기반 벤치마크'로, 지난 15일 이탈리아 밀라노에서 열린 금융 AI 보안·안전성·프라이버시 워크숍에서 포스터로 발표됐다.

K-BankEval은 금융지식, 검색증강생성(RAG), 금융 업무 도구 활용, 금융 추론, 답변 안전성, 인공지능(AI) 에이전트 업무 계획 등 6개 영역 5000개 항목으로 구성됐다. 범용 벤치마크의 질의응답 정확도뿐 아니라 은행 업무에 필요한 자료를 찾고, 적절한 도구를 선택해 여러 단계의 업무를 수행할 수 있는지도 살핀다는 설명이다.

금융권에서는 AI 도입에 따른 신뢰성과 보안성을 별도로 검증해야 한다는 요구도 커지고 있다. 금융보안원은 지난 8월 국내 최초 금융 AI 안전성·신뢰성 평가 프레임워크를 내놓고, 모델 성능과 환각, 데이터 품질·편향, 설명 가능성, AI 특화 보안 위협 등을 평가 항목으로 제시했다. 올해 시범 검증을 거쳐 2027년부터 평가 업무를 시작할 계획이다.

김세엽 셀렉트스타 대표는 "실제 은행 업무에서 요구되는 AI 역량을 구체화하고 객관적으로 평가할 체계를 마련했다는 데 의미가 있다"며 "금융 AI의 업무 적합성과 안전성을 함께 검증하는 AI 신뢰성 평가 역량을 강화하겠다"고 말했다.

/최효경 기자(hyomirror@inews24.com)