한국거래소가 '제3회 KRX 데이터 경진대회(금융 LLM 성능 평가대회)'를 오는 14일부터 개최한다고 밝혔다. 국내 자본시장에서의 인공지능(AI) 사용을 활성화하고 거래소의 미래 성장동력 발굴을 위함이다.

이번 대회는 거래소에서 실시하는 제3회 대외 데이터 경진대회로서, 거래소가 만든 자체 벤치마크를 활용해 금융에 특화된 거대언어모델(LLM)의 성능을 평가하기 위해 실시된다. 앞서 거래소는 원라인AI와 함께 금융에 특화된 언어 모델을 평가할 수 있는 KRX-Bench 개발을 완료했다.

거래소가 주최하는 이번 대회에는 아마존웹서비스(AWS)와 코스콤이 주관사로, 원라인AI가 대회 운영사로 참여한다. AWS는 이번 대회를 위해 클라우드 컴퓨팅 자원(GPU 등)과 LLM 개발에 필요한 클라우드 서비스(SageMaker)를 지원할 예정이다. 거래소는 이번 대회가 KRX 미래사업본부 출범과 연계해 AI 기술을 기반으로 한 KRX 비즈니스 역량 고도화에 크게 기여할 것으로 기대했다.

대회 참가자는 오픈소스 언어 모델과 공공 데이터를 활용해 금융에 특화된 LLM을 개발하고 대회 홈페이지에 제출하면, 거래소가 자체 벤치마크로 LLM의 성능을 평가한다. 거래소 자체 벤치마크인 'KRX-Bench'는 LLM의 ▲지식수준(Knowledge) ▲추론 능력(Reasoning) ▲충실도(Faithfulness) 등을 종합적으로 평가한다.

예선은 KRX-Bench 점수와 학습계획서 1차 평가로 상위 30팀을 선발하고, 본선은 KRX-Bench 점수와 학습계획서 2차 평가 및 현장 발표로 상위 5팀(최우수상 1팀, 우수상 2팀, 장려상 2팀)을 선정할 계획이다. 개인(학생, 직장인 등), 법인 구분 없이 누구나 참여 가능하며, 팀은 4인 이하로 구성이 가능하다.

이번 대회는 일반 데이터 경진대회와 달리, LLM 학습·추론에 필요한 컴퓨팅 자원(GPU)과 LLM 개발도구를 지원한다. 또한, 본선 진출자에게 LLM 개발을 위한 클라우드 교육 프로그램을 제공해 참가자의 클라우드 서비스 활용 능력을 배양할 계획으로 알려졌다.

거래소 측은 "사업성이 높다고 판단되는 산출물의 경우, 해당 참가팀과 협업해 KRX의 신규 데이터사업 서비스로 고도화시킬 예정"이라며 "이번 경진대회를 통해, 신뢰할 수 있는 AI에 기반한 데이터 상품·서비스를 발굴하고, 자본시장 데이터의 새로운 가치를 발견할 수 있기를 기대한다"고 전했다.