헬로티 –매일 만나는 첨단 산업, 경제, IT 소식

AI AI 안전 생태계 확산의 첫걸음...인공지능 모델 안전성 첫 평가

과기정통부‧AI안전연구소‧한국정보통신기술협회, 국내 연구진이 개발·구축한 데이터셋 기반 국내 최초 AI 안전성 평가 결과 공개 과학기술정보통신부(이하 ‘과기정통부’)는 인공지능안전연구소(이하 ‘AI안전연구소’), 한국정보통신기술협회(이하 ‘TTA’)와 함께 카카오의 AI 모델인 Kanana를 대상으로 국내 첫 AI 안전성 평가를 실시하였다고 밝혔다. AI 안전성 평가는 AI 위험 식별ㆍ평가를 통해 AI 시스템의 안전성을 확보하는 수단 중 하나이다. 과기정통부는 내년 1월로 예정된 AI기본법 시행을 앞두고, 기업의 고성능 AI 모델에 대한 안전성 확보 컨설팅을 지원하고 있다. 이번 안전성 평가는 AI안전컨소시엄에 참여 중인 카카오 측과의 협의를 거쳐 카카오의 AI 모델인 ‘Kanana Essence 1.5’를 대상으로 실시했다. 평가에는 TTA·카이스트(최호진 교수 연구팀)가 지난 11월 18일 공개한 AssurAI 데이터셋과 AI안전연구소의 고위험 분야 평가 데이터셋이 사용되었으며, 폭력, 차별적 표현 등 일반적인 위험 요소부터 무기, 보안 등 오남용 가능성이 높은 시나리오까지 적용하여 폭넓게 점검했다. 그 결과, Kanana는 유사 규모의 글로벌 모델 대비

김진희 기자

2025-12-30 20:58

최신뉴스 포티투마루, '대한민국 AI안전컨소시엄’ 업무협약 체결한다

AI 안전에 대한 과학적 이해 증진, AI 안전정책 고도화 및 안전제도 확립 지원 등 추진 포티투마루가 27일(수) 진행되는 AI안전연구소 개소식에 참석해 ‘대한민국 AI안전컨소시엄’ 업무협약을 체결한다고 밝혔다. 11월 27일(수) AI안전연구소가 위치한 판교 글로벌R&D센터에서 개최되는 ‘AI안전연구소 개소식’은 정부기관, 국가 AI위원회, 산업계, 학계, 공공기관 및 자문위원 등 다양한 분야의 전문가들이 참석한 가운데 진행된다. AI안전연구소는 AI 안전성을 평가·연구하는 전담조직으로, 아태지역을 대표하는 글로벌 AI 안전 거점연구소를 구현하는 것을 목표로 하며, AI 안전에 대한 과학적 이해 증진, AI 안전정책 고도화 및 안전제도 확립 지원, 국내 AI기업의 안전 확보 지원 등을 담당하게 된다. 포티투마루 김동환 대표는 민간부문 AI 대표기업들과 함께 개소식에 참석하고, ‘대한민국 AI안전컨소시엄’ 업무협약을 체결할 예정이다. 포티투마루는 AI안전연구소와 함께 인공지능 안전에 관한 정책연구와 평가, 연구개발에 있어 상호 협력하게 된다. 이 외에도 인공지능위험의 식별·평가·완화에 관한 기준·방법·절차 등의 수립, 평가도구 개발 등 테스트베드 구

서재창 기자

2024-11-27 14:09