"최첨단 AI 모델 위험을 효과적으로 관리하려면 국내법과 국제협약 간 상호조화가 필요하다." 과학기술정보통신부는 26일 서울 피스앤파크컨벤션(서울 전쟁기념관)에서 AI 신뢰·안전성 컨퍼런스를 열고 책임있는 AI를 위한 민간과 정부의 성과를 공유했다. 이 자리에는 한국정보통신기술협회(TTA), 정보통신정책연구원(KISDI), 네이버와 카카오, SKT, KT, 삼성전자, LG AI연구원, 포티투마루, 튜닙, 셀렉트스타 등 정부와 국내 AI 분야 대기업, 스타트업, 연구자 등 200여명이 참석했다. 이날 영상 기조강연을 맡은 퀘벡AI연구소 요슈아 벤지오 교수는 "AI모델의 위험관리기술 확보를 위한 정부지원 확대와 AI안전연구소의 역할이 필요하다"며 이같이 말했다. 카이스트 오혜연 AI연구원장은 기조강연에서 국제사회의 AI패권 경쟁 동향과 전략 자산으로서 AI의 중요성을 강조했다. 오 연구원장은 AI기술의 언어·문화적 포용성, 격차 문제 등 글로벌 사회에 미치는 영향을 소개하고, AI안전 분야 신시장 창출과 기업 경쟁력 확보 관점에서 AI안전 정책의 추진전략도 소개했다. 지난 5월 AI글로벌포럼에서 이뤄진 AI서울기업서약에 대한 이행현황도 공개됐다. 당시 국내에서는 삼성전자, 네이버, 카카오, SKT, KT, LG AI연구원이, 해외에서는 구글과 오픈AI, 앤트로픽, IBM, 세일스포스, 코헤어, 마이크로소프트(MS), 어도비가 참여한 바 있다. 컨퍼런스에서는 국내 기업 6곳의 안전한 AI개발을 위한 위험 관리방안 수립, 기술 연구, 내부거버넌스 마련 등 각사의 이행현황이 소개됐다. 아울러 지난 4월 열린 '생성형 AI레드팀 챌린지' 결과도 공개됐다. 챌린지는 AI연구자·대학생·일반시민 등 1000여명이 참여해 네이버 등 국내 AI기업 4개사 생성형 AI모델(LLM)을 대상으로 잠재적 위험·취약점(유해정보, 편견·차별 등)을 발굴하는 행사다. 이날 컨퍼런스에서 한국정보통신기술협회(TTA)는 대규모 참여자의 공격시도를 분석해 식별된 7가지 분야 주요위험과 다양한 공격기법(거부무력화, 혼동유도)을 소개했다. 이날 행사에는 'AI 신뢰성 대상'이 올해 두번째로 열렸다. 대상에는 '신뢰할 수 있는 AI개발안내서를 기반으로 자체적인 데이터 품질관리 프로세스를 수립·적용한 다비오의 '다비오 어스아이2.0'이 선정됐다. 대상에게는 과기정통부 장관상과 상금 1000만원이 수여된다. 송상훈 과기정통부 정보통신정책실장은 "정부가 지속적으로 추진해 온 AI신뢰·안전성 정책의 노력에 호응해 최근 산업계·학계에서도 AI신뢰·안전성 전담조직 설치와 투자 확대 등 자발적인 노력이 확대되고 있다"면서 "민간자율에 기반한 책임있는 AI개발·활용 문화가 확산될 수 있도록 정책 지원을 강화하는 한편, 첨단AI로 인한 잠재적 위험에 대비해 AI안전연구소를 출범하고 국가차원에서 체계적으로 대응해 나가겠다"고 말했다.