스탠퍼드대, AI 투명성 지수 발표

미국 스탠퍼드대 인간주임인공지능연구소(HAI)의 AI 모델의 투명성 지수



미국 스탠퍼드대의 인간중심인공지능연구소(HAI)는 5월21일(현지시간) 오픈AI(GPT-4), 구글(1.0 울트라), 메타(라마2), 앤스로픽(클라우드3), IBM, 미스트랄 등 주요 14개 AI 모델 파운데이션 모델에 대한 투명성 지수(FMTI) 평가 보고서를 내놨다.

이 보고서는 지난해 10월 처음 발표된 이후 7개월 만에 업데이트됐다. 조사 대상 모델은 지난해 10개보다 4개 더 늘었다.

HAI 투명성 지수는 대규모 언어모델(LLM)의 투명성을 평가하기 위해 마련된 것으로, 사회적으로 영향력 있는 AI 개발자들이 개발 과정, 훈련 방식 등을 더 많이 공개하도록 장려하는 데 목적이 있다.

매개변수와 훈련방식, 데이터 공개 여부, 설명 가능성 등의 지표를 기준으로 100점 만점으로 평가했다. 이번 평가에서 14개 모델 중 허깅페이스-서비스나우의 '스타코더'가 85점으로 가장 높은 점수를 얻었다. 이에 반해 오픈AI의 GPT-4는 49점으로 11위에 그쳤다. GPT-4는 지난해 10월 48점을 받았다.

최근 오픈AI의 GPT-04(포오)의 음성이 미국 유명 배우 스칼릿 조핸슨의 목소리를 모방했다는 논란에 휩싸인 상황에서 투명성 지수가 발표돼 더 주목을 끈다.

구글의 1.0 울트라는 47점으로 12위였고, 작년 10월에는 구글의 팜2가 조사 대상에 포함돼 40점을 얻었다. 앤스로픽의 클로드3은 51점으로 10위, 마이크로소프트의 '파이-2'는 62점으로 5위, 메타의 '라마-2'는 60점으로 6위를 각각 기록했다.

알레프알파의 '주라식-2'와 IBM의 '그래나이트'는 폐쇄모델이지만 각각 2위, 4위를 차지했다.

조사 대상 모델의 평균 점수는 지난해 10월 37점에서 58점으로 높아졌다.

연구팀은 "AI 개발자들이 모델 학습에 사용하는 데이터, 데이터에 접근할 수 있는 사람, AI가드레일이 얼마나 효과적인지에 대해선 계속 비밀에 부치고 있다"며 "앞으로 투명성의 진전이 책임성 강화, 혁신 증대, 정책 개선 등과 같은 더 나은 사회적 결과로 이어졌으면 한다"고 말했다.