Why leaderboards fall short in measuring AI model value

Leaderboards are a widely accepted method for comparing the performance of AI models. Typically built around standardized tasks and publicly available datasets, they provide an easily digestible view of how various models stack up against one another. While they do offer some insights, leaderboards actually aren’t the best metric for determining a model’s effectiveness in…

AI benefits don’t scale

Nothing I might write about generative AI could be particularly new. Or at least, there’s nothing obviously new and important in recent commentaries on the subject. Commentaries about the commentaries? That’s far more likely to be fruitful. There is, for example, this popular cliché regarding AI adoption: that AI will automate mundane tasks, allowing humans…

오픈AI, 미 공공기관 특화 AI 프로젝트 착수···“행정부터 안보까지 효율화 지원”

오픈AI 포 거버먼트 프로그램은 기존에 정부 기관에 제공해오던 챗GPT 거브(Gov)를 중심으로, 다양한 기술과 서비스를 하나의 체계로 통합한 프로젝트다. 모델과 기능을 안정적으로 제공함으로써, 정부 직원들의 역량을 강화하고 복잡한 행정 절차와 문서 작업을 줄이는 것이 목표다. 오픈AI는 이미 미국 국립연구소, 공군 연구소, NASA, 국립보건원(NIH), 재무부 등과 협력해 왔다. 이번 이니셔티브를 통해 미 공공 기관에 대한 지원을 통합하고,…

칼럼 | 주가 상승 이끈 오라클의 AI 중심 전환, 남은 과제는 개발자 공략

인프라와 AI 수요 급증에 힘입어, 오라클의 주가가 마침내 그간의 ‘클라우드’ 약속에 부응하고 있다. 설립 46년 차를 맞은 오라클은 2025 회계연도 4분기 실적 발표에서 매출 11% 증가(159억 달러)라는 예상 밖의 성과를 공개하며 미 월가를 놀라게 했고, 향후 전망도 낙관적으로 제시했다. 이에 따라 오라클 주가는 2001년 이후 최고의 주간 상승률인 24%를 기록했다. 투자자를 만족시키는 일은 비교적 쉽고,…

“엉터리 데이터, AI 성과 두 배로 망쳐”···글로벌 CIO 4인이 제시한 AI 시대의 데이터 관리 해법

고품질 데이터는 모든 IT 이니셔티브의 성공에 있어 필수적이다. 특히 AI 프로젝트에서는 그 중요성이 더욱 크다. 잘못된 데이터는 언제나 잘못된 결과를 낳으며, AI에서는 이로 인한 재무적 손실, 규제 위반에 따른 벌금, 평판 훼손 등 그 대가가 훨씬 더 크다. 반면, 성공적인 이니셔티브를 뒷받침하는 양질의 데이터는 전략적으로 중대한, 경우에 따라 판도를 바꿀 수 있는 경쟁력을 제공할 수…

중간 경력을 잡아라··· CISO들의 사이버 인재 확보 전략은?

사이버 보안 업계의 인재 부족 현상은 어제오늘 일이 아니다. 그러나 CISO들에게는 단순히 인재를 채용하는 것을 넘어, 기존 인재를 붙잡아 두는 일이 더 시급한 과제로 떠오르고 있다. IANS 리서치와 아티코서치(Artico Search)가 공동 발표한 보고서에 따르면, 사이버 보안 전문가의 60% 이상이 향후 1년 내 이직을 고려 중인 것으로 나타났다. 특히 경력 개발에 대한 불만이 이직을 고민하는 주요…

‘데이터브릭스 데이터+AI 서밋 2025’ 데이터 전문가를 위한 5가지 핵심 사항

지난주 열린 데이터브릭스 ‘데이터+AI 서밋 2025’에서는 클라우드 기반 데이터 레이크하우스 플랫폼에 적용될 다양한 생성형 및 에이전트 기반 AI 기능이 공개됐다. 주요 경쟁사인 스노우플레이크 역시 최근 개최한 자사 행사에서 비슷한 내용을 발표했다. 양사의 행사가 거의 같은 시기에 열리면서 제품 개발팀은 경쟁사의 발표에 맞춰 대응할 시간이 부족했다. 이 때문에 양사는 아직 시장에 출시할 준비가 되지 않은 제품이라도…