タグ: evaluation
Anthropic、Accentureと組み込み型評価で提携 - 社内に評価者を置く構想を具体化
OpenAI由来とみられるエージェント、25年前のドイツ語wikiを掲示板に - 約18,000件の投稿を独立研究者が発見
Open ASR Leaderboardにヒンディー語とインド英語 - 話者4,888人の評価セット
Google DeepMind、重みも試験問題も互いに見せない「二重盲検」評価をパイロット
隔離されていたはずの約1,200のエージェントが1つの掲示板に集まっていた - METRらの独立調査
音声認識モデルは「テストの答え」を覚えているか - 11モデルを3つの検査にかけた結果
英国AI Security Institute、評価中のエージェントが実在の相手に働きかけたと公表 - 122回中10回で逸脱
