AI·THE EXPLAINERニュースを理解する
Study maps AI benchmark gaps across US jobsAI基準、米国の仕事の9割未カバー
Mercor's Benchmark Map finds 90% of US working hours involve tasks with little or no coverage from existing AI benchmarks.MercorのBenchmark Mapによると、米国の労働時間の90%は既存のAIベンチマークでほとんど測定されていないタスクに費やされている。
THE SOURCE TRAIL情報の根拠
Based on linked publications. No first-party document or classified news organization is linked in this record.掲載元の記事をもとにしています。この記録には当事者・公的資料や、分類済みの報道機関へのリンクがありません。
Claims checked against source text主張と原典の照合記録（英語）
An automated review linked these claims to supplied source text. This is not a human fact-check or independent verification of the source.自動点検が、記事の主張と入力した原典本文を対応づけた記録です。人による事実確認や、原典自体の正しさを独立して検証した結果ではありません。
90% of American working hours are spent on tasks with little or no coverage from existing benchmarks
www.mercor.com ↗Only 208 of 923 occupations have a task with at least 5 benchmark prompts, and 6 of 22 job families have no such occupations
www.mercor.com ↗Benchmarks heavily cover lawyers' tasks but barely cover legal secretaries or court clerks, suggesting coverage skews to largest labor markets
www.mercor.com ↗
Reviewed: 照合日時：
What happened何が起きたか
Mercor built a Benchmark Map using the US Department of Labor's O*NET taxonomy, covering 923 occupations and 18,797 tasks, checked against 29 selected AI benchmarks. It found only 208 of 923 occupations and 924 of 18,797 tasks have meaningful benchmark coverage, with 6 of 22 job families having none.Mercorは米労働省のO*NET分類を用い、923の職業と18,797のタスクを29種類のAIベンチマークと照合する「Benchmark Map」を作成した。その結果、923職業中208職業、18,797タスク中924タスクのみが十分にカバーされており、22の職業グループのうち6グループには該当する職業が一つもなかった。
Why it matters何が変わるのか
Existing benchmarks skew toward large labor markets like software engineering, lawyers and research tasks, while smaller middle-income jobs such as legal secretaries, healthcare practitioners and educators are largely untested, limiting understanding of AI's real workplace capabilities.既存のベンチマークはソフトウェアエンジニアリングや弁護士などの研究・大規模労働市場に偏っており、法律秘書や医療従事者、教育関係者といった中規模の知識労働はほとんど測定されていない。これはAIの実務能力を正確に把握する妨げになる。
What’s nextこれからの動き
Mercor says it is actively working on these coverage gaps and invites others working on the same problem to reach out.Mercorはこの課題に取り組んでいるとし、同様の研究を行っている人々に連絡を呼びかけている。
A little context · terms in this story理解の手がかり · この記事の用語
- Benchmark
- A test used to compare performance under particular conditions. A higher score on one test does not establish that a product is better for every real task.特定の条件で性能を比較するテスト。あるテストで高得点でも、実際のあらゆる用途で優れているとは限りません。
Read the sources原典を読む
The marked texts informed this summary. Other links provide related coverage; a link is not independent verification.印のある記事本文を要約の材料にしています。ほかは関連情報です。リンクの数は独立した裏付けの数を意味しません。
More in AIAIのほかの記事
MiniMax launches M3.1 Flash, cuts agent task costs 70%MiniMax、M3.1 Flash発表 エージェント費用7割減
12 linked sites関連12サイト
Mistral launches Voxtral 3 speech models and voice agent SDKMistral、音声エージェントSDK「Voxtral 3」公開
1 linked site関連1サイト
Anthropic opens Claude Duet preview on waitlistAnthropic、Claude Duetの先行体験開始
19 linked sites関連19サイト