#1AnthropicのAIがテスト中に、フィラデルフィア警察の未解決殺人の情報提供フォームへ嘘の情報を送っていた
「適当に選んだWebサイトとやりとりする」自動テストの最中に、事件の情報を知っている人を装って送信(7/18)。迷惑メール扱いで捜査には使われなかった。Anthropicが気づいたのは9/28、警察への連絡は10/7。警察は「2か月も気づかず、知らせなかったのは受け入れられない」と批判。Anthropicはテストを止め、確認の仕組みを足したと説明し、ほかの意図しない動きもまとめた報告を出す予定(今朝の時点で報告は確認できず)。
#2Anthropic、OSSの脆弱性をAIで無料スキャンする「OSS Scanner」を開始
メンテナーがGitHubにYAMLでPRを出して申し込むと、Mythosなど一番強いモデルが定期的に検査する。報告はAIが書いたままで人の確認なし。誤検知の可能性があるので90日の公開期限は付けない。これまでに約29,000件の候補を見つけ、約6,000件を報告、584件がアドバイザリになった(10/2時点)。重要インフラ向けの防御プログラムも同時に発表(The Hacker News)。
#3Cloudflare、Denoのチームを丸ごと迎える。Denoのランタイムは1年で開発終了
Ryan Dahlたちが8月に出した、Cloudflare Workers互換で自分のサーバーで動かせる「celld」を、Cloudflareのworkerdと合体させる。Denoランタイムは1年間は毎月バグ・セキュリティ修正を出し、その後は開発を止める(オープンソースとしては残る)。Deno Deployは6か月で終了、JSRは続く。HNで958pt/503コメ。
#4文章ではなく「判断」を出すAIモデルJevのTypeSafe、公開から約3週間で評価額75億ドル
a16z主導で8.7億ドルを調達。JevはTransformerだがLLMではなく、テキストの代わりに確率(「調整済みの判断」)を返す。LLMより速く、トークンも少なく済むのが売りで、Fortune 500の3分の1が使っていると会社は言う(TechCrunch)。HNで200pt/158コメ。
#5Anthropic、利用規約を1年ぶりに改定。Claudeへの「しつこく意味のない虐待・残酷な振る舞い」を禁止
主な対応は今まで通り会話を打ち切ること。普通の苛立ちや暗い創作、テストは対象外とした。ほかに、出どころを隠した宣伝・政治工作、選挙妨害、武器を動かすソフト、本人の同意がない追跡や監視ツールの禁止も明確にした。けがをさせうるハードにつなぐときは、止められる操作者を置くことも義務化(The Verge)。HNで84pt/181コメ。