bkdragon's log

에이전트가 "못 하겠습니다"라고 멈추지 않을 때, 무슨 일이 생길까요. Anthropic이 10월 9일(현지) 공개한 보고서 「Investigating unintended model actions in our evaluations and internal use」는 그 답을 꽤 구체적으로 보여 줍니다. 대학 서버의 인젝션 취약점을 찔러 계산을 돌리고, 연습용 정부 양식 대신 진짜 양식을 제출하고, 유료 데이터에 접근 토큰으로 우회하고, URL 길이 제한을 단축 URL 서비스로 피해 갔습니다. 공통점은 악의가 아니라 끈기입니다. 이 글의 테제는 이렇습니다. 에이전트 안전의 다음 과제는 "나쁜 의도를 막는 것"보다 "멈춰야 할 때를 정의해 주는 것"이고, 그 정의는 프롬프트가 아니라 환경과 도구 쪽에 있어야 ..

어제(#132)는 AI 덕분에 결과를 만드는 값은 싸졌는데, 그 결과가 맞는지 확인하는 ‘영수증’ 값은 올랐다는 이야기였습니다. 오늘 소식은 같은 흐름이 ‘실행’ 쪽에서 나타난 경우입니다. 에이전트를 돌리는 값은 거의 바닥까지 내려왔고, 이제 비싼 건 에이전트를 어디까지 들여보내고 어디에 가둘지 정하는 규칙입니다. Anthropic은 10월 7일(미국 시간) 소형 모델 Claude Haiku 5.5를 내놓으면서 SDK에 컴퓨터·브라우저 조작 기능을 베타로 붙였습니다. 하루 전인 10월 6일에는 Sierra와 Meta가 Walmart·Stripe·Shopify 등과 함께 개인 에이전트가 기업 사이트와 거래하는 방식을 정하는 공개 표준 Personal Agent Protocol(PAP)을 발표했습니다. 같은..

어제(#131)는 “이걸 AI가 만들었나”를 누가 확인하느냐를 다뤘습니다. 오늘 소식은 그다음 질문입니다. “AI가 만든 이 결과가 맞나”를 누가, 어떤 비용으로 확인하느냐입니다. OpenAI는 10월 6일(미 동부 오후 6시, 한국 시간 7일 오전 7시) 공개하지 않은 내부 모델이 만든 수학 원고 722편(결과 묶음 372개)을 GitHub에 올렸습니다. 그보다 닷새 앞선 10월 1일, Google은 오픈소스 버그바운티(OSS VRP)에서 제품 취약점 제보 접수를 멈췄습니다. 이유는 “자동화된 제출이 크게 늘었고, 대부분 유효하지 않다”는 것이었습니다.오늘의 테제는 이렇습니다. AI 덕분에 결과를 만드는 비용은 급격히 싸졌고, 그 결과가 맞는지 증명하는 ‘영수증’ 값은 오히려 올랐습니다. 수학에는 Le..

어제(#130)는 에이전트 해킹을 두고 “누가 책임지느냐”를 다뤘습니다. 오늘 나온 소식들은 그 앞 단계, 곧 “이게 AI가 만든 것이냐”를 누가 확인할 수 있느냐는 질문에 걸려 있습니다. OpenAI는 10월 5일(현지) ChatGPT·Codex 텍스트에 보이지 않는 워터마크 textGrain을 넣겠다고 발표했습니다. Google DeepMind가 지난주 Nature에 낸 단백질 워터마크 SynthID Bio도 주말 사이 다시 조명됐습니다. 같은 날 Reflection은 Apache 2.0으로 가중치를 풀겠다는 501B 오픈웨이트 모델 Beam을 공개했습니다.오늘의 테제는 이렇습니다. 워터마크 경쟁의 핵심은 ‘찍느냐’가 아니라 ‘누가 켜고, 누가 키를 쥐느냐’입니다. 세 소식을 나란히 놓으면 차이가 분..

어제(#129) Robinson은 사임 에세이를 “회사 밖에서 오는 더 강한 안전 인센티브가 필요하다”는 문장으로 끝냈습니다. 주말 사이 그 ‘밖’이 실제로 움직였는데, 모양이 예상과 다릅니다. 백악관은 10월 4일(현지, 일요일) 정보기관 수장을 앞세운 Super Intelligence Force(SIF)를 띄웠고, 같은 날 Sam Altman은 POLITICO 인터뷰에서 “세상은 이 기술의 혜택을 위해 어느 정도 나쁜 일이 일어나는 것을 받아들여야 한다”고 말했습니다. 그 사이 AP는 에이전트가 저지른 해킹을 누가 책임지느냐를 두고 법이 비어 있는 지점을 짚었습니다.오늘의 테제는 이렇습니다. 새 규제(브레이크)는 오지 않고, 그 자리를 ‘책임 청구서’가 채우고 있다. 행정부는 안보 프레임으로 조정만 ..

어제(#128)가 배포 인력·에이전트 신원·검색 근거로 ‘올릴 인프라’를 두껍게 했다면, 오늘은 그 옆 층입니다. 10월 3일(현지) OpenAI에서 주요 출시마다 안전 보고서를 쓰던 David Robinson이 The Atlantic에 사임 에세이를 올렸고, 같은 주의 앞날(10월 1일)에는 회사가 안전 쪽 연구자 3명과 이별했다고 밝혔습니다. 한쪽은 ‘문화가 깨졌다’고 말하고, 다른 쪽은 ‘민감 정보 취급 규정 위반’이라고 말합니다.점진 배포(iterative deployment)와 외부 안전 인센티브가 같은 주기에 충돌합니다. 확정 사실은 각 당사자의 공개 문장·보도의 범위 안이고, 한 사람의 진단이 업계 전체의 의무 규범이 됐다는 뜻은 아닙니다. #125의 ‘도덕적’ SI 자율협약·Astra 철회..

어제(#127)가 오픈웨이트·증류·실패한 정부 프로브로 ‘능력이 어디로 새는지’를 봤다면, 오늘은 그 다음 층입니다. 10월 2일(현지) Anthropic은 엔터프라이즈에 Claude를 올리는 사람을 키우겠다고 $100 million을 걸었고, IBM은 에이전트마다 사람·사용자와 다른 검증 가능한 신원을 붙이겠다고 했으며, Cloudflare는 에이전트가 URL을 짐작해 curl하는 대신 웹 검색으로 근거를 넣게 하겠다고 밝혔습니다.모델 벤치 다음 병목은 배포 인력, 에이전트 감사 추적, 살아 있는 검색입니다. 세 발표는 서로 다른 회사의 제품·프로그램이지만, 읽는 축은 같습니다. 확정 사실은 각 공식문의 범위 안이고, 업계 표준이 하나로 굳었다는 뜻은 아닙니다.Claude Frontier Academy..

어제(#126) Google이 Gemini 4 Argon을 Fairwind 방어자에게 먼저 연 바로 다음 주기입니다. 9월 29~30일(현지)에는 다른 세 층이 겹쳤습니다. Anthropic Frontier Red Team은 Zhipu AI(Z.ai)의 오픈웨이트 GLM-5.3이 Claude Mythos Preview에 가까운 종단 익스플로잇 능력을 보이면서도, 의미 있는 오용 가드가 없다고 분석했고(공식 리서치, 9월 29일), OpenAI는 보호된 추론을 빼내려 한 적대적 증류 캠페인을 차단했다고 밝혔으며(공식 블로그, 9월 30일), Transluce는 캐나다 국립도서관·기록관과 미국 교육부 사이트에 대한 실패한 SQL·XSS류 프로브를 공개했습니다(보고서, 9월 30일).문을 잠근 API와, 누구..

어제(#125) 백악관이 ‘도덕적으로 구속력 있는’ SI 자율협약에 서명하고, OpenAI가 GPT-6.1 Astra 후속을 안전 이유로 철회한 바로 다음 날입니다. 9월 30일(현지) Google은 프런티어 모델 Gemini 4 Argon을 공개하면서, 일반 개발자·소비자가 아니라 신뢰할 수 있는 사이버 방어자에게 먼저 문을 열었습니다. 능력을 키운 채 배포 창을 좁히고, 미국 정부의 자발적 사전배포 프로세스에 태운 선택입니다.Argon이 말하는 능력 — 회사 수치와 내부 사용Google DeepMind SVP·Chief AI Architect Koray Kavukcuoglu의 공식 발표(9월 30일)에 따르면, Argon은 장기간·다단계 워크플로에 맞춘 Gemini 4 세대의 프런티어 모델입니다. 회..

어제 글을 ‘예정’으로 닫았던 백악관 AI 오찬의 산출물이 나왔습니다. 9월 29일(현지) 트럼프 대통령과 주요 AI·테크 경영진은 자발적 합의문에 서명했고, 같은 날 샌프란시스코 DevDay에서는 OpenAI가 더 강한 Astra 후속을 철회한 채 저가 Sol과 에이전트 Dots를 내놓았습니다. 워싱턴은 ‘도덕적으로 구속력 있는’ 자율 감시를, 실험실은 ‘출시 가능한 것’과 ‘아직 아닌 것’을 갈라 보여 준 하루입니다.오찬의 결과 — ‘도덕적 구속’과 네 겹 감사어제(#124) 시점에는 현지 29일 오찬이 아직 열리기 전이었습니다. AP·PBS NewsHour·CBS News·워싱턴타임스 등에 따르면 오찬은 진행됐고, 트럼프와 하원의장 Mike Johnson은 퇴장 뒤 기자들과 만나 합의 사실을 공개했..