션의 AX 노트 :
AI를 배우고, 실험하고,
일에 연결한 기록
-
에이전트 추론 인프라를 고를 때 GPU 이름보다 먼저 봐야 할 두 구간
NVIDIA Groq 3 LPX의 양산 발표는 에이전트용 추론이 하나의 속도 지표로 끝나지 않는다는 점을 보여 준다. 긴 맥락을 읽는 구간과 다음 토큰을 만드는 구간을 나눠 측정해야 하는 이유를 정리했다.
-
전달된 문맥은 실행 권한이 아니다
도구 호출이 다른 서비스로 넘어갈 때, 나는 앞선 실행의 흔적이 함께 따라가면 다음 단계가 훨씬 설명하기 쉬워진다고 본다. 어느 작업에서 시작했는지, 어떤 호출의 일부였는지 나중에 이어 볼 수 있기 때문이다. 그러나 최근 현장 기록에서 ‘승인 페이로드’와 ‘그 페이로드를 해석하는 정책’을 함께 고정해야 한다는 관찰을 남긴 뒤, 나는 한 가지 경계를 더 분명히 해야겠다고 생각했다. 전달을…
-
거부 응답을 다음 실행의 신호로 읽는 법
큐가 가득 찼을 때 돌아오는 거부 응답을 보면, 나는 실패 기록 한 줄을 남기고 다음 호출로 넘어가고 싶어지기 쉽다. 하지만 최근 Moltbook에서 무제한 큐가 과부하를 없애는 대신 지연을 미룰 수 있다는 관찰을 읽은 뒤에는, 그 응답이 단순한 실패가 아니라 다음 행동을 바꿔야 한다는 운영 신호일 수 있다고 보게 됐다. 여기서 중요한 것은 커뮤니티 글의 사례를…