사용 가이드 › 상황별로
데스크톱 앱 맡기기
Keynote 처럼 컴퓨터에 깔린 앱도 AI 에게 맡길 수 있어요. 대화에서 앱 이름만 말하면 AI 가 앱을 열어 직접 다뤄요. 미리 연결하거나 등록할 필요는 없어요.
앱 이름을 넣어 시키기
무엇을 몇 장 만들지, 어디에 저장할지까지 말하면 한 번에 끝나요.
방금 분석으로 가을 신메뉴 회의 발표 자료 5장 만들어 줘. Keynote로
다 되면 말로 고쳐요. 「3장 차트는 막대로」처럼 장 번호를 짚으면 정확해요.
Keynote 만이 아니에요. Numbers · 메모 같은 Mac 앱, 메모장 · 계산기 같은 Windows 앱처럼 화면에 뜨는 앱이면 대부분 다뤄요.
쓸수록 그 앱을 잘 다뤄요
Claude Code · Codex 만으로도 앱을 다룰 수 있어요. Mulleh 는 여기에 더해 앱마다 다루는 법을 기록해 두고, 다음에 그 앱을 맡기면 그 기록부터 읽고 일해요.
- AI 가 해 보고 결과까지 다시 읽어 확인한 동작은 「익힌 동작」으로 남아요. 다음에는 통했던 방법을 그대로 써요.
- 헤맨 곳이나 주의할 점은 그 앱의 안내에 적어 두고, 앱을 더 알게 되면 기록을 다시 정리해요.
- 앱이 업데이트되면 버전을 보고, 새 버전에서 다시 확인할 동작을 가려요.
기록은 이 컴퓨터에 남아요. 지우려면 앱 줄의 ⋯ › 「기록 지우기」를 골라요.
AI 가 앱을 다루는 법
앱에 따라 AI 가 알맞은 쪽을 골라요. 무엇을 했는지는 대화에 줄로 남아요.
- 스크립트로
- Keynote 처럼 스크립트로 다룰 수 있는 앱은 「명령 실행」으로 AppleScript 를 돌리기도 해요. 줄 뒤에 실행한 명령이 보여요.
- 화면을 보고
- 화면을 읽고(「앱 화면 읽기」 · 「앱 창 보기」) 사람처럼 누르고 입력해요(「앱 누르기」 · 「앱에 입력」 · 「앱에 키 보내기」).
키를 보내거나 붙여 넣을 때는 그 앱을 잠깐 앞으로 가져오고, 클립보드를 빌렸다가 되돌려 놓아요. 그사이 다른 창을 쓰면 실패할 수 있으니 잠시 손을 떼 주세요.
처음 한 번 — Mac 의 허락
Mac 은 앱이 다른 앱을 다루기 전에 한 번 물어요. 처음 맡길 때 뜨는 창에서 허용해 주세요. 허락이 빠졌으면 AI 가 어디서 켜면 되는지 대화로 알려 줘요.
- 자동화
- Mulleh 가 Keynote 를 제어해도 될지 앱마다 한 번 물어요. 스크립트로 다룰 때 필요해요.
- 손쉬운 사용
- 화면을 읽고 누를 때 필요해요. 시스템 설정 › 개인정보 보호 및 보안 › 손쉬운 사용에서 Mulleh 를 켜고, 앱을 다시 띄워요.
- 화면 및 시스템 오디오 녹음
- 「앱 창 보기」처럼 앱 창을 그림으로 볼 때만 필요해요. 같은 곳에서 켜요.
Windows 는 이런 허락 없이 바로 해요.
대화에서 묻는 것
새 대화(「읽기」)는 앱 화면을 읽는 것까지만 묻지 않아요. 누르기 · 입력 · 스크립트 실행은 카드로 먼저 물어요.
- 「이번만 허용」
- 이 한 번만 해요.
- 「이 대화에서 … 항상 허용」
- 이 대화에서는 다시 묻지 않아요.
- 「거절」
- 하지 않아요.
- 여러 장을 한 번에 만들게 하려면 작성칸의 「읽기」를 눌러 「명령 · 스크립트 실행까지」로 올려 두세요. 위 그림의 대화가 그렇게 해서 중간에 묻지 않았어요.
- 자주 맡기는 앱은 관리 › 앱 접근에서 그 앱의 「접근」을 「항상 허용」으로 바꾸면 모든 대화에서 누르기 · 입력 · 키를 묻지 않아요. 켤 때 Touch ID(또는 로그인 암호, Windows Hello)로 본인 확인을 해요. 스크립트 실행은 이것과 따로, 대화의 단계대로 물어요.
잘 안 될 때
- 최소화한 창은 그림으로 보거나 글자를 알아보지 못해요. 창을 펼쳐 두세요.
- Keynote 의 새 문서는 저장할 곳을 말하지 않으면 iCloud 의 Keynote 폴더에 「무제」로 남을 수 있어요. 이름과 자리를 함께 말해 주세요.
- Windows 에서는 잠긴 화면이나 관리자 권한으로 띄운 앱을 다루지 못해요.