Apple Intelligence on iOS18

Apple 에서 최초로 공개한 생성형 AI 시스템이란 흥미로운 주제를 가져와봤다.

AI 전공에 살짝 발 담궜던 사람이지만, Vision 위주이고 LLM 쪽은 잘 몰라서 같이 공부하면서 알아가는데 재밌는 시간이었다.

---

 

✔️ Apple intelligence?

Apple intelligence는 WWDC에서 공개된 애플의 생성형 인공지능 시스템

*WWDC는 apple 에서 주최하는 세계애플개발자 컨퍼런스로 매년 진행하는 연례행사, 소프트웨어 업데이트나 새로운 제품 및 기술을 발표

WWDC24에서 공개된 주제들 중 하나가 Apple intelligence!

 

✔️ 기존 생성형 인공지능 서비스(chatGPT etc.)와의 차이점은?

 

애플은 apple intelligence만의 특징을 정의에서 내포하고 있다.

정의를 보면 the personal intelligence system 이고 여기서 키워드는 personal 이라는 워드, 

apple intelligence만의 특징이 바로 Personal Context로, 

생성형 모델에 사용자의 상황과 맥락을 이해하는 능력을 더해 유용하고 유의미한 지능형 기능을 제공한다는 것!

 

이 사용자의 상황과 맥락에 접근하고 유의미한 정보를 주기 위해 개발자들에게 App Intent, indextedentity api 이 두 가지 api 를 소개하였고, 이 api 를 통해 기존의 apple 서비스들에 apple intelligence 기능을 접목 가능하다.

 

상황을 가정해서 보면,

Apple Intelligence가 탑재된 시리에게 다음주 거제 출장 계획을 요약해서 팀장님에게 메일로 답장해줘라고 요청한다.

 

이 요청에는 개인만이 알 수 있는 정보들 즉, 여기서 주장하는 personal context 들이 있음

 

이런 유의미한 정보들을 얻기 위해서 시리는 다양한 앱에 접근이 필요하고 이를 가능하게 하는 것이 Indexedentity api !

iOS18 부터 제공된는 Indexedentity api가 앱 데이터를 siri 가 검색할 수 있는 형태 즉, ai 가 학습할 수 있는 형태로 만들어 준다.

이를 인덱싱 한다고 한다.

서드파티앱도 앱개발자가 Indextedentity api 를 통해 데이터를 인덱싱 하게 만들면, 시리가 시멘틱 검색, 즉 의미 검색이 가능해지고 유의미한 정보만을 추출할 수 있게 된다.

 

이렇게 다양한 앱에서 수집한 유의미한 정보들을 가지고 Siri는 app intent 를 통해 명령을 수행 가능!

수집된 데이터로 요약본을 만들고, 이 데이터로 기본 메일 앱 뿐만 아니라 서드파티 메일앱으로 답장 메일을 보낼 수 있다.

즉, 기존 siri 처럼 단순히 질문을 알아듣고 답변하는 것 뿐만 아니라 개인 정보와 맥락에 기반을 두고 사용자의 요청을 분석해서 

여러 앱의 데이터를 검색하고 결과를 도출.

뿐만 아니라 요청에 따른 액션까지 취할 수 있다는 것이 Apple Intelligence만의 특징!

---

Apple Architecture

 

애플 인텔리전스의 아키텍쳐는 on-device와 Cloud가 통합된 하이브리드 구조

최상단에 siri, app과 intelligence 시스템의 커넥션 즉, App Intent 와 IndexedEntity API를 통해 호출되고 처리되는 과정임

intelligence 시스템은 시멘틱 색인에서 앱의 각종 데이터를 의미 기반으로 처리할 수 있게 데이터베이스를 구성하고

앱 인텐트 툴박스에서 앱 인텐트를 처리하는 과정에서 시리를 비롯한 애플 인텔리전스 기능을 활용하게 만들어 준다.

이 과정에서 필요한 앱에서 가져오는 데이터들은 다 사용자의 개인정보인데 프라이버시가 보장되는가 궁금한데,

애플 인텔리전스는 애초에 프라이버시 보호에 중점을 두고 설계를 했기 때문에 기본적으로 On-device에서 실행이 된다.

on-device 모델 특성상 메모리 제약이 크기 때문에 성능에 우려가 있을 수있는데,

모델 크기를 작게 유지하면서 특정 작업에 대한 모델 성능을 개선할 수 있는 구조로 설계가 되어 있다.

기본적으로 구조는 foundation model 과 lora 어뎁터로 이루어져 있음.

• Foundation Model : 일반적인 지능을 담당하는 모델.
• Adapters : 특정 작업에 대해 미세 조정된 LoRA 어댑터. Fine tuning 하기 위한 어뎁터라고 할 수 있다

이 어뎁터가 사용자의 요청에 따라 동적으로 로드되고 메모리에 일시적으로 캐시되는 구조로 메모리를 효율적으로 관리면서 실시간에 특화된 기능을 제공할 수 있다.

그러나 온디바이스에서 수행하기에 무리가 있는 복잡한 요청이 있는 경우

즉, 더 강력한 AI 모델이 필요한 경우, Private Cloud Compute, PCC 라고 하는 서버모델에서 처리

이 때, 디바이스와 서버간 데이터 전송은 종단 간 암호화로 이루어지고 해결 후에는 즉시 정보를 삭제해서 개인정보를 보호한다.

즉, apple intelligence 시스템에서는 어떠한 데이터도 서버로 전송되지 않기 때문에 privacy가 보장

 

앞서 설명한 on-device 모델과 Server 모델 모두 같은 foundation + adapter 구조의 모델이고

차이는 모델 크기랑 구동되는 위치가 장치 내부이냐 클라우드 서버이냐인데 결국 둘 다 apple silicon 에서만 구동이 된다.

Ai에서 간단한 작업을 하는데도 엄청난 양의 컴퓨팅 파워가 요구되는데, 이를 위해 애플은 M1 칩부터 지난 수년간 칩 설계를 연구하고 개발해왔고  그 결과, AI 요청까지 온디바이스로 처리할 수 있는 능력을 갖췄다고 한다.

 

대부분의 사용자 요청은 on-device와 PCC 서버에서 처리하지만,

Apple Intelligence의 마지막 단으로 개인적인 요청이 아닌 전문분야의 전문지식을 요할때는 ChatGPT를 사용 할 수 있다.

Apple과 OpenAI와의 파트너십을 통해 시리를 통해 무료로 ChatGPT 4O 사용이 가능하고 ChatGPT로 보내기 전에 항상 사용자의 허락을 먼저 구하고 나서 곧바로 답변을 제공.

지난 10월 29일 진행된 iOS 18.1 업데이트를 통해 apple intelligence 가 적용된 기능들을 발표했는데,

앨범에서 사진 검색 시 구체적인 설명으로 검색하는 기능,

사진에서 불필요한 부분을 삭제하는 클린업 기능,

통화한 내용을 녹음하고 해당 내용을 요약해주는 기능 등

apple intelligence의 기능들이 최초로 공개 되었습니다.

 

이번 업데이트 때 apple intelligence 기능들이 최초 발표가 된거고 이걸 시작으로 단계별로 기능을 추가 제공할 예정이라고 한다.

Apple은 아이폰뿐만 아니라 맥-패드-와치 비전까지 하나의 생태계로 개인정보를 공유하고 있기 때문에 

나를 가장 잘 아는 ‘맞춤형 AI’서비스로 차별화된 모바일 ai 서비스가 자리매김하지 않을지 기대하는 바이다.