Apple 플랫폼의 머신 러닝 및 AI 프레임워크 살펴보기

안녕하세요, 저는 Jaimin Upadhyay입니다 Apple On-Device Machine Learning 팀의 엔지니어링 매니저죠 오늘은 앱과 개인 프로젝트에서 Apple Intelligence 및 머신 러닝 활용 방법을 이야기하려고 하는데요 UI 구성 요소를 통해 아니면 코드에서 직접 Apple Intelligence를 활용할 준비가 된 앱 개발자이거나 온디바이스 배포에 앞서 모델 변환 및 최적화 중인 ML 엔지니어이거나 Mac에서 가능한 최신 기술을 탐색 중인 AI 매니아든 관계없이 꼭 맞는 도구가 있습니다 이 도구를 간략히 살펴보고 최신 추가 내용을 확인한 뒤 계속해서 더 알아볼 수 있는 리소스를 알려드리죠 먼저 운영 체제에 구축된 인텔리전스 및 여러분 앱과의 관련성을 간략히 살펴보겠습니다 이어서 Apple 시스템 프레임워크를 통해 프로그래밍 방식으로 이 인텔리전스를 활용하는 방법을 살펴볼게요 그런 다음 Apple의 도구와 API를 이용해 머신 러닝 모델을 온디바이스 실행에 맞게 최적화 및 배포하는 방법을 이야기할게요 마지막으로 Apple 하드웨어에서 최근의 혁신적인 ML 및 AI 기술을 따라잡을 수 있게 하는 방법으로 마무리합니다

길지만 흥미로운 내용이죠 시작해 볼까요 플랫폼 인텔리전스부터 시작하죠 머신 러닝과 인공 지능은 Apple 운영 체제의 여러 내장 앱과 기능에서 핵심적인 역할을 합니다 Apple Vision Pro의 인증용 Optic ID든 iPad로 수학을 공부하기 위한 필기 내용 인식이든 FaceTime에서 음성이 잘 들리도록 배경 소음을 제거하는 것이든 머신 러닝이 핵심입니다 이 기능을 지원하는 ML 모델은 디바이스에서 효율적으로 작동하도록 훈련되고 최적화되었습니다 작년에 새로운 단계로 접어들었는데 바로 Apple 운영 체제의 핵심에 생성형 지능을, Apple Intelligence를 지원하는 대규모 기반 모델과 함께 도입한 것이죠 덕분에 시스템에서 글쓰기 도구 젠모지, Image Playground가 지원돼 당신의 앱에 통합하기 쉬워졌습니다 시스템 텍스트 컨트롤을 사용하면 젠모지가 자동으로 지원됩니다 API를 사용하여 텍스트에서 바로 표시되게 할 수도 있죠 Image Playground 프레임워크는 Swift UI 확장 프로그램을 통해 앱에서 imagePlaygroundSheet를 불러올 수 있습니다 대부분 표준 UI 프레임워크를 사용하여 textViews를 표시하므로 앱에서 이미 글쓰기 도구를 지원하도록 설정되어 있습니다 매우 간단하죠 표준 뷰를 사용하거나 맞춤형 뷰에 코드 몇 줄을 추가하면 됩니다 이러면 사용자는 앱 내에서 쉽게 Apple Intelligence를 이용할 수 있죠 일관되고 친숙한 UI를 그대로 사용해서요 하지만 기본 UI를 벗어나거나 제어 기능이 더 필요하다면요? 자연스럽게 머신 러닝 기반 API 라는 주제로 넘어가네요 시스템 모델과 기능에 프로그래밍 방식으로 접근하는 것이죠 Apple은 그런 다양한 API를 제공합니다 필수 유틸리티가 있는 특수한 시스템 모델을 이용하게 하거나 전문 ML 작업을 위한 편리한 API를 표시하기도 합니다 이를 자세히 살펴보기 위해 이미지 생성 기능을 앱에 통합하는 방법을 다시 확인해 보죠 iOS 18.4에서는 ImagePlayground 프레임워크에 ImageCreator 클래스를 도입했습니다 이제 프로그래밍 방식으로 이미지를 생성할 수 있게 됐죠 이미지 크리에이터 인스턴스를 실행하고 아이디어를 제시한 후 이미지를 요청하면 됩니다 그러면 텍스트 프롬프트와 선택한 스타일을 사용하게 되죠 이후 여러분이 원하는 대로 앱에서 표시하거나 사용하면 됩니다 18.4에서는 Smart Reply API도 도입했습니다 사용자가 생성된 스마트 답변을 선택하여 메시지나 이메일에 사용할 수 있도록 키보드에 맥락을 부여합니다 기능을 설정하는 방법을 간단히 살펴볼게요 대화를 심으려면 내 데이터로 UIMessage 또는 UIMail ConversationContext를 구성하고 키보드를 요청하기 전 입력 뷰에서 설정합니다 사용자가 키보드의 스마트 답변을 인스턴트 메시지에 대한 답으로 선택하면 답변이 문서에 직접 삽입됩니다 하지만 이메일 대화인 경우 화면의 해당 insertInputSuggestion 델리게이트 메서드에서 다시 선택할 수 있습니다 그러면 직접 이메일에 맞게 답장을 길게 작성하여 삽입할 수 있죠 자세한 내용은 '메시지 또는 이메일 앱에서 스마트 답변 채택' 문서 페이지를 확인하세요 이는 모두 온디바이스로 실행되고 Apple의 기본 모델을 사용하죠 iOS 26에서는 훨씬 더 발전된 모습을 선보이는데 Foundation Models 프레임워크를 도입했기 때문이죠 덕분에 최적화된 온디바이스 언어 모델을 프로그래밍 방식으로 사용하고 이 모델은 일상적인 업무에 특화되어 있습니다 이제 모든 앱에서 이러한 기능을 지원할 수 있는데 요약, 추출, 분류 등의 작업에 유용합니다 앱의 기존 기능을 강화하는 데 사용할 수 있습니다 개인화된 검색 제안을 제공하는 식으로 말이죠 또는 여행 앱에서 여정을 생성하는 새로운 기능을 만들 수 있습니다

즉석에서 게임 캐릭터의 대화를 만들 때에도 유용합니다 개인적으로 이 이점이 가장 마음에 드네요

모델 프롬프팅이 코드 세 줄로 해결될 만큼 쉽습니다 프레임워크를 가져와, 세션을 생성하고, 프롬프트를 전송합니다 프레임워크는 기기 기반이므로 사용자의 데이터가 비공개로 유지되고 전송하지 않아도 되죠 AI 기능을 쉽게 사용할 수 있고 오프라인에서 작동하므로 계정을 설정하거나 API 키를 요청하지 않아도 됩니다 이 모두가 여러분이나 사용자에게 비용이 발생하지 않죠 Foundation Models 프레임워크는 단순히 간단한 프롬프팅을 통해 텍스트 답변을 얻는 것 이상의 기능이 있습니다 LLM을 이용해 구조화된 답변을 생성해야 하는 경우가 있는데 이 답변을 앱에서 직접 사용할 수 있죠 Foundation Models 프레임워크를 사용하면 간단한데 앱의 기존 입력을 가져와서 생성 가능으로 표시하면 됩니다 또한 각 속성에 자연어 가이드를 추가하면서 생성된 값에 대한 선택적 컨트롤을 함께 추가합니다 간단한 프롬프트를 사용해 안내에 따라 답변을 생성하세요 입력을 생성할 답변을 표시하면

프레임워크는 언어 모델 디코딩 루프를 사용자 정의하여 모델이 구조적 오류를 발생시키지 않도록 합니다 데이터 구조에 올바른 정보가 입력되어 있으므로 JSON 스키마를 처리하지 않아도 됩니다 프롬프트만 신경쓰고 나머지는 프레임워크가 알아서 하게 두세요 Swift, 프레임워크 및 직접 입력 간에 시너지 효과가 발생하여 앱 내에서 빠르게 반복하고 새로운 아이디어를 탐색하기가 쉽습니다

사용 사례를 개발할 때 기본 모델에서 사용할 수 있는 지식을 고려하는 것이 중요합니다 프롬프트와 생성 가능한 입력 설명을 통해 제공된 정보 외에도 모델은 훈련된 데이터에서 파생된 핵심 지식 세트를 보유하고 있죠 이 데이터는 시간에 맞춰 수정되고 최근 이벤트는 포함하지 않습니다 이 모델은 기기 규모 모델로서는 강력한 성능을 자랑하지만 대형 서버 규모 모델만큼 지식이 풍부하지는 않습니다 앱 차원에서, 네트워크를 통해 추가 지식이 필요한 사용 사례에서 도움이 되도록 기본 모델의 프레임워크는 도구 호출을 지원합니다 도구 호출로 텍스트 생성 외에 몇 가지 작업을 수행할 수 있죠 모델이 라이브 또는 개인 데이터를 이용할 수 있어 몇 달 전 학습시킨 데이터뿐 아니라 날씨와 캘린더 이벤트도 이용합니다 모델이 신뢰할 수 있는 출처의 결과를 인용하는 것도 가능한데 이를 통해 사용자는 출력된 결과의 사실 여부를 확인할 수 있습니다 마지막으로 도구는 실제 작업을 수행할 수 있습니다 앱 내에서든, 시스템에서든 현실에서든 말이죠

이는 프레임워크의 놀라운 기능 중 일부일 뿐이고 훨씬 더 많은 기능이 있습니다 더 자세한 소개를 보려면 'Foundation Models 프레임워크 만나보기' 세션을 시청하세요 세션에서 스트리밍 응답 스테이트풀 세션 프레임워크와 Xcode 간의 긴밀한 통합에 대해서도 배우게 됩니다 실습을 통해 배우는 것을 선호한다면 코드를 따라 해보는 세션을 통해 새 API를 사용하여 처음으로 지능형 앱을 빌드해 볼 수 있습니다 사용 사례별 디자인 고려 사항을 알아보는 세션도 마련되어 있죠 이 세션에서는 모범 사례 위주로 반향형 프롬프트 작성 AI 안전 고려 사항 기기 규모 언어 모델에서 가능한 작업에 대한 이해 품질과 안전을 평가 및 테스트하는 전략을 마련하도록 지원하죠 반드시 '온디바이스 Foundation 모델의 신속한 설계 및 안전성 살펴보기'를 확인하여 자세히 알아보세요

새 Foundation Models 프레임워크는 다른 머신 러닝 기반 API 및 도구 모음에 속합니다 이를 이용하면 온디바이스 인텔리전스를 앱 기능에 활용할 수 있죠 프레임워크별로 특정 영역에 주력하고 영역에 맞게 작업별 모델이 고도로 최적화되어 있습니다 Vision으로 이미지와 비디오의 콘텐츠를 인식하고 자연어로는 언어 품사 및 개체명을 자연어 텍스트에서 식별합니다 번역으로 여러 언어 간의 텍스트 번역을 수행하고 사운드 분석입니다 여러 종류의 소리를 인식하며 그리고 음성을 통해 발음된 단어를 식별하고 전사하죠 코드 몇 줄로 모두 가능합니다 새로 추가된 흥미로운 내용 몇 가지를 확인해 보죠 올해 프레임워크에 추가됐습니다

Vision부터 시작해 볼까요? Vision에는 이미지를 분석하는 API가 30개가 넘게 있습니다 오늘 새로운 API가 두 개 추가됩니다 Vision 텍스트 인식 기능이 개선됩니다 텍스트를 줄 단위로 읽는 대신 문서 단위로 인식합니다 서로 다른 문서 구조를 그룹화할 수 있어 문서를 처리하고 인식하기가 쉬워집니다

또한 렌즈 얼룩 감지 모드가 새로 추가되었는데 카메라 렌즈의 얼룩을 식별할 수 있게 하여 이미지 손상을 방지할 수 있습니다 렌즈 얼룩 감지 모드 및 Vision에 새로 추가된 나머지 기능에 대해 더 자세히 알아보려면 'Vision 프레임워크를 사용하여 문서 읽기' 세션을 확인하세요

다음으로, Speech 프레임워크에 대해 이야기해 보죠 Speech 프레임워크의 SFSpeechRecognizer 클래스를 통해 음성 텍스트 변환 모델에 접근할 수 있었고 이 모델은 Siri를 지원하며 짧은 받아쓰기에서 잘 작동했죠 iOS26에서는 이제 새로운 API인 SpeechAnalyzer를 통해 더 많은 사용 사례를 지원하고 강력한 Swift 기능을 활용합니다 새 API에서는 음성 텍스트 변환 처리를 단 몇 개의 코드만으로 온전히 기기에서 수행할 수 있죠

API와 함께 새로운 음성 텍스트 변환 모델도 제공할 예정인데 기존 모델에 비해 속도와 유연성이 모두 뛰어납니다

오디오 버퍼를 분석기 인스턴스에 전달하면 이어서 새 음성 텍스트 변환 모델을 통해 라우팅합니다 모델은 음성 오디오와 일치하는 텍스트를 예측하여 앱으로 반환합니다 새 모델은 롱폼 및 장거리 오디오에서 특히 유용한데 강의, 회의, 대화 등을 예로 들수 있죠 더 자세히 살펴보려면 'SpeechAnalyzer로 앱에 고급 음성 텍스트 변환 기능 가져오기' 세션을 시청하세요

Apple의 ML 기반 API는 많은 기능을 제공하며 앱에서 쉽게 기능을 사용할 수 있습니다 API는 특정 사용 사례에 맞게 확장 또는 사용자 지정합니다

Create ML 앱과 프레임워크를 사용하면 시스템 모델을 여러분의 데이터로 미세 조정할 수 있습니다 Vision 프레임워크에서 사용할 나만의 이미지 분류기 또는 Natural Language에서 사용할 맞춤형 워드 태거를 만들어 보세요 Vision Pro 기능을 확장해 공간 경험에 사용하도록 특정 물체를 6개의 자유도로 인식하고 추적할 수도 있죠

지금까지 시스템에 내장된 ML 및 AI 기반 기능을 활용하거나 확장하는 방법에 대해 이야기했는데요 이어서 기기에 모델을 가져오는 방법에 대해 이야기해 보죠 모델을 선택하고 앱에 통합할 때는 많은 점을 고려해야 하는데요 Core ML을 사용하면 간단합니다 Core ML 형식의 모델만 있으면 되죠 이러한 모델 애셋은 모델의 입력 출력 및 아키텍처에 대한 설명과 그의 학습된 매개변수를 포함하고 있습니다

Core ML 형식의 다양한 오픈 소스 모델이 사용 가능한 형태로 developer.apple.com에 나와 있습니다

카테고리별로 각 모델의 기능에 대한 설명과 변형된 버전의 목록이 함께 정리되어 있고 다양한 기기 기반의 개략적인 성능 정보도 포함되어 있습니다

마찬가지로 Hugging Face의 Apple 공간도 확인해 볼 수 있죠 Core ML 형식의 기존 모델 외에도 소스 모델 정의에 대한 링크도 나와 있는데

모델 정의가 PyTorch에서 훈련 및 미세 조정 파이프라인과 함께 표시되기도 합니다

Core ML 도구는 학습시킨 모델을 Core ML 모델 형식으로 변환해주는 유틸리티와 워크플로를 제공하죠 이러한 워크플로는 모델 표현을 직접 변환해줄 뿐 아니라 온디바이스 실행에 맞게 최적화 기능도 적용합니다 최적화 기능 중 일부는 자동으로 적용되는데 작업을 융합하거나 중복 계산을 제거하는 기능이죠 하지만 Core ML 도구는 미세 조정 및 사후 훈련 기반의 모델 압축 기술 제품군도 제공합니다 모델의 크기를 줄이고 메모리, 전력, 대기 시간 측면에서 모델의 추론 성능을 개선하는 데 도움이 됩니다

이러한 기술은 옵트인 방식이므로 성능과 모델의 정확도 사이에서 다양한 절충안을 검토해볼 수 있죠

세부 내용은 WWDC24의 '모델을 Apple Silicon으로 가져오기' 세션을 확인하세요 사용 설명서의 최신 릴리즈 노트와 예제도 꼭 확인하세요

Core ML 형식의 모델이 만들어졌으면 간편하게 Xcode와 통합할 수 있습니다 모델의 주요 특성을 점검하거나 연결된 기기에서 그 성능을 살펴볼 수 있습니다 예상되는 예측 지연 시간, 로드 시간을 심층 분석하고 특정 작업의 지원 및 실행 여부를 자체 점검할 수도 있죠 Xcode에서 바로요 올해부터는 전체 모델 아키텍처의 구조를 시각화한 뒤 모든 작업을 세부적으로 살펴볼 수 있습니다 이 새로운 뷰는 작동하는 모델을 더 깊이 있게 이해할 수 있도록 하고 디버깅 및 성능 향상 기회를 놀랄 만큼 가시화해 줄 겁니다

코딩에 이르면 Xcode는 모델에 맞는 Swift에서 입력 방지 인터페이스를 생성하죠 그러면 코드 몇 줄로 통합이 이루어집니다

런타임에 Core ML은 사용 가능한 모든 컴퓨팅을 사용하므로 CPU, GPU 및 신경 엔진 전반적으로 실행이 최적화됩니다

Core Ml은 기기에 배포할 때 많이 사용하는 프레임워크지만 보다 세밀한 제어가 필요한 상황이 있을 수 있죠 ML을 시퀀싱하거나 그래픽 워크로드와 통합해야 하는 경우 Core ML 모델과 함께 MPS Graph와 Metal을 모두 사용할 수 있습니다 또는 CPU에서 실시간 신호 처리를 실행하는 경우 Accelerate의 BNNS Graph API를 통해 ML 작업의 지연 시간 및 메모리 관리를 엄격하게 제어할 수 있습니다

이러한 프레임워크는 Core ML의 토대가 되고 여러분이 직접 접근할 수 있죠

올해는 BNNS Graph에서 일부 기능이 새로 추가됐습니다 새 Graph Builder도 그중 하나인데 개발자가 작업의 그래프를 만들 수 있습니다 즉 사전 및 사후 처리 루틴이나 CPU에서 실시간으로 실행되는 소규모의 머신 러닝 모델도 작성할 수 있다는 뜻입니다 모든 세부 사항은 'BNNS Graph의 새로운 기능'을 확인하세요

마지막으로, 머신 러닝 분야의 빠른 개발 속도를 따라잡는 방법과 Apple 플랫폼에서 지원 가능한 방법을 이야기해 보죠 ML 연구는 빠르게 진행 중이고 매일 발전하고 있습니다 새로운 모델과 기술을 탐구 중이며 기술 구축 속도 또한 이전과 다르죠 시험하고 따라가야 할 기술이 많습니다 올바른 도구와 리소스가 없으면 어려운 작업일 수 있죠 최신 기술 탐구를 따라잡으려면 대규모 모델을 실행할 수 있어야 하고 고유 아키텍처를 손보고 오픈소스 커뮤니티에서 배워야 합니다 Apple은 정교한 도구와 리소스를 보유하고 있습니다 최신 기술을 탐구하려는 당신의 노력을 돕겠습니다 그러한 강력한 도구 중 하나가 MLX인데요

바로 수치 컴퓨팅 및 머신 러닝을 위한 프레임워크 어레이입니다 Apple의 머신 러닝 연구자들이 설계하고 완전 오픈 소스 방식으로 개발됐습니다 MLX는 최첨단 모델을 이용할 수 있게 하고 효율적으로 미세 조정하고 훈련시키며 분산 학습을 가능하게 합니다 바로 Apple Silicon 시스템에서요

MLX는 Mistral과 같은 대규모 언어 모델에서 최신 ML 추론을 한 줄짜리 명령 호출로 실행하죠 빠른 정렬을 위한 코드 생성 사례에서는 최대 토큰 길이가 1024입니다

이를 활용하면 최신 기술 연구를 따라잡을 수 있겠죠 오픈 소스 커뮤니티의 도움을 얻어 이러한 모델이 MLX와 함께 작동하도록 연구하고 있습니다

Hugging Face의 MLX 커뮤니티에서 수백 개의 최신 기술 모델을 쉽게 이용해 볼 수 있죠 코드 한 줄만으로요 'MLX를 사용하여 Apple Silicon에서 대규모 언어 모델 탐색하기'를 보고 Apple Silicon 시스템에서 Deep-Sea Car 1을 실행하는 방법을 알아보세요

MLX는 Apple Silicon 기능을 최대한 활용하도록 설계되었는데 통합 메모리에 특화된 새로운 프로그래밍 모델도 그중 하나죠

일반적으로 머신 러닝에 사용되는 대부분의 시스템에는 별도의 메모리가 있는 별도의 GPU를 사용합니다 데이터는 종종 상주 데이터이며 특정 장치에 연결되어 있습니다 데이터가 있는 위치에서 작업이 실행됩니다 여러 메모리 풀 데이터를 사용하는 작업을 효율적으로 실행할 수 없죠 메모리에 복사본이 있어야 하기 때문이죠 이와 달리 Apple Silicon은 통합 메모리 아키텍처를 사용합니다 CPU와 GPU는 동일한 물리적 메모리를 공유합니다 MLX의 어레이가 기기에 연결되지 않고 작업은 연결되어 있어 CPU와 GPU에서 서로 다른 작업을 실행할 수도 있죠 동일한 버퍼에서 병렬 형태로 말이죠

'Apple Silicon용 MLX 사용하기' 세션을 보고 이 고유한 프로그래밍 모델과 MLX의 다른 기능을 알아보세요 코드 한 줄로 모델을 미세 조정하거나 분산 학습에서 필요한 대로 간편하게 확장할 수도 있습니다

Python, Swift, C++, C 및 원하는 다른 언어에서 사용할 수 있죠 바로 오픈 소스 커뮤니티에서 제작한 다중 바인딩으로 말이죠

MLX 외에도 인기 있는 훈련 프레임워크를 사용하고 있다면 PyTorch와 Jax 같은 것들은 Metal을 사용하면 표준 도구에서 벗어나지 않고 최신 기술을 탐구할 수 있는데 이 도구는 수년 동안 ML 커뮤니티에서 수용한 도구들이죠 마지막으로 developer.apple.com을 잘 활용하시기 바랍니다 AI 애호가와 연구자가 Apple의 최신 머신 러닝 리소스를 살펴볼 수 있죠

이로써 의제를 모두 살펴보았습니다 이제 의제에서 조금 벗어나서 오늘 이야기했던 내용을 살펴볼까요

여러분의 필요와 모델 사용 경험을 바탕으로 프로젝트의 머신 러닝 및 AI 기능을 가장 잘 지원하는 프레임워크와 도구를 선택할 수 있습니다 Mac에서 LLM을 미세 조정하든 Apple Vision Pro에서 배포할 컴퓨터 비전 모델을 최적화하든 ML 기반 API 중 하나를 사용하여 앱에 마술 같은 기능을 빠르게 추가하든 모두 다 가능합니다 모든 기능이 Apple Silicon에 맞춰 최적화되어 있어서 머신 러닝 및 AI 워크로드를 효율적이며 효과적으로 실행할 수 있게 해줍니다

여기에서 둘러본 리소스가 당신에게 큰 도움이 될 것입니다 여러분이 Apple Intelligence를 활용하여 구현할 새로운 경험을 빨리 보고 싶습니다 Apple 플랫폼에서 머신 러닝과 AI의 가능성을 실험하고 탐색하기에 가장 좋은 기회입니다 여기에서는 표면적인 내용만 다루었으니 자세한 내용은 Apple Developer 앱과 개발자 포럼의 머신 러닝 및 AI 카테고리를 꼭 살펴보시기 바랍니다

광범위한 개발자 커뮤니티에서 질문하고 토론하시길 바랍니다

저만큼 여러분도 즐거운 시간이었길 바랍니다 시청해 주셔서 감사합니다