MNN-LLM-Android: 안드로이드용 MNN 멀티모달 언어 모델링

1.6K 0

일반 소개

MNN(모바일 신경망)은 알리바바에서 개발한 효율적이고 가벼운 딥러닝 프레임워크로 모바일 기기에 최적화되어 있으며, 모바일 기기에서 빠른 추론이 가능할 뿐만 아니라 텍스트 생성, 이미지 생성, 오디오 처리 등 복합적인 작업을 지원합니다.MNN은 타오바오 등 여러 알리바바 애플리케이션에 통합되어 있습니다, 실시간 스트리밍, 짧은 동영상 캡처, 검색 추천, 제품 이미지 검색 등 70개 이상의 사용 시나리오를 포괄하는 타오바오, 티몰, 유쿠, 네일, 아이들피쉬 등 여러 알리바바 애플리케이션에 통합되었습니다.

기능 목록

멀티모달 지원텍스트 생성, 이미지 생성, 오디오 처리 등 다양한 작업을 지원합니다.
CPU 추론 최적화모바일 디바이스에서 뛰어난 CPU 추론 성능을 달성합니다.
경량 프레임워크이 프레임워크는 가볍고 모바일 디바이스의 리소스 제약에 적합하도록 설계되었습니다.
널리 사용됨다양한 비즈니스 시나리오를 포괄하는 Alibaba의 여러 애플리케이션에 통합되어 있습니다.
오픈 소스간편한 통합과 2차 개발을 위해 전체 오픈 소스 코드와 문서가 제공됩니다.

도움말 사용

설치 프로세스

다운로드 및 설치GitHub 리포지토리에서 프로젝트 코드를 복제합니다.
```
git clone https://github.com/alibaba/MNN.git
cd MNN
```


2. **编译项目**：根据项目提供的README文档，配置编译环境并编译项目。
```bash
mkdir build
cd build
cmake ..
make -j4

Android 애플리케이션에 통합컴파일된 라이브러리 파일을 수정하여 안드로이드 프로젝트에 통합합니다.build.gradle파일을 구성할 수 있습니다.

사용법

멀티모달 기능

MNN은 텍스트 생성, 이미지 생성, 오디오 처리 등 다양한 멀티모달 작업을 지원합니다. 다음은 이러한 기능을 사용하는 방법의 예시입니다:

텍스트 생성사전 학습된 언어 모델을 사용한 텍스트 생성.

import MNN
interpreter = MNN.Interpreter("text_model.mnn")
session = interpreter.createSession()
input_tensor = interpreter.getSessionInput(session)
# 输入文本进行预处理
input_data = preprocess_text("输入文本")
input_tensor.copyFrom(input_data)
interpreter.runSession(session)
output_tensor = interpreter.getSessionOutput(session)
output_data = output_tensor.copyToHostTensor()
result = postprocess_text(output_data)
print(result)

이미지 생성사전 학습된 생성 모델을 사용한 이미지 생성.

import MNN
interpreter = MNN.Interpreter("image_model.mnn")
session = interpreter.createSession()
input_tensor = interpreter.getSessionInput(session)
# 输入数据进行预处理
input_data = preprocess_image("输入图像")
input_tensor.copyFrom(input_data)
interpreter.runSession(session)
output_tensor = interpreter.getSessionOutput(session)
output_data = output_tensor.copyToHostTensor()
result = postprocess_image(output_data)
print(result)

오디오 처리사전 학습된 오디오 모델을 사용하여 오디오 생성 또는 처리.

import MNN
interpreter = MNN.Interpreter("audio_model.mnn")
session = interpreter.createSession()
input_tensor = interpreter.getSessionInput(session)
# 输入音频数据进行预处理
input_data = preprocess_audio("输入音频")
input_tensor.copyFrom(input_data)
interpreter.runSession(session)
output_tensor = interpreter.getSessionOutput(session)
output_data = output_tensor.copyToHostTensor()
result = postprocess_audio(output_data)
print(result)

세부 운영 절차

추론 인스턴스 만들기: MNN 모델을 초기화하고 추론 세션을 생성합니다.
```
import MNN
interpreter = MNN.Interpreter("model.mnn")
session = interpreter.createSession()
```

입력 데이터 전처리모델 유형에 따라 입력 데이터를 사전 처리합니다.

input_tensor = interpreter.getSessionInput(session)
input_data = preprocess_data("输入数据")
input_tensor.copyFrom(input_data)

경영진 추론: 추론을 위해 세션을 실행합니다.
```
interpreter.runSession(session)
```

출력 데이터 후처리: 출력을 가져와서 후처리합니다.

output_tensor = interpreter.getSessionOutput(session)
output_data = output_tensor.copyToHostTensor()
result = postprocess_data(output_data)
print(result)