CPU ๐ปmain branch | ๐ฑQuick Start | ๐Documentations | ๐Installation | ๐ปLLM Example
GPU ๐ปmain branch | ๐ฑQuick Start | ๐Documentations | ๐Installation | ๐ปLLM Example
Intelยฎ Extension for PyTorch* extends PyTorch* with up-to-date features optimizations for an extra performance boost on Intel hardware. Optimizations take advantage of Intelยฎ Advanced Vector Extensions 512 (Intelยฎ AVX-512) Vector Neural Network Instructions (VNNI) and Intelยฎ Advanced Matrix Extensions (Intelยฎ AMX) on Intel CPUs as well as Intel Xe Matrix Extensions (XMX) AI engines on Intel discrete GPUs. Moreover, Intelยฎ Extension for PyTorch* provides easy GPU acceleration for Intel discrete GPUs through the PyTorch* xpu device.
ipex.llm - Large Language Models (LLMs) OptimizationIn the current technological landscape, Generative AI (GenAI) workloads and models have gained widespread attention and popularity. Large Language Models (LLMs) have emerged as the dominant models driving these GenAI applications. Starting from 2.1.0, specific optimizations for certain LLM models are introduced in the Intelยฎ Extension for PyTorch*. Check LLM optimizations for details.
We have supported a long list of LLMs, including the most notable open-source models like Llama series, Qwen series, Phi-3/Phi-4 series, and the phenomenal high-quality reasoning model DeepSeek-R1.
MODEL FAMILY MODEL NAME (Huggingface hub) FP32 BF16 Weight only quantization INT8 Weight only quantization INT4 LLAMA meta-llama/Llama-2-7b-hf โ โ โ โ LLAMA meta-llama/Llama-2-13b-hf โ โ โ โ LLAMA meta-llama/Llama-2-70b-hf โ โ โ โ LLAMA meta-llama/Meta-Llama-3-8B โ โ โ โ LLAMA meta-llama/Meta-Llama-3-70B โ โ โ โ LLAMA meta-llama/Meta-Llama-3.1-8B-Instruct โ โ โ โ LLAMA meta-llama/Llama-3.2-3B-Instruct โ โ โ โ LLAMA meta-llama/Llama-3.2-11B-Vision-Instruct โ โ โ โ GPT-J EleutherAI/gpt-j-6b โ โ โ โ GPT-NEOX EleutherAI/gpt-neox-20b โ โ โ โ DOLLY databricks/dolly-v2-12b โ โ โ โ FALCON tiiuae/falcon-7b โ โ โ โ FALCON tiiuae/falcon-11b โ โ โ โ FALCON tiiuae/falcon-40b โ โ โ โ FALCON tiiuae/Falcon3-7B-Instruct โ โ โ โ OPT facebook/opt-30b โ โ โ โ OPT facebook/opt-1.3b โ โ โ โ Bloom bigscience/bloom-1b7 โ โ โ โ CodeGen Salesforce/codegen-2B-multi โ โ โ โ Baichuan baichuan-inc/Baichuan2-7B-Chat โ โ โ โ Baichuan baichuan-inc/Baichuan2-13B-Chat โ โ โ โ Baichuan baichuan-inc/Baichuan-13B-Chat โ โ โ โ ChatGLM THUDM/chatglm3-6b โ โ โ โ ChatGLM THUDM/chatglm2-6b โ โ โ โ GPTBigCode bigcode/starcoder โ โ โ โ T5 google/flan-t5-xl โ โ โ โ MPT mosaicml/mpt-7b โ โ โ โ Mistral mistralai/Mistral-7B-v0.1 โ โ โ โ Mixtral mistralai/Mixtral-8x7B-v0.1 โ โ โ โ Stablelm stabilityai/stablelm-2-1_6b โ โ โ โ Qwen Qwen/Qwen-7B-Chat โ โ โ โ Qwen Qwen/Qwen2-7B โ โ โ โ Qwen Qwen/Qwen2.5-7B-Instruct โ โ โ โ Qwen Qwen/Qwen3-14B โ โ โ Qwen Qwen/Qwen3-30B-A3B โ โ โ โ LLaVA liuhaotian/llava-v1.5-7b โ โ โ โ GIT microsoft/git-base โ โ โ โ Yuan IEITYuan/Yuan2-102B-hf โ โ โ Phi microsoft/phi-2 โ โ โ โ Phi microsoft/Phi-3-mini-4k-instruct โ โ โ โ Phi microsoft/Phi-3-mini-128k-instruct โ โ โ โ Phi microsoft/Phi-3-medium-4k-instruct โ โ โ โ Phi microsoft/Phi-3-medium-128k-instruct โ โ โ โ Phi microsoft/Phi-4-mini-instruct โ โ โ Phi microsoft/Phi-4-multimodal-instruct โ โ โ Whisper openai/whisper-large-v2 โ โ โ โ Whisper openai/whisper-large-v3 โ โ โ Maira microsoft/maira-2 โ โ โ โ Jamba ai21labs/Jamba-v0.1 โ โ โ โ DeepSeek deepseek-ai/DeepSeek-V2.5-1210 โ โ โ โ DeepSeek meituan/DeepSeek-R1-Channel-INT8 โNote: The above verified models (including other models in the same model family, like "codellama/CodeLlama-7b-hf" from LLAMA family) are well supported with all optimizations like indirect access KV cache, fused ROPE, and customized linear kernels. We are working in progress to better support the models in the tables with various data types. In addition, more models will be optimized in the future.
In addition, Intelยฎ Extension for PyTorch* introduces module level optimization APIs (prototype feature) since release 2.3.0. The feature provides optimized alternatives for several commonly used LLM modules and functionalities for the optimizations of the niche or customized LLMs. Please read LLM module level optimization practice to better understand how to optimize your own LLM and achieve better performance.
The team tracks bugs and enhancement requests using GitHub issues. Before submitting a suggestion or bug report, search the existing GitHub issues to see if your issue has already been reported.
Apache License, Version 2.0. As found in LICENSE file.
See Intel's Security Center for information on how to report a potential security issue or vulnerability.
See also: Security Policy
RetroSearch is an open source project built by @garambo | Open a GitHub Issue
Search and Browse the WWW like it's 1997 | Search results from DuckDuckGo
HTML:
3.2
| Encoding:
UTF-8
| Version:
0.7.4