NPU’lar vs. TPU’lar: 2025’te Cihaz İçi Yapay Zekâ ile Cihazlarınız Nasıl Güçleniyor?

Apple, cihaz üzerinde yapay zekayı 2017’de iPhone A11’in Neural Engine’ı ile başlattı; bu, Face ID ve Animoji’yi saniyede 600 milyar işlem kapasitesiyle mümkün kıldı.
2023’te iPhone A17 Pro’nun 16 çekirdekli Neural Engine’ı yaklaşık 35 TOPS sağladı ve cihaz üzerinde konuşma, fotoğrafçılık ve çeviri özelliklerini destekledi.
Google Pixel 8 (2023), Tensor G3 NPU’sunu Palm 2 gibi cihaz üzerinde çalışan yapay zeka modelleriyle çevrimdışı çeviri ve özetleme için kullanıyor.
Google’ın Coral Dev Board’daki Edge TPU’su, birkaç watt güçle 4 TOPS görüntü işleme sunuyor.
Tesla’nın Full Self-Driving donanımında iki NPU bulunuyor: HW3 (2019) yaklaşık 144 TOPS, HW4 (2023) ise 200–250 TOPS civarında performans sunuyor.
NVIDIA Drive Thor (2024’te tanıtıldı), iki çip bağlandığında otomotiv yapay zeka iş yükleri için 2000 TOPS’a kadar ulaşabiliyor.
Qualcomm’un Snapdragon 8 Gen 3 (2023) Hexagon NPU’su, Gen 2’ye göre %98 daha hızlı, cihaz üzerinde 10 milyar parametreye kadar LLM çalıştırabiliyor ve gösterimlerde dünyanın en hızlı mobil Stable Diffusion’ını başardı.
MediaTek’in Dimensity 9400’ü (2024), altıncı nesil APU’su ile Oppo Find X8’in yapay zeka fotoğraf yeniden düzenlemesini sağlıyor; bu, NPU’ların 2025’e kadar TV, IoT ve otomobillere yayılacağının sinyalini veriyor.
Intel’in Meteor Lake’i, 14. nesil Core (2023’te piyasaya çıktı; 2024’te Core Ultra olarak yeniden adlandırıldı), entegre NPU ile yaklaşık 8–12 TOPS sunuyor; Arrow Lake yaklaşık 13 TOPS, Lunar Lake ise söylentilere göre 45 TOPS civarında.
AMD’nin Ryzen 7040 Phoenix’i (2023), 10 TOPS’a kadar Ryzen AI Engine’ı tanıttı; Ryzen 8000 masaüstü (2024 başı) ise 39 TOPS sundu, ardından AMD o nesilde NPU’ları duraklattı.

Kısacası: Akıllı telefonunuz, kameranız ve hatta arabanız artık yapay zeka beyinleri ile donatılıyor – buluta gerek yok. NPU (Sinirsel İşlem Birimi) ve TPU (Tensör İşlem Birimi) adı verilen özel çipler, günlük cihazları yüz tanıma, sesli komutlar, gerçek zamanlı çeviri, otonom sürüş özellikleri ve daha fazlasını yapabilen akıllı asistanlara dönüştürüyor. Bu cihaz üzerinde yapay zeka devrimi, yıldırım hızında yanıtlar, daha iyi gizlilik ve bir zamanlar sadece süper bilgisayarlarda mümkün olduğunu düşündüğümüz yeni özellikler vaat ediyor. Bu raporda, NPU ve TPU’ları anlaşılır hale getirecek, CPU/GPU’lardan farklarını görecek ve Apple, Google, Qualcomm ve Intel gibi teknoloji devlerinin neden bu “yapay zeka beyinlerini” telefonlardan arabalara kadar her şeye yerleştirmek için yarıştığını inceleyeceğiz. Ayrıca en yeni 2024–2025 gelişmelerini, uzman görüşlerini, sektör standartlarını ve cihaz üzerinde yapay zekanın geleceğini de vurgulayacağız.

NPU ve TPU Nedir? (Cihazınızın Yapay Zeka Beyniyle Tanışın)

Nöral İşlem Birimleri (NPU’lar), modern yapay zeka görevlerini (görüntü tanıma, konuşma işleme ve daha fazlası gibi) destekleyen algoritmalar olan yapay sinir ağlarını hızlandırmak için tasarlanmış özel işlemcilerdir. Genel amaçlı CPU’lardan farklı olarak, NPU’lar uygulamaya özel entegre devreler (ASIC) olup matris matematiği ve sinir ağlarının yoğun paralel iş yükleri için optimize edilmiştir ^[1]. Bir NPU, “yapay zeka görevlerini hızlandırmak için insan beyninin sinir ağlarını taklit eder” ve esasen cihazınızın içinde bir silikon beyin gibi çalışır ^[2]. NPU’lar, genellikle daha düşük sayısal hassasiyet (ör. 8 bit tamsayılar) kullanarak güç tasarrufu sağlarken yüksek performans sunmaya devam ederek, AI modelleri için çıkarım (tahmin yapma) işlemlerini cihaz üzerinde verimli bir şekilde çalıştırmada mükemmeldir ^[3]. “NPU” terimi bazen herhangi bir yapay zeka hızlandırıcısı için geniş anlamda kullanılsa da, daha çok mobil ve uç cihazlardakileri ifade etmek için kullanılır ^[4]. Örneğin, iPhone’lardaki Apple’ın “Neural Engine”i ve Samsung’un mobil yapay zeka motoru, sistem-üzerinde-çip (SoC) tasarımlarına entegre edilmiş NPU’lardır.

Tensor İşleme Birimleri (TPU’lar) ise, Google tarafından özellikle TensorFlow çerçevesi için makine öğrenimini hızlandırmak amacıyla özel çipler olarak ortaya çıkarıldı. Bir TPU, tensör işlemleri (matris çarpımları vb.) için optimize edilmiş bir ASIC türüdür ve sinir ağı eğitimi ile çıkarımının merkezindedir ^[5]. Google, sinir ağı hesaplamalarını hızlandırmak için ilk olarak 2015 yılında veri merkezlerinde TPU’ları kullanmaya başladı ve daha sonra bunları Google Cloud üzerinden erişime açtı ^[6]. TPU’lar, sistolik dizi adı verilen farklı bir mimari kullanır; bu mimari, birçok küçük işlem birimini bir ızgarada birbirine bağlayarak veriyi matris çarpma birimlerinden oluşan bir zincir boyunca pompalar ^[7]. Bu tasarım, derin öğrenme görevlerinde aşırı yüksek veri işleme kapasitesi sağlar. Google’ın TPU’ları, birçok yapay zeka görevinin doğru sonuçlar almak için yüksek hassasiyet gerektirmemesi nedeniyle, kasıtlı olarak biraz hassasiyetten (32-bit kayan nokta yerine 8-bit veya 16-bit matematik kullanarak) feragat eder ve bunun karşılığında büyük hız ve verimlilik kazancı sağlar ^[8]. “TPU” teknik olarak Google’ın çiplerini ifade etse de, terim bazen herhangi bir “tensör” hızlandırıcısı için daha genel anlamda da kullanılır. Özellikle, Google ayrıca Coral Dev Board gibi ürünlerde cihaz üzerinde yapay zeka için Edge TPU yardımcı işlemcileri de üretmektedir ve bu çipler birkaç watt’ta 4 trilyon işlem gerçekleştirebilir ^[9].

Kısacası: NPU’lar ve TPU’lar, her ikisi de yapay zeka için silikon hızlandırıcılardır, ancak NPU’lar genellikle verimli cihaz üzerinde çıkarım için mobil/kenar cihazlara entegre edilirken, TPU’lar (dar anlamda) esasen Google tarafından bulut/veri merkezi eğitimi ve çıkarımı görevleri için üretilmiş yüksek performanslı çiplerdir (ve artık modüllerdir). Her ikisi de geleneksel CPU/GPU tasarımlarından ayrılarak sinir ağları için paralel matematik işlemlerini önceliklendirir. Bir teknoloji editörünün de dediği gibi, “TPU’lar uzmanlaşmayı daha da ileriye taşıyor, tensör işlemlerine odaklanarak daha yüksek hızlar ve enerji verimlilikleri elde ediyor… NPU’lar ise akıllı telefonlar ve IoT cihazları gibi yapay zeka özellikli cihazlarda yaygın” ^[10].

NPU’lar ve TPU’lar CPU ve GPU’lardan Nasıl Farklıdır?

Geleneksel CPU’lar (merkezi işlem birimleri), genel amaçlı hesaplamanın “beyni”dir – işletim sisteminizi çalıştırmaktan internette gezinmeye kadar her türlü görevi yerine getirecek esneklik için optimize edilmiştir. Birkaç güçlü çekirdeğe sahiptirler ve ardışık mantık ile çeşitli komutlarda mükemmeldirler, ancak derin öğrenmede gereken yüksek derecede paralel matematik işlemlerinde iyi değillerdir ^[11]. Bir CPU’dan büyük bir sinir ağını işlemesi istendiğinde, genellikle bir darboğaz haline gelir; milyonlarca çarpma ve toplama işlemini sırayla veya sınırlı paralel gruplar halinde yürütmeye çalışır. Bu da yüksek gecikme ve güç tüketimine yol açar (CPU ile bellek arasında çok fazla veri taşınmasına neden olan Von Neumann darboğazı olarak bilinir) ^[12]. CPU’lar bazı yapay zeka işlerini (özellikle daha basit veya küçük modelleri ya da yapay zeka programlarının kontrol mantığını ^[13]) yapabilir, ancak genel olarak, modern yapay zekanın devasa paralel lineer cebir gereksinimlerine verimli şekilde ölçeklenmekte zorlanırlar.

GPU’lar (grafik işlem birimleri), paralel hesaplamayı ön plana çıkardı. Başlangıçta pikseller ve köşeler üzerinde birçok basit işlemi paralel olarak gerçekleştirerek görüntü oluşturmak için tasarlanan GPU’lar, aynı matematiksel işlemlerin (nokta çarpımı vb.) çok sayıda veri üzerinde eşzamanlı olarak uygulanmasını gerektiren sinir ağı eğitiminde de oldukça uygun oldukları ortaya çıktı ^[14]. Bir GPU, paralel olarak matematik işlemleri yapabilen yüzlerce veya binlerce küçük çekirdek içerir. Bu, GPU’ları büyük ölçekli yapay zeka için mükemmel kılar ve 2010’lar boyunca GPU’lar (özellikle CUDA yazılımına sahip NVIDIA’nınkiler) derin öğrenme araştırmalarının yükünü taşıyan temel araç haline geldi. Ancak GPU’lar hâlâ bir ölçüde geneldir – çeşitli grafik görevlerini de yerine getirmeleri ve esnekliklerini korumaları gerekir, bu nedenle sinir ağları için %100 optimize edilmemişlerdir. Ayrıca çok fazla güç tüketirler ve tam verimle kullanılabilmeleri için dikkatli programlama gerektirirler (karmaşık dallanma kodlarını sevmezler ve veriye paralel, sadeleştirilmiş görevlerde başarılı olurlar) ^[15].

NPU’lar ve TPU’lar uzmanlaşmayı daha da ileriye taşır. Bunlar, sadece sinir ağı iş yükü için özel olarak üretilmiştir. Bu, mimarilerinin AI matematiği için gerekli olmayan her şeyi çıkarabileceği ve daha fazla silikonu matris çarpma birimleri, toplama birleştiriciler ve bu matematik birimlerine veri hızlıca girip çıkarmak için yongada bellek gibi şeylere ayırabileceği anlamına gelir. Örneğin bir Google Cloud TPU, esasen devasa bir 2D MAC (çarp-topla) birimleri dizisidir ve onları yüksek hızda işlenenlerle besleyen akıllı bir veri akışı mimarisine (sistolik dizi) sahiptir ^[16]. Önbellekler, spekülatif yürütme veya diğer CPU özellikleriyle uğraşmaz – matris matematiği için optimize edilmiştir. Mobil çiplerdeki NPU’lar da benzer şekilde CPU/GPU’nun yanında özel sinir motoru çekirdekleri entegre eder. Bu çekirdekler genellikle düşük hassasiyetli aritmetik (ör. TPU’lar gibi 8 bit tamsayılar) kullanır ve evrişimli sinir ağları gibi şeyler için son derece paralel “katman katman” hesaplamalar yapar. Bir NPU, farklı sinir ağı işlemlerini verimli şekilde işlemek için “birleşik” bir mimari kullanabilir ve skaler, vektör ve tensör birimlerini birleştirebilir (Qualcomm’un Hexagon NPU’su bunu yapar) ^[17].

Temel farklar şunlara dayanır:

Komut seti ve esneklik: CPU’lar geniş, genel bir komut setine sahiptir (birçok şeyi yapabilir, ancak hepsini aynı anda yapamaz). GPU’lar daha sınırlı ama yine de esnek, matematik için optimize edilmiş bir komut setine sahiptir. NPU/TPU’lar ise çok dar bir komut setine sahiptir – esasen sinir ağları için gereken işlemlerden ibarettir (matris çarpma, evrişim, aktivasyon fonksiyonları), genellikle sabit boru hatları veya diziler olarak uygulanır ^[18]. Örneğin, Tesla’nın otonom sürüş NPU’sunun ISA’sında yalnızca 8 komut vardır ve bunlar DMA okuma/yazma ve nokta çarpımları üzerine odaklanmıştır ^[19].
Paralellik ve çekirdekler: CPU’lar = birkaç güçlü çekirdek; GPU’lar = binlerce basit çekirdek; NPU/TPU’lar = bir bakıma, on binlerce çok basit ALU (MAC birimleri) matris veya sinir ağı şeklinde yapılandırılmıştır. Tek bir NPU çipi saniyede onlarca trilyon işlem gerçekleştirebilir – Tesla’nın araç NPU’su 2 GHz’de 9.216 MAC ile çalışır, çekirdek başına ~37 tera-işlem/saniye (TOPS) elde eder ve her FSD çipinde ~74 TOPS için iki NPU bulunur ^[20], ts2.tech. Buna karşılık, üst düzey bir CPU AI görevlerinde saniyede yalnızca birkaç yüz milyar işlem yapabilir ve bir GPU, özel tensör çekirdekleri kullanılmazsa belki birkaç TOPS’a ulaşabilir.
Bellek mimarisi: NPU/TPU’lar hızlı yongaiçi belleğe ve veri akışına dayanır. TPU’lar klasik bellek darboğazını, her küçük birimin veriyi sırayla bir sonrakine aktardığı sistolik veri akışıyla aşar, böylece ana belleğe okuma/yazma en aza indirilir ^[21]. Birçok NPU, ağırlıklar/aktivasyonlar için yongaiçi SRAM içerir (ör. Tesla’nın NPU çekirdeklerinin her birinde sinir ağı verisini yerel olarak tutmak için 32 MB SRAM bulunur) ^[22]. Bu, harici DRAM’i yoğun kullanan GPU/CPU’lardan farklıdır.
Hassasiyet: CPU/GPU’lar genellikle hesaplama için 32-bit veya 64-bit kayan nokta kullanır. AI hızlandırıcıları ise genellikle 16-bit veya 8-bit tamsayılar (ve bazıları artık 4-bit hatta 2-bit’i araştırıyor) kullanır çünkü sinir ağları daha düşük hassasiyeti tolere edebilir. Google’ın TPU tasarımcıları, çıkarım için tam kayan nokta hassasiyetine gerek olmadığını özellikle belirtmiştir; bu, “şiddetli yağmur yağdığını anlamak için tam olarak kaç damla düştüğünü bilmenize gerek yok” benzetmesiyle açıklanır ^[23]. Bu, NPU/TPU’ların daha fazla işlemi paralel yapmasına ve işlem başına daha az enerji kullanmasına olanak tanır.
Kullanım alanları: GPU’lar hâlâ büyük modellerin eğitimi ve esnek hesaplama için yaygın olarak kullanılır (ve veri merkezlerinde, üst düzey PC’lerde yaygındır). TPU’lar (bulut) Google ekosisteminde büyük ölçekli eğitim ve çıkarım için hedeflenmiştir. NPU’lar ise daha çok uç cihazlarda – akıllı telefonlar, kameralar, ev aletleri – halihazırda eğitilmiş modellerde çıkarım yapmak için bulunur. Gerçek zamanlı olarak bir kamera karesine görüntü modeli uygulamak veya bir sesli asistanın tetikleme kelimesini sürekli ve düşük güçte algılamak gibi görevlerde öne çıkarlar. TechTarget’ın belirttiği gibi: “GPU’lar birçok ML projesinde bulunabilirlik ve maliyet etkinliği için seçilir; TPU’lar genellikle daha hızlı ve daha az hassastır, Google Cloud’daki işletmeler tarafından kullanılır; NPU’lar ise önemli ölçüde daha hızlı yerel işlem için genellikle uç/mobil cihazlarda bulunur” ^[24].

Özetle, CPU’lar = çok yönlü düzenleyiciler, GPU’lar = paralel iş atları, TPU/NPU’lar = sinir ağı uzmanlarıdır. Hepsi iş birliği yapabilir – aslında, modern bir yapay zeka destekli cihazda, CPU genellikle görevleri koordine eder ve matematiksel olarak yoğun kısımları gerektiğinde NPU/GPU’ya aktarır ^[25]. Bu uzmanlaşma eğilimi, artık tek bir çözümün tüm ihtiyaçlara uymamasından kaynaklanıyor: bir editörün esprili bir şekilde belirttiği gibi, “her ihtiyaç için milyonlarca transistör eklemek verimlilik için iyi değildi… tasarımcılar amaca yönelik işlemcileri benimsedi” ^[26]. Amaca yönelik NPU ve TPU’lar, yapay zeka hesaplamalarını büyük ölçüde hızlandırırken gücü düşük tutar – bu, hem pil ile çalışan cihazlar hem de yüksek yoğunluklu sunucular için kritik bir dengedir.

Neden Cihaz Üzerinde Yapay Zeka? (Uç vs. Bulut)

Yapay zekayı neden telefonunuzda veya arabanızda çalıştırasınız ki – neden her şeyi buluta göndermiyorsunuz, orada devasa sunucular (GPU/TPU’larla) ağır işi yapabilir? Cihaz üzerinde yapay zeka‘ya geçişi tetikleyen birkaç önemli neden var ve bunlar hız, gizlilik, maliyet ve güvenilirliğe dayanıyor ^[27]:

Anında Yanıt (Düşük Gecikme): Cihaz üzerindeki bir NPU, verileri bulut sunucusuna gönderip geri alma gecikmesi olmadan gerçek zamanlı olarak işleyebilir. Bu, etkileşimli veya güvenlik açısından kritik yapay zeka görevleri için çok önemlidir. Örneğin, yerleşik NPU’lar kullanan bir arabanın otonom sürüş sistemi, bir yayayı tanımlayabilir ve anında, milisaniyeler içinde, bulut hesaplamasını beklemeden fren yapabilir. NPU’ya sahip akıllı bir kamera, bir davetsiz misafiri kadraja girdiği anda tespit edebilir. Telefonunuzda, cihaz üzerinde yapay zeka, sesli asistanınızın daha hızlı ve doğal yanıt vermesini sağlar çünkü sürekli olarak “eve telefon etmiyor.” Azaltılmış gecikme, gerçek zamanlı karar vermeyi ve daha akıcı bir kullanıcı deneyimini mümkün kılar ^[28].
Gizlilik ve Veri Güvenliği: Cihaz üzerindeki yapay zeka, verilerinizi yerel tutar. Mikrofon sesinizin veya kamera görüntünüzün analiz için buluta aktarılması yerine, işleme cihazın içinde gerçekleşir. Bu, hassas verilerin maruz kalma riskini büyük ölçüde azaltır. Örneğin, modern akıllı telefonlar yüz tanımayı (Face ID vb.) tamamen cihaz üzerinde gerçekleştirir – yüzünüzün biyometrik haritası asla telefonun güvenli alanından çıkmaz. Benzer şekilde, bir yapay zeka işitme cihazı veya sağlık giyilebilir ürünü, biyometrik verileri herhangi bir sunucuya yüklemeden analiz edebilir ve gizliliği korur. Kullanıcı endişeleri ve veri egemenliğiyle ilgili düzenlemeler arttıkça, bu büyük bir avantajdır. Bir edge AI blogunun belirttiği gibi, cihaz üzerindeki işleme “kullanıcı verilerinin buluta iletilmesine gerek olmadığı” anlamına gelir ve temel bir gizlilik avantajı sağlar ^[29]. (Elbette, gizlilik otomatik değildir – geliştiriciler yine de depolanan verileri dikkatli şekilde yönetmelidir – ancak bilgilerinizi sürekli dışarı göndermeyen cihazlara güvenmek daha kolaydır.) Teknoloji CEO’ları genellikle bu noktayı vurgular. Qualcomm CEO’su Cristiano Amon, bulut ve cihaz üzerindeki zekânın birleşiminin kişiselleştirmeyi artırabileceğini ve verileri cihazda güvenli tutabileceğini belirtiyor – buna “hibrit gelecek” diyor; burada cihaz üzerindeki yapay zeka, bulut yapay zekasıyla en iyi sonucu elde etmek için iş birliği yapıyor ^[30].
Çevrimdışı Kullanılabilirlik & Güvenilirlik: NPU/TPU’lu cihazlar bağlantıya bağımlı değildir. Metro tünelinde, uçakta, uzak kırsal alanlarda veya ağ kesintilerinde çalışabilirler. Bu, güvenilirlik açısından çok önemlidir. Cihaz üzerindeki bir sesle yazma özelliği, sinyal olmasa bile çalışır. Yerleşik görsel yapay zekaya sahip bir drone, şebeke dışındayken bile engellerden kaçınabilir. Bu bağımsızlık, hayati öneme sahip sistemler için de kritiktir: ör. canlı internet bağlantısı varsayamayacak afet kurtarma robotları veya tıbbi cihazlar. “Çevrimdışı işlevsellik”, cihaz üzerindeki yapay zekanın temel avantajlarından biridir ^[31] – bu, yapay zeka özelliğinin ne zaman ve nerede gerekirse kullanılabilir olmasını sağlar.
Ölçekte Maliyet Verimliliği: Ham verileri sürekli olarak yapay zeka işleme için buluta göndermek çok maliyetli olabilir (bulut bilişim ücretsiz değildir) ve bant genişliği açısından yoğundur. Yapay zeka özellikleri çoğaldıkça, şirketlerin her küçük görev için bir sunucuya başvurması durumunda devasa bulut işleme faturaları ödemesi gerekir. Daha fazlası uçta yapıldığında, bulut sunucu yükleri ve ağ kullanımı azalır. Cihaza birkaç dolar daha fazla harcayıp daha iyi bir çip almak, cihazın ömrü boyunca gigabaytlarca bulut bilişim ücreti ödemekten genellikle daha verimlidir. Futurum’un sektör analizinde, cihaz üzerindeki işlemenin üretken yapay zekanın ölçeklenme ve maliyet sorunlarını çözmeye yardımcı olduğu belirtiliyor – yükü “yayarak” veri merkezlerinin aşırı yüklenmesini önlüyor (ve kullanıcılar/geliştiriciler bulut GPU süresi için fahiş ücretler ödemiyor) ^[32].
Kişiselleştirme & Bağlam: Ortaya çıkan bir neden: cihaz üzerindeki yapay zeka, yerel bağlamdan öğrenebilir ve buna uyum sağlayabilir; bulut yapay zekası bunu her zaman yapamayabilir. Akıllı telefonunuz, kişisel dil modelinizi buluta göndermeden, yazma tarzınızı öğrenen küçük bir yerel model tutabilir ve böylece daha iyi otomatik düzeltme sağlar. Cihazlar, birden fazla sensörden gelen verileri gerçek zamanlı olarak birleştirebilir (bu, birçok sensör akışını buluta göndermekten daha kolaydır). Bu, daha kişiselleştirilmiş ve bağlama duyarlı bir deneyim sağlayabilir. Federated learning gibi bazı özellikler, cihazların ham veriyi yüklemeden (sadece küçük ağırlık güncellemeleri göndererek) yapay zeka modellerini iş birliğiyle geliştirmesine bile olanak tanır.
Düzenlemeler ve Veri Egemenliği: Avrupa’nın GDPR’ı gibi yasalar ve çeşitli veri yerelleştirme gereksinimleri, özellikle kişisel veya hassas verilerin izinsiz olarak yurtdışına veya üçüncü taraflara gönderilmemesini giderek daha fazla zorunlu kılıyor. Cihaz üzerindeki yapay zeka, veriyi kaynağında işleyerek bu gerekliliklere uyum sağlamanın bir yolunu sunar. Örneğin, tıbbi görüntüleme yapay zekası araçları, hasta verilerinin tesisten çıkmamasını sağlayarak gizlilik düzenlemelerine uygun şekilde hastane donanımında (NPU’lu edge sunucularında) çalışabilir. NimbleEdge’in 2025 raporu, hükümetlerin egemenlik ve uyumluluk nedenleriyle daha fazla yerel çıkarım yapılmasını teşvik ettiğini belirtiyor ^[33].

Tüm bu faktörler bir paradigma değişimini tetikliyor: Şirketler artık yapay zeka için “önce bulut” yaklaşımı yerine, mümkün olduğunda “önce cihaz” olarak yapay zeka özellikleri tasarlıyor. Qualcomm’un Yapay Zeka Başkan Yardımcısı Durga Malladi’nin özetlediği gibi: “Üretken yapay zekayı ana akıma etkili bir şekilde ölçeklendirmek için, yapay zekanın hem bulutta hem de uçtaki cihazlarda… akıllı telefonlar, dizüstü bilgisayarlar, araçlar ve IoT cihazları gibi çalışması gerekecek” ^[34]. Ağır eğitim ve büyük modellerin bulutta kalacağı, ancak birçok çıkarım görevi ve kişisel yapay zeka deneyiminin elinizdeki ve evinizdeki NPU/TPU’larda yerel olarak çalışacağı hibrit bir yapay zeka dünyasına geçiyoruz. Hatta Amon buna “yapay zekada bir dönüm noktası” diyor – gecikmesiz cihaz üzerinde çıkarım, burada “yapay zekanın geleceği kişisel” çünkü tam olduğunuz yerde çalışıyor ^[35].

Cihaz Üzerinde Yapay Zeka Uygulamada: Akıllı Telefonlardan Otonom Araçlara

Özel yapay zeka çipleri, çevrenizdeki çok çeşitli cihazlara zaten gömülü durumda ve genellikle onları görünmez şekilde daha akıllı hale getiriyor. İşte NPU’ların ve edge TPU’ların kullanıldığı başlıca alanlardan bazıları:

Akıllı Telefonlar & Tabletler: Günümüzde neredeyse tüm modern amiral gemisi telefonlar (ve hatta birçok orta segment cihaz) artık bir NPU veya özel bir yapay zeka motoru içeriyor. Apple, bu trendi 2017’de iPhone’un A11 çipindeki Apple Neural Engine ile başlattı; bu sayede cihaz üzerinde Face ID ve Animoji gibi özellikler saniyede 600 milyar işlem yaparak mümkün oldu ^[36]. Bugün, Apple’ın A17 Pro çipi (2023) saniyede 35 trilyon işlem yapabilen 16 çekirdekli bir Neural Engine barındırıyor ^[37]. Bu, gelişmiş kamera sahne algılama, fotoğraf stilleri, çevrimdışı işlenen Siri sesli komutları, otomatik düzeltme, canlı transkripsiyon ve hatta cihaz üzerinde çeviri için transformer modellerinin çalıştırılması gibi özellikleri mümkün kılıyor. Google’ın Pixel telefonlarında da özel silikon (“Google Tensor” SoC’ler) ve NPU’lar bulunuyor: en yeni Tensor G3 Pixel 8’de “Google’ın yapay zeka modellerini çalıştırmak için özel olarak tasarlandı” ve çipin her parçası (CPU, GPU, ISP) cihaz üzerinde üretken yapay zeka için geliştirildi ^[38]. Pixel 8, Google’ın en yeni metinden konuşmaya ve çeviri modellerini yerel olarak çalıştırabiliyor; bu modeller daha önce yalnızca veri merkezlerinde kullanılabiliyordu ^[39]. Ayrıca “Best Take” grup fotoğrafı birleştirme ve Audio Magic Eraser gibi karmaşık kamera işlemlerini de cihaz üzerinde bir dizi yapay zeka modeliyle gerçekleştiriyor ^[40]. Samsung ve diğer Android üreticileri ise Qualcomm’un Snapdragon çip setlerini kullanıyor; en yeni NPU’lar (Hexagon AI engine) ile büyük dil modelleri bile telefonda çalıştırılabiliyor – Qualcomm, Snapdragon 8 Gen 3 ile 10 milyar parametreli bir LLM ve hatta Stable Diffusion görüntü üretimini bir telefonda çalıştırmayı gösterdi ^[41]. Bu çipin yapay zeka motoru, önceki nesle göre %98 daha hızlı ve verimlilik için INT4 hassasiyetini destekliyor ^[42]. Pratik sonuç: 2024 telefonunuz, makale özetleme, soruları yanıtlama veya fotoğrafları yapay zeka ile düzenleme gibi işlemleri buluta ihtiyaç duymadan yapabiliyor. Hatta erişilebilirlik özellikleri bile faydalanıyor: örneğin Pixel telefonlarda artık cihaz üzerinde sesli yazma, canlı altyazı ve yakında görme engelli kullanıcılar için yerel modelle görselleri tanımlama özelliği olacak.
Akıllı Kameralar & Güvenlik Sistemleri: Yapay zekâ destekli kameralar, üzerinde bulunan NPU’lar sayesinde insanları, yüzleri, hayvanları veya şüpheli davranışları anında tespit edebilir. Örneğin, EnGenius’in en yeni güvenlik kameralarında, nesne tespiti yapan ve videoyu doğrudan kamerada metadatalara dönüştüren yerleşik bir NPU bulunur; bu da ayrı bir video kaydediciye olan ihtiyacı ortadan kaldırır ve güvenliği artırır (çünkü video yerel olarak analiz edilip saklanabilir) ^[43]. Bu, güvenlik kameranızın “kişi var” veya “paket teslim edildi” gibi kararlar verip yalnızca bu uyarıyı gönderebileceği anlamına gelir; saatlerce görüntüyü buluta aktarmak yerine. Benzer şekilde, Google Nest Cam IQ gibi tüketici cihazlarında da tanıdık yüzleri tanımak ve görüş alanındaki insanları evcil hayvanlardan ayırmak için cihaz üzerinde bir görüntü işleme çipi (Google Edge TPU) bulunuyordu. DSLR ve aynasız fotoğraf makineleri de gerçek zamanlı olarak nesne takibi, göz otomatik odaklama ve sahne optimizasyonu gibi işlevler için yapay zekâ işlemcileri ekliyor. Dronlarda ise, yerleşik yapay zekâ çipleri, uzaktan kumandaya ihtiyaç duymadan engellerden kaçınma ve görsel navigasyon sağlıyor. Özellikle, Google’ın Edge TPU’su (küçük bir ASIC modülü), DIY ve endüstriyel IoT kameraları için popüler bir eklenti haline geldi – yalnızca ~2 watt kullanarak insan tespiti veya plaka okuma gibi görevler için 4 TOPS görüntü işleme gücü sağlıyor ^[44].
Akıllı Ev & IoT Cihazları: Telefonların ötesinde, birçok akıllı ev cihazında mini NPU’lar bulunuyor. Sesle çalışan hoparlörler (Amazon Echo, Google Nest Hub, vb.) artık genellikle yerel konuşma tanıma çipleri içeriyor. Amazon, Echo cihazları için Alexa’nın uyandırma kelimesi tespiti ve yanıtlarını cihaz üzerinde hızlandırmak amacıyla AZ1 Neural Edge işlemcisini geliştirdi ve gecikmeyi yarıya indirdi ^[45]. MediaTek ile geliştirilen AZ1, “Alexa”yı tanıyan ve basit komutları buluta ulaşmadan işleyen bir sinir ağı çalıştırıyor ^[46]. Bu, Alexa’nın daha hızlı hissettirmesini sağlamakla kalmıyor, aynı zamanda daha fazla ses verisinin gizli kalmasını da sağlıyor. Benzer şekilde, yeni televizyonlar, ev aletleri ve hatta oyuncakların birçoğunda uçta çalışan bir miktar yapay zekâ bulunuyor – örneğin, akıllı bir buzdolabının kamerası yiyecekleri ve son kullanma tarihlerini yerel olarak tanımlayabiliyor. Giyilebilir cihazlar da anılmaya değer: Apple Watch’un S9 çipi, sağlık yapay zekâ algoritmalarını ve Siri isteklerini saat üzerinde daha iyi işlemek için 4 çekirdekli bir Neural Engine ekledi ^[47]. Endüstriyel tarafta ise, NPU’lu IoT sensörleri, ekipman verilerinde anormallik tespitini doğrudan uçta yapabiliyor ve yalnızca ilgili olayları yukarıya bildiriyor (bant genişliğinden tasarruf edip sorunlara daha hızlı yanıt veriyor).
Otomobiller (ADAS ve Otonomi): Arabalar, tekerlekler üzerinde birer yapay zeka merkezi haline geldi. Gelişmiş sürücü destek sistemleri (ADAS) ve kendi kendine sürüş özellikleri, kamera görüntülerini, LiDAR’ı, radarı yorumlamak ve bir anda sürüş kararları almak için bir dizi yerleşik yapay zeka hızlandırıcısına dayanır. Tesla, kendi FSD (Full Self-Driving) Bilgisayarı’nı çift NPU çipli olarak tasarlamasıyla ünlüdür. Tesla’nın FSD çipi (HW3, 2019’da tanıtıldı) 144 TOPS (her biri 72 TOPS olan iki NPU) sağlıyordu; daha yeni HW4 (2023) ise toplamda yaklaşık 200–250 TOPS’a çıkarıyor (her biri 100+ TOPS olan iki 7nm NPU) ts2.tech. Bu, aracın 8 kameradan tam çözünürlüklü videoyu, sonar vb. verileri aynı anda sinir ağları üzerinden algılayıp işleyebilmesini ve hatta bazı dil modellerini sesli komutlar için çalıştırabilmesini sağlıyor – tümü aracın modülü içinde, yerel olarak. NVIDIA Drive ve Qualcomm Snapdragon Ride gibi rakip platformlar da NPU’ları entegre ediyor. NVIDIA’nın en yeni otomobil süper bilgisayar çipi, Drive Thor, 2025 model araçlar için planlanıyor ve tek bir çipte 1.000 TOPS’a kadar (ve iki çip eşleştirildiğinde 2.000 TOPS) ulaşarak Seviye 4 otonomiyi destekliyor ts2.tech. GPU, CPU ve özel derin öğrenme hızlandırıcılarını birleştirerek, çip üzerinde hem trafik işareti tanımadan sürücü izleme yapay zekasına kadar her şeyi işleyebiliyor ts2.tech. Bu NPU’lar kelimenin tam anlamıyla hayat kurtarıyor: Otonom bir araç, bir çocuk yola fırladığında bulut sunucularını bekleyemez. Yerleşik yapay zeka, onlarca milisaniye içinde görüp tepki vermelidir. Binek araçların dışında, otonom dronlar, teslimat robotları ve endüstriyel araçlar gibi alanlarda da kenar yapay zekası yoğun şekilde kullanılır; bu araçlar, kararlarını yerleşik NPU/TPU’larla verir ve yön bulur (örneğin, Nuro’nun teslimat robotları ve birçok otonom kamyon sistemi cihaz üzerinde NVIDIA veya Huawei yapay zeka çipleri kullanır).
Edge Bilişimi ve Endüstri: Fabrikalarda ve kurumsal ortamlarda, cihaz üzerindeki yapay zeka genellikle AI hızlandırıcılı edge sunucuları veya ağ geçitleri şeklini alır. Kamera görüntülerini veya sensör verilerini merkezi bir buluta göndermek yerine, şirketler tesislerinde edge kutuları (bazen GPU tabanlı, bazen NPU/FPGA tabanlı) kurar. Bunlar, üretim hattında kalite kontrol için gerçek zamanlı video analitiği, AI görüsüyle mikrosaniyeler içinde kusur tespiti gibi görevleri yerine getirir. Sağlık cihazları da başka bir örnektir: taşınabilir bir ultrason veya MRI cihazı, cihaz üzerinde AI görüntü analizi yapmak için bir NPU’ya sahip olabilir, böylece doktorlar internet bağlantısına ihtiyaç duymadan anında tanı yardımı alır (bu aynı zamanda hasta veri gizliliği için de daha iyidir). Perakende ve şehirler de edge’de AI kullanıyor – örneğin, NPUs ile donatılmış akıllı trafik kameraları, yoğunluğu analiz edip ışıkları ayarlıyor veya perakende raf kameraları envanteri takip ediyor. Bunların birçoğu Intel Movidius Myriad çipleri, Google’ın Edge TPU’su veya Hailo-8 gibi yeni oyuncular (kameralar için birkaç watt’ta 26 TOPS sunan İsrailli bir NPU) gibi özel NPUs kullanıyor. Ortak nokta, bu hızlandırıcıların analizi yerel olarak yapabilmesi, gerçek zamanlı sonuçlar elde edilmesi ve ağlar üzerinden yalnızca üst düzey içgörülerin (ham veri yerine) iletilmesidir.

NPU/TPU’ların cihaz türleri arasındaki çok yönlülüğü etkileyici. Bir an telefonunuzda AI ile fotoğrafta arka planı bulanıklaştırmayı sağlarken, bir sonraki an bir drone’u yönlendiriyor veya tıbbi görüntüleri tarıyorlar. Akıllı telefon kameraları artık Gece Modu (birden fazla kareyi akıllıca birleştirme), Portre modu bokeh, sahne tanıma (telefonunuz “gün batımı” çektiğinizi anlar ve renkleri AI ile optimize eder) ve hatta eğlenceli AR efektleri (Animoji yüzünüzü haritalar veya Snapchat filtreleri hareketlerinizi takip eder – hepsi cihaz üzerindeki sinir ağları sayesinde) gibi özellikler için NPU kullanıyor. Biyometri de NPU kullanıyor: canlılık algılama için AI ile geliştirilmiş parmak izi tarayıcıları, derinlik sensörlü ve AI destekli yüz kilidi. Ses de NPU’lardan yararlanıyor: kulaklık ve telefonlarda gürültü engelleme artık çoğunlukla AI destekli, NPU’lar sesi arka plan gürültüsünden gerçek zamanlı olarak ayırıyor.

2024 yeniliğine somut bir örnek: Oppo (akıllı telefon üreticisi), MediaTek ile iş birliği içinde, Mixture-of-Experts (MoE) AI modelini doğrudan cihaz üzerinde 2024’ün sonlarında uyguladığını duyurdu – bildirildiğine göre bir telefonda bunu yapan ilk şirket ^[48]. Bu gelişmiş sinir ağı mimarisi (MoE), yalnızca ilgili “uzman” alt ağları her görev için etkinleştirerek performansı artırabiliyor ve bunu cihaz üzerinde yapmak, Oppo telefonlarının karmaşık görevler için daha hızlı AI işleme ve daha iyi enerji verimliliği elde etmesini sağlıyor, bulut desteğine ihtiyaç duymadan ^[49]. Bu, en ileri AI araştırmalarının bile gelişmiş NPU’lar sayesinde hızla el cihazlarımıza girdiğini gösteriyor.

2025 AI Çiplerinin İçinde: Apple, Google, Qualcomm ve Daha Fazlasından Son Gelişmeler

Cihaz üzerinde daha iyi AI donanımı geliştirme yarışı hızla kızıştı. Büyük şirketlerin son dönemde (2024–2025) NPU/TPU ve AI silikonunda neler sunduğuna bir göz atalım:

Apple: Apple’ın özel silikon stratejisi uzun süredir cihaz üzerinde makine öğrenimine vurgu yapıyor. Her yıl, Apple’ın Neural Engine’ı daha da güçleniyor. 2023 iPhone 15 Pro’da, A17 Pro çipinin Neural Engine’ı 35 TOPS’a (saniyede trilyon işlem) 16 çekirdeğiyle ulaştı ^[50]. Bu, A16’nın NPU’sunun ham veri işleme kapasitesinin iki katıydı ve Apple bunu Siri için cihaz üzerinde konuşma tanıma (nihayet birçok Siri isteğinin internet olmadan işlenmesi) ve yeni kamera yetenekleri (örneğin Portre modunun otomatik olarak yakalanması ve kamerayla canlı metin çevirisi gibi) gibi özellikleri etkinleştirmek için kullandı. Apple’ın 2024 çipleri bu trendi sürdürdü: Mac’ler için M3 ailesi (2023 sonu) güncellenmiş bir Neural Engine aldı (ilginç bir şekilde M3 temel çipte 18 TOPS’a ayarlanmış, daha çok verimliliğe odaklanıyor) ^[51]. 2024’te Apple, M4 çipini (üst düzey iPad/Mac’ler için, 2024 ortası) tanıttı ve bu çipin Neural Engine’ı 38 TOPS’a çıkardığı bildirildi, geliştirilmiş 3nm üretim süreciyle ^[52]. Sadece rakamların ötesinde, Apple bu NPU’yu kullanıyor: Kişisel Ses (kullanıcının sesinin 15 dakikalık eğitimden sonra klonunu oluşturan) gibi özellikler iPhone’lardaki Neural Engine’da özel olarak çalışıyor ve Canlı Sesli Mesaj transkripsiyonları yerel olarak gerçekleşiyor. Apple ayrıca tüm cihaz kategorilerine NPU entegre etti – hatta AirPods Pro’da bile Uyarlanabilir Ses için küçük bir neural çip var. Apple yöneticileri genellikle gizlilik yönünü vurguluyor: “cihazınızda makine öğrenimi” verilerinizin sizde kalması anlamına geliyor. 2025’e kadar, Apple’ın Neural Engine’ının daha da genişlemesini veya üçüncü parti uygulamalara yeni şekillerde sunulmasını bekliyoruz (Core ML zaten geliştiricilerin bunu kullanmasına izin veriyor, ancak Apple daha fazla neural API erişimi açabilir). Ayrıca Apple’ın gelecekteki gözlükler veya arabalar için bağımsız bir yapay zeka hızlandırıcı tasarlayacağına dair söylentiler de var, ancak mevcut ürünler entegre NPU’ları A-serisi ve M-serisi SoC’lerinde tercih ettiklerini gösteriyor.
Google: Google yalnızca bulut TPU’nun öncüsü olmakla kalmadı, aynı zamanda Pixel telefonlar ve tüketici cihazları için cihazda çalışan yapay zeka konusunda da yatırımlarını ikiye katladı. Google Tensor SoC (ilk olarak 2021’de Pixel 6’da tanıtıldı), Google’ın bulutla ünlü olmasına rağmen, yapay zekayı cihazın kendisinde çalıştırmak için bir telefon çipi üretmesiyle benzersizdi. Tensor G3 (2023’ün Pixel 8’inde), Google cihazda üretken yapay zeka sağlayan yükseltmeleri öne çıkardı. Google, Pixel 8’in çipinin “Google yapay zeka araştırmasını doğrudan en yeni telefonlarımıza getiriyor” ^[53] şeklinde açıkça belirtti. Tensor G3’ün yeni nesil TPU’su (Google hâlâ yapay zeka çekirdeğine dahili olarak “TPU” diyor) Pixel’in Palm 2 veya Gemini Nano (Google’ın büyük dil modellerinin hafifletilmiş sürümleri) gibi gelişmiş modelleri cihazda çalıştırmasına olanak tanıyor; bu da web sitelerini özetleme veya sesli yazma iyileştirmeleri gibi özellikler sağlıyor ^[54]. Öne çıkan bir özellik: Pixel 8, Google’ın en iyi metinden konuşmaya modelini (veri merkezinde kullanılan) yerel olarak çalıştırabiliyor; bu da telefonun web sayfalarını doğal seslerle yüksek sesle okumasını ve hatta bunları gerçek zamanlı olarak çevirmesini sağlıyor, hem de tamamen çevrimdışı ^[55]. Google ayrıca Pixel’deki TPU’yu fotoğrafçılık (“HDR+” çoklu kare görüntüleme, Magic Eraser ile yapay zeka tabanlı nesne silme ^[56]), güvenlik (yapay zeka ile cihazda yüz tanıma, artık ödemeler için yeterince güçlü kabul ediliyor ^[57]) ve konuşma (artık “ııı” deseniz de aldırmayan Asistan) için kullanıyor. Telefonların ötesinde, Google Coral Dev Board ve USB çubuğu ile hobi meraklıları ve işletmelerin projelerine Edge TPU eklemesini sağlıyor; her biri Google’ın Edge TPU’sunu içeriyor ve çok düşük güçte görsel görevler için 4 TOPS sağlıyor ^[58]. Bu, Google’ın kendi ürünlerinden bazıları olan Nest Hub Max’te jest tanıma için de kullanılıyor. Google için, uçta TPU’ları entegre etmek daha geniş bir stratejinin parçası: Sundar Pichai (Google CEO’su), yapay zekanın geleceğinin her deneyimi artırmakla ilgili olduğunu söyledi ve açıkça Google, “yapay zekanın dönüştürücü gücünü günlük yaşama taşımak için, onu her gün kullandığınız cihazdan erişilebilir kılmanız gerekir” ^[59] görüşünde – bu yüzden Tensor çipleri var. Tensor G4’ü 2024 sonlarında çıkacak Pixel telefonlarda görebiliriz; muhtemelen Samsung veya TSMC’nin daha yeni üretim sürecinde üretilecek, yapay zeka performansını ve verimliliğini daha da artıracak, belki de cihazda çok modlu yapay zekayı (görsel+dil modellerinin birleşimi) mümkün kılacak.
Qualcomm: Android telefonlar için önde gelen mobil çip satıcısı, Snapdragon serisinde AI Engine‘i agresif bir şekilde öne çıkardı. Snapdragon 8 Gen 2 (2022 sonu), özel INT4 desteği sundu ve bir telefonda gerçek zamanlı stable diffusion görüntü üretimini sergiledi. Snapdragon 8 Gen 3 (2023 sonu duyuruldu, 2024’ün amiral gemisi telefonlarında) büyük bir sıçrama: Qualcomm, Hexagon NPU’sunun Gen 2’ye göre %98 daha hızlı ve %40 daha enerji verimli olduğunu söylüyor ^[60]. Bu çip, tamamen cihaz üzerinde 10 milyar parametreye kadar büyük dil modellerini çalıştırabiliyor ve yaklaşık saniyede 20 token işleyebiliyor – bu da bulut olmadan bir yapay zeka asistanı ile basit sohbetler için yeterli ^[61]. Ayrıca, demolarında mobil bir cihazda “dünyanın en hızlı Stable Diffusion” görüntü üretimini başardı ^[62]. Qualcomm, cihaz üzerinde üretken yapay zekanın yeni telefonlar için önemli bir satış noktası olduğunu açıkça belirtiyor. Örneğin, Meta ile iş birliği yaparak açık kaynaklı Llama 2 LLM’yi Snapdragon için optimize ettiler ve 2024’e kadar telefonunuzda bir sohbet botu yapay zekası çalıştırmayı hedefliyorlar ^[63]. (Bir Qualcomm yöneticisi şöyle dedi: “Meta’nın açık yaklaşımını takdir ediyoruz… üretken yapay zekanın ölçeklenmesi için hem bulutta hem uçta çalışması gerekir”, uç yapay zeka felsefesini güçlendiriyor ^[64].) Telefonların ötesinde, Qualcomm dizüstü bilgisayar çiplerine de NPU yerleştiriyor (Windows on ARM için Snapdragon compute platformları) – ve otomotiv platformları Snapdragon Ride aynı yapay zeka çekirdeklerini kullanarak ADAS için 30 TOPS’a kadar sunuyor, yol haritasında ise yüzlerce TOPS’a ulaşıyor. 2025’te Qualcomm, PC’ler için güçlü bir NPU içeren yeni bir Snapdragon X Elite CPU’yu bile duyurdu; bu, kişisel bilgisayarlarda Apple ve Intel’e yapay zeka performansında meydan okuma hedefini gösteriyor. Cihaz üzerinde yapay zekanın yükselişiyle, Qualcomm bazı telefonları gerçekten “AI phone” olarak markalıyor. Fotoğrafçılıktan mesajlaşmaya, üretkenliğe kadar birçok uygulamanın NPU’dan faydalanacağını öngörüyorlar. Yazılım tarafında ise Qualcomm, popüler framework’ler (TensorFlow Lite, PyTorch, ONNX) için destekleri birleştirmek amacıyla Qualcomm AI Stack’i yayınladı ^[65] – geliştiricilerin derin çip bilgisi olmadan yapay zeka donanımını kullanmasını kolaylaştırmaya çalışıyor.
MediaTek: #2 numaralı mobil çip üreticisi (Dimensity serisiyle bilinir) aynı zamanda NPU’larını da yükseltti. MediaTek, AI motorlarına “APU” (Yapay Zeka İşlem Birimi) adını veriyor. Örneğin, Dimensity 9200+ (2023), önceki çipe göre önemli bir performans artışı sağlayan altıncı nesil bir APU’ya sahip ve bu da cihaz üzerinde stable diffusion ve videolarda AI gürültü azaltma gibi özellikleri mümkün kılıyor. 2024’te MediaTek, Dimensity 9400’ü duyurdu ve Oppo ile yaptığı iş birliğinde, gelişmiş NPU mimarisini yeni AI özellikleri sunmak için kullandı (belirtildiği gibi, Oppo Find X8’in yansıma kaldırma ve bulanıklık giderme ile AI fotoğraf yeniden düzenlemesi MediaTek’in NPU’su tarafından destekleniyor) ^[66]. MediaTek yöneticileri, kendilerini açıkça cihaz üzerinde AI’nın öncüsü olarak konumlandırıyor. MediaTek’ten Will Chen’in dediği gibi, “AI’nın geleceği bulutu aşıyor; avucunuzun içinden doğrudan edge computing tarafından yönlendiriliyor.” Onlara göre, telefonlardaki AI hızlı, özel, güvenli ve sürekli erişilebilir olmalı ^[67]. MediaTek, Meta ile Llama framework’lerini desteklemek için ve Oppo ile Xiaomi gibi cihaz üreticileriyle AI kamera ve AI ses özelliklerine odaklanan “APU merkezli” bir iş birliği bile kurdu. 2025’e kadar MediaTek, bu NPU’ları sadece telefonlarda değil, aynı zamanda akıllı TV’lerde (AI yükseltme ve görüntü iyileştirme için), IoT cihazlarında ve hatta otomobillerde (MediaTek’in bir otomotiv AI platformu var ve Nvidia ile, Nvidia GPU IP’sini arabalar için entegre etmek üzere ortaklık kurdu, muhtemelen kendi NPU’sunu da sensör AI’sı için sağlıyor) sunmayı planlıyor.
Intel: 2024, Intel’in ana akım PC’lerde AI hızlandırıcılarına girişini işaret etti. Intel’in 14. Nesil Core’u (Meteor Lake, Aralık 2023’te piyasaya sürüldü ve 2024’te Core Ultra olarak yeniden markalandı), yerleşik sinirsel işlem birimine (NPU) sahip ilk x86 PC işlemcisidir. Meteor Lake’in NPU’su (bazen VPU – Görüntü İşleme Birimi – Intel’in Movidius teknolojisine dayalı olarak adlandırılır) yaklaşık 8–12 TOPS AI performansı sunar^[68]. Bu, Windows 11’in arka plan bulanıklığı, görüntülü aramalarda göz teması gibi AI özelliklerini hızlandırmak için kullanılır ve uygulamalar tarafından yerel transkripsiyon, gürültü engelleme veya küçük AI asistanları gibi şeyler için de kullanılabilir. Microsoft ve Intel birlikte “AI PC” kavramını öne çıkarıyor. Intel, bu NPU’ların 2024’te on milyonlarca dizüstü bilgisayarda yer alacağını iddia ediyor^[69]. Meteor Lake’in ardından, Intel’in yol haritasında Arrow Lake (2024’te masaüstü için) de bir NPU içeriyor (yaklaşık 13 TOPS, biraz geliştirilmiş)^[70]. İlginç bir şekilde, Intel’in masaüstü için ilk NPU denemesi aslında AMD tarafından geride bırakıldı (aşağıya bakınız) ve Intel, tutkulu kullanıcılar için GPU/CPU alanından feragat etmemek adına daha mütevazı bir NPU tasarımını tercih etti^[71]. Ancak 2024’ün sonlarına doğru Intel, gelecekteki Lunar Lake çiplerinin Microsoft’un “Copilot” gereksinimlerini karşılamak için çok daha güçlü bir NPU’ya (~45 TOPS) sahip olacağını belirtti^[72]. Tüm bunlar, Intel’in AI’ı PC’ler için vazgeçilmez olarak gördüğünü gösteriyor – devasa modelleri eğitmek için değil, günlük AI destekli deneyimleri hızlandırmak için (ofis yazılımı geliştirmelerinden yerel AI kullanan yaratıcı araçlara kadar). Intel ayrıca Intel Movidius Myriad çipleri (bazı dronlarda, kameralarda kullanılır) ve sunucular için Habana hızlandırıcıları gibi edge AI hızlandırıcıları da satıyor, ancak Meteor Lake’in entegre NPU’su, AI’ı ortalama tüketici cihazına getiren bir dönüm noktasıdır.
AMD: AMD, cihaz üzerinde yapay zekaya yaklaşık aynı dönemde adım attı. 2023’te piyasaya sürülen Ryzen 7040 serisi dizüstü bilgisayar işlemcileri (Phoenix), ilk Ryzen AI Engine‘i içeriyordu – esasen AMD’nin Xilinx satın alımından gelen entegre bir XDNA NPU’su. Bu NPU, mobil çipte 10 TOPS‘a kadar performans sağladı ^[73]. AMD, Intel’in hedeflerine benzer şekilde, yapay zeka destekli görüntülü aramalar, üretkenlik uygulamaları gibi kullanım senaryolarını öne çıkardı. Ardından AMD, kısa bir süreliğine NPU’su 39 TOPS‘a ulaşan bir Ryzen 8000 masaüstü serisi (2024 başı) piyasaya sürdü – bu, genel amaçlı bir CPU’nun yapay zeka birimi için çok yüksek bir rakam ve hatta Intel’in planlarını aşıyor ^[74]. Ancak AMD hızla rotasını değiştirdi ve bir nesli atlayarak bir sonraki mimarisine odaklandı (2024 sonlarında çıkan Ryzen 9000, çekirdek yükseltmelerine öncelik vermek için NPU’yu çıkardı) ^[75]. Yine de, AMD’nin gelecekteki PC çiplerinde NPU’ları geri getirmesi bekleniyor (bu muhtemelen, güçlü bir yapay zeka motorunu diğer performanslardan ödün vermeden entegre etmek için geçici bir geri çekilme). Ürün tarafında, AMD’nin NPU’ları ilginç şeyler mümkün kılabilir çünkü AMD aynı zamanda güçlü GPU’lara da sahip – bu kombinasyon, yapay zeka iş yüklerini işbirliğiyle (bazı kısımlar NPU’da, bazıları GPU’da) işleyebilir. AMD ayrıca uyarlanabilir (FPGA tabanlı) SoC’lerine ve otomotiv çiplerine de yapay zeka çekirdekleri ekliyor. Özetle, 2025 itibarıyla tüm x86 PC çip üreticileri NPU’ları benimsedi, bu da birkaç yıl önce akıllı telefonlarda olanla uyumlu ve yapay zeka hızlandırmanın artık her alanda standart bir özellik haline geldiğini gösteriyor.
Diğerleri: Bir dizi uzmanlaşmış çip şirketi ve diğer teknoloji firmaları da NPU’larda yenilik yapıyor. NVIDIA, GPU’larıyla bilinirken, artık GPU’larına özel Tensor Core’lar ekliyor ve Sistem-üzerinde-Çip ürünlerine entegre edilmek üzere açık NVDLA (derin öğrenme hızlandırıcısı) tasarımı sunuyor. NVIDIA Jetson serisi gibi uç cihazlarda (robotlar, dronlar, gömülü sistemlerde kullanılır), hem GPU hem de sabit işlevli “DLA”lar – esasen NPU’lar – bulunur ve bunlar bazı sinir ağı çıkarımlarını GPU’dan alır. Örneğin NVIDIA’nın Orin modülünde GPU’ya ek olarak 2 DLA bulunur ve bu da otomobiller için 254 TOPS’luk yapay zeka performansına katkı sağlar ts2.tech. Apple’ın ise AR gözlükleri veya gelecekteki projeleri için daha gelişmiş yapay zeka yardımcı işlemcileri ya da daha büyük sinir motorları üzerinde çalıştığı söyleniyor, ancak ayrıntılar gizli. Huawei (jeopolitik zorluklara rağmen) NPU’lu Kirin mobil çipleri (kendi “DaVinci” NPU mimarisi) ve ayrıca sunucu sınıfı NPU’ları içeren Ascend AI çiplerini tasarlamaya devam ediyor – 2023 Kirin 9000S çipinin, telefonlarında görüntü ve dil görevleri için güçlü bir NPU’yu koruduğu bildiriliyor. Ayrıca startuplar olarak Hailo, Mythic, Graphcore ve diğerlerinin kendi uç AI çiplerini sunduğunu görüyoruz: örneğin Hailo-8 (AI kameralar için mini PCIe kartında 26 TOPS), Graphcore’un IPU’su veri merkezleri için (tam olarak cihaz üzerinde değil, sinir ağları için yeni bir mimari), Mythic analog NPU’lar üzerinde çalışıyor, vb. ARM, tasarımları çoğu mobil çipin temelini oluşturan firma, çip üreticilerinin IoT veya orta seviye SoC’lerde hazır bir AI hızlandırıcı elde etmesini sağlayan Ethos NPU serisini (ör. Ethos-U, Ethos-N78) sunuyor. Bu, nispeten daha küçük oyuncuların bile ARM’ın tasarımını lisanslayarak çiplerine NPU eklemesini sağladı.

Sonuç olarak, büyük teknolojiden startuplara kadar herkes cihaz üzerinde çalışan yapay zeka silikonuna yatırım yapıyor. Bunun sonucunda hızlı gelişmeler görüyoruz: yeni çipler daha yüksek TOPS, daha iyi verimlilik (watt başına TOPS) ve yeni veri tipleri desteği (daha büyük modeller için 4-bit quantization gibi) sunuyor. Örneğin, Qualcomm ve MediaTek’in en yenileri INT4 hassasiyetinde çalışabiliyor; bu, bellek bant genişliğinin sınırlayıcı olduğu üretken yapay zeka modelleri için harika ^[76]. Bu yenilikler doğrudan kullanıcıya fayda sağlıyor – örneğin gerçek zamanlı mobil yapay zeka video düzenleme (Snapdragon 8 Gen 3’ün “Video Nesne Silici” AI özelliğiyle 4K videodan anında nesne kaldırma ^[77] gibi) veya arabalardaki AI yardımcı işlemciler sayesinde ağ bağlantısı olmadan çalışan ve insan konuşması kadar hızlı yanıt veren sesli asistanlar.

2024–2025’ten Öne Çıkan Haberler: Lansmanlar, Kıyaslamalar ve Ortaklıklar

İşlerin ne kadar hızlı ilerlediğini göstermek için, işte 2024 sonundan 2025’e kadar NPU/TPU ve cihaz üzerinde AI dünyasındaki başlıca gelişmelerden bazıları:

Apple M3 ve M4 tanıtımları (Ekim 2023 & Mayıs 2024): Yeni nesil Neural Engine’leri getirdi. M3’ün Neural Engine’i 18 TOPS (16 çekirdekli) yapıyor ve M4, 38 TOPS’a çıktı (hala 16 çekirdekli ama daha yüksek saat/daha verimli) ^[78]. Apple, bu çiplerin macOS’te yoğun görevleri (Core ML Stable Diffusion ile cihaz üzerinde görsel üretimi gibi) nasıl üstlendiğini gösterdi (geliştiriciler, M2’de bir görsel üretmenin ~15 saniye sürdüğünü, M3/M4’te ise daha da hızlı olduğunu gösterdi).
Google Pixel 8 lansmanı (Ekim 2023): Cihazda “her yerde” yapay zekayı vurguladı. Google’ın etkinliğinde Pixel 8’in Tensor G3 NPU’su ile cihaz üzerinde web sayfası özetleme ve makalelerin canlı çevirisi gösterildi. Ayrıca, bazı etkileşimleri cihaz üzerinde çalıştıracak olan “Assistant with Bard” tanıtıldı. Google, Pixel 8’in Pixel 6’nın cihaz üzerinde çalıştırabildiği model sayısının 2 katı kadar modeli ve çok daha gelişmiş modelleri çalıştırabildiğini belirtti ^[79]. Yani, sadece iki yıl içinde Tensor çip geliştirmede büyük bir sıçrama.
Qualcomm–Meta ortaklığı (Temmuz 2023): Qualcomm ve Meta, Meta’nın Llama 2 büyük dil modelini 2024’e kadar tamamen Snapdragon NPU’larda çalışacak şekilde optimize ettiklerini duyurdu ^[80]. Amaç, geliştiricilerin sohbet botları ve üretken yapay zeka uygulamalarını telefonda, VR başlıklarında, PC’lerde vs. bulut olmadan dağıtabilmesini sağlamak. Bu, büyük bir yapay zeka model sahibi (Meta) ve büyük bir çip üreticisi tarafından cihaz üzerinde yapay zekaya önemli bir destekti. 2024’ün sonlarında, Llama 3 optimizasyonu planlarını da açıkladılar ^[81].
Microsoft Windows 11 “Copilot” PC’leri (2024): Microsoft, yerel yapay zeka hızlandırmasında >40 TOPS olan PC’leri, gelişmiş yapay zeka özelliklerine (Copilot dijital asistan entegrasyonu gibi) uygun “AI PC” olarak tanımlayarak bir standart belirledi. Bu, OEM’leri – Lenovo, Dell, vb. – bu standardı karşılamak için NPU’lu (Intel, AMD veya Qualcomm) çipler kullanmaya itti. Sonuç olarak, 2024’te yapay zeka destekli dizüstü bilgisayar dalgası bekleniyor; Microsoft, onlarca modelin yolda olduğunu ve 2024’te 40 milyondan fazla AI PC sevkiyatı öngördüğünü belirtti ^[82].
AMD’nin kısa süreli Ryzen 8000 NPU’su (Ocak 2024): AMD, masaüstü işlemcilerde genellikle böyle hızlandırıcılar bulunmadığı için şaşırtıcı olan, tam 39 TOPS NPU’ya sahip bir masaüstü CPU duyurdu ^[83]. Her ne kadar bu ürün hızla yenisiyle değiştirilmiş olsa da, masaüstü CPU’ların bile TOPS açısından mobil çiplerle yarışabilecek AI silikonuna sahip olabileceğini gösterdi. Bu aynı zamanda bir NPU taşıyan ilk masaüstü x86 CPU oldu (Intel Arrow Lake’i az farkla geçti).
Tesla FSD Beta v12 (2023 sonu) demoları: Elon Musk, Tesla’nın HW3/HW4 NPU’larında çalışan uçtan uca AI sürüşünü (radar yok, sadece görüntü ağları) sergiledi. Dikkat çekici olan, aracı gerçek zamanlı olarak tamamen aracın bilgisayarında işlenen video akışlarıyla süren sinir ağıydı. Gözlemciler, FSD v12’nin görüntü için 2× 100 TOPS NPU’yu tam kapasite kullandığını belirtti ve Tesla, daha büyük modelleri çalıştırmak için 2000 TOPS hedefleyen gelecekteki yükseltmelerin (HW5) geliştirilmekte olabileceğine dair ipucu verdi (Tesla’nın HW5’inin 2 petaFLOPS = 2000 TOPS hedefleyebileceğine dair söylentiler vardı) ^[84].
NVIDIA Drive Thor tanıtıldı (2024 GTC): NVIDIA, yeni otomotiv çipi Drive Thor’un ayrıntılarını açıkladı; bu çip, selefi Orin’in 2× AI hesaplama gücüne eşdeğer – iki çip bağlandığında 2000 TOPS’a kadar çıkabiliyor ts2.tech. Önemli olarak, Thor sadece sürüş görevlerini değil, aynı zamanda tek bir platformda kabin içi AI’yı (sesli komut ve yolcu izleme gibi) da yönetebiliyor; bu da NPU ve GPU’ların birlikte otomobillerde birçok AI işlevini nasıl birleştirebileceğini gösteriyor ts2.tech. Birkaç otomobil üreticisi (Xpeng, BYD, Volvo) 2025’ten itibaren Thor’u kullanacaklarını açıkladı ts2.tech.
Oppo’nun cihaz üstü MoE AI’sı (Ekim 2024): Belirtildiği gibi, Oppo Find X8 telefonda bir Mixture-of-Experts modeli uyguladı ^[85]. Bu haber değeri taşıyor çünkü MoE modelleri genellikle büyük olur ve karmaşıklıkları nedeniyle sunucu tarafında çalıştırılırdı. MoE’nin cihazda çalıştırılması, model sıkıştırmada yeni teknikler ve çok yetenekli bir NPU (muhtemelen o cihazdaki MediaTek Dimensity 9400) olduğunu gösteriyor.
Meta’nın Ray-Ban AI gözlükleri (2025): (Bekleniyor) Meta, gördüklerinizi tanıyabilen ve sizinle bu konuda konuşabilen akıllı gözlük prototiplerini sergiledi – muhtemelen dahili özel bir hızlandırıcı kullanıyor (Meta, AR için özel silikon prototipleri geliştiriyor). Detaylar az olsa da, bu durum AI’yı çok kısıtlı cihazlara (gözlük, pilli kulaklıklar) yerleştirme çabasını vurguluyor; bu da ultra-verimli NPU’ları gerektirecek.
MLPerf Mobil Çıkarım Kıyaslamaları (2023–24): MLCommons, en yeni akıllı telefonların AI yeteneklerini gösteren sonuçlar yayınladı. Örneğin, MLPerf Inference v3.0’da (Ekim 2023), Apple’ın A16’sı, Google Tensor G2 ve Qualcomm Gen 2, görüntü sınıflandırma ve nesne tespiti gibi görevlerde kıyaslandı. Sonuçlar, Apple ve Qualcomm’un birbirine üstünlük sağladığını, ancak genel olarak mobil NPU’ların bu görevlerde bazı dizüstü/masaüstü sınıfı hızlandırıcılarla arayı kapattığını gösterdi – hem de pilde çalışırken. Ayrıca yazılım farklılıklarını da öne çıkardı (ör. Qualcomm’un AI SDK’sı vs. Apple Core ML). Bu her yıl devam eden gelişmeler (çift haneli % artışlar) bu kıyaslamalarda cihaz üstü AI’da sağlıklı rekabeti ve hızlı ilerlemeyi gösteriyor.
Stratejik ortaklıklar: Birçok sektörler arası ortaklık kuruldu. Örneğin, NVIDIA ve MediaTek (Mayıs 2023), Nvidia GPU IP’si ve yazılım ekosistemini MediaTek’in gelecekteki akıllı telefon ve otomotiv çiplerine entegre etmek için bir iş birliği duyurdu; bu da Nvidia’nın AI gücünü MediaTek’in mobil SoC uzmanlığıyla birleştiriyor. Ayrıca, Qualcomm gibi şirketler otomobil üreticileriyle (Mercedes, BMW) iş birliği yaparak Snapdragon Cockpit ve Ride platformlarını (NPU’lu) yeni araçlara AI özellikleri için entegre ediyor. Arm, Fujitsu ve diğerleriyle yeni AI çip tasarımları (Fugaku süper bilgisayarının AI bölümü gibi, gerçi bu üst düzey) için ortaklık kuruyor. Hatta IBM ve Samsung, bir gün NPU’larda devrim yaratabilecek yeni çip teknolojilerini (nöromorfik hesaplama ve AI belleği gibi) tanıttı – henüz burada değil, ama araştırma boru hatlarının dolu olduğunu gösteriyor.

Sonuç olarak, geçen yıl oldukça yoğun geçti ve cihaz üstü AI’nın teknolojideki en sıcak alanlardan biri olduğunu gösterdi. Bir sektör analistinin de belirttiği gibi, “bu cihaz üstü yetenekler tamamen yeni ufuklar açıyor… mobilde LLM çalıştırmak ölçek ve maliyet sorunlarını çözüyor, veriyi gizli tutuyor ve AI’nın sınırlı bağlantıda bile çalışmasını sağlıyor” ^[86]. Bu, neden her büyük teknoloji firmasının bu alana yatırım yaptığını özetliyor.

Uzman Görüşleri: Teknoloji Liderleri Cihaz Üstü AI Hakkında Ne Diyor?

NPU ve TPU’ların arkasındaki ivme sadece ürünlerde değil, sektör liderlerinin sözlerinde de kendini gösteriyor. İşte cihaz üstü AI’nın önemini ortaya koyan bazı seçilmiş alıntılar ve bakış açıları:

Cristiano Amon (Qualcomm CEO’su): “Eğer yapay zeka ölçeklenecekse, cihazlarda çalıştığını göreceksiniz… Bu, yapay zekada bir dönüm noktasını işaret ediyor: gecikme sorunları yok — sadece sorunsuz, güvenli, bulutla tamamlayıcı cihaz-üzerinde çıkarım. Yapay zekanın geleceği kişiseldir ve cihazınızda başlar.” (Bloomberg röportajı ve X paylaşımı, 2023) ^[87]. Amon, telefonunuzun/bilgisayarınızın kendi NPU’larıyla pek çok işi kendi başına hallettiği, gerektiğinde bulutla birlikte çalışan hibrit bir yapay zeka dünyası öngörüyor. Yapay zekanın yerel olarak çalıştırılmasının, onu her yerde kullanılabilir kılmanın anahtarı olduğunu vurguluyor (her şeyin bulut GPU’larına bağlı olamayacağını — milyarlarca cihaz için dünyada yeterli GPU yok).
Durga Malladi (SVP, Qualcomm): “Meta’nın açık ve sorumlu yapay zeka yaklaşımını takdir ediyoruz… Üretken yapay zekayı ana akıma etkili bir şekilde ölçeklendirmek için, yapay zekanın hem bulutta hem de uçtaki cihazlarda çalışması gerekecek.” ^[88] Malladi bunu Meta ortaklığı bağlamında söyledi. Bu, yaygın bir görüşü vurguluyor: yapay zekayı ölçeklendirmek = bulut + uç birlikte çalışıyor. Artık sadece bulut tabanlı yapay zekanın yeterli olmayacağı (maliyet, gizlilik ve gecikme nedenleriyle) anlaşılıyor, bu yüzden uç yapay zeka yükü paylaşmalı.
Will Chen (MediaTek Genel Müdür Yardımcısı): “Yapay zekanın geleceği bulutun ötesine geçiyor; elinizin avucundan itibaren uç bilişim tarafından yönlendiriliyor… OPPO ve MediaTek, cihaz-üzerinde yapay zekada öncülük ediyor, akıllı yeteneklerin güçlü, hızlı, özel, güvenli ve sürekli erişilebilir olmasını sağlıyor.” (MediaTek Exec Talk, 2025) ^[89]. Bu alıntı, cihaz-üzerinde yapay zekanın değer önerisini güzelce özetliyor – performans ve erişilebilirlik artı gizlilik ve güvenlik elde ediyorsunuz. Ayrıca, Batı’da geleneksel olarak daha az görünür olan şirketlerin bile (MediaTek gibi) yapay zeka dağıtımında ön saflarda düşündüğünü gösteriyor.
Dr. Norman Wang (Yapay zeka donanım uzmanı, bir çip girişiminin CEO’su): “Yapay zeka donanımında, hesaplamayı veri kaynağına ne kadar yakın koyabilirseniz, o kadar iyi. Mesele veri hareketini azaltmak. Görüntü sensörünüzün yanında bir NPU olması, megapikselleri buluta göndermek yerine içgörüleri doğrudan uçta damıttığınız anlamına gelir. Bu, gecikme ve güç için oyunun kurallarını değiştirir.” (HotChips 2024 paneli – özetlenmiş). Bu teknik içgörü, NPU’ların neden genellikle diğer bileşenlerle aynı silikonda yer aldığını açıklıyor: örneğin, bir telefonun SoC’sinde NPU, kamera verisini doğrudan ISP’den alabilir. Veri hareketini en aza indirmek, verimli yapay zekanın büyük bir parçasıdır ve uç yapay zeka bunu işlemi verinin kaynağında yaparak başarır.
Xinzhou Wu (NVIDIA Otomotiv Başkan Yardımcısı): “Hızlandırılmış hesaplama, otonomiyi ve ulaşım sektörünü yeniden tanımlayan üretici yapay zeka dahil olmak üzere dönüştürücü atılımlara yol açtı.” (GTC 2024 Açılış Konuşması) ts2.tech. Araç içi güçlü bilgisayarların (NPU’lar/GPU’lar ile) arabaların sadece sürmesini değil, aynı zamanda doğal dil arayüzleri veya durumları daha iyi anlama gibi gelişmiş yapay zekaları (üretici modeller gibi) entegre etmesini nasıl mümkün kıldığını tartışıyordu. Bu, otomotiv gibi sektörlerin de cihaz üzeri yapay zekayı yalnızca temel işlevsellik için değil, kullanıcı deneyimini iyileştirmek için de (ör. araç içi LLM’ler sayesinde sohbet edebilen sesli asistanlar) gördüğünü vurguluyor.
Sundar Pichai (Google CEO’su): “Yapay zekanın geleceği, onu herkes için faydalı hale getirmekle ilgili. Bu da yapay zekayı kullandığımız tüm cihazlara – telefonlara, ev aletlerine, arabalara – getirmek demek; böylece ihtiyacınız olduğunda orada olacak. Biz kullanıcılarla bulundukları yerde buluşmak istiyoruz, gerçek zamanlı, yerinde çalışan ve gizliliği koruyan bir yapay zeka ile.” (Çeşitli röportajlar/açılış konuşmalarından özetlenmiştir). Pichai sık sık “ortam yapay zekası”ndan bahseder – yapay zekanın etrafımızda, her şeye gömülü olacağı fikri. Google’ın Pixel’lerdeki Tensor çipleriyle yaptığı atılım, bu felsefenin doğrudan bir uygulamasıdır.
Sektör İstatistikleri: Analistler bu eğilimi rakamlarla gözlemledi. Grand View Research’ün 2024 raporunda şöyle deniyor: “Özel yapay zeka çipleri ve NPU’lardaki son gelişmeler, karmaşık yapay zeka algoritmalarının doğrudan cihazlarda çalışmasını sağladı, bu da performansı ve enerji verimliliğini önemli ölçüde artırdı… cihaz üzeri yapay zekaya doğru kritik bir geçişin eşiğindeyiz.” ^[90]. Aynı rapor, cihaz üzeri yapay zeka pazarının önümüzdeki yıllarda patlayacağını, donanım segmentinin (NPU’lar vb.) 2024’te gelir payının %60’ından fazlasını oluşturacağını ve neredeyse her yeni IoT veya mobil cihazın yapay zeka yetenekleri kazanmasıyla büyüyeceğini öngörüyor ^[91]. IDC ve diğerlerinin bir başka öngörüsüne göre ise 2020’lerin ortasına gelindiğinde, neredeyse tüm üst düzey akıllı telefonlar ve orta segmentin çoğu yapay zeka hızlandırıcılarına sahip olacak ve 2030’a kadar milyarlarca edge yapay zeka çipi, tüketici elektroniğinden akıllı altyapıya kadar kullanılacak.

Uzmanlar arasında genel kanı şu ki, cihaz üzeri yapay zeka sadece güzel bir özellik değil – bir zorunluluk teknoloji dalgası için. Yapay zeka öncüsü Andrew Ng sık sık “küçük yapay zeka” ve edge yapay zekanın zekayı her nesneye yayacağını, bunun elektriğin veya internetin önceki dönemlerde yaptığına benzediğini belirtiyor. Sadece bulut tabanlı yapay zekanın sınırlamalarını aşarak, NPU’lar ve TPU’lar bu yayılımı mümkün kılıyor.

Çok Sayıda Standart Sorunu (ve Basitleştirme Çabaları)

Donanım hızla gelişmiş olsa da, cihaz üzerinde çalışan yapay zeka için yazılım ve standartlar ekosistemi hâlâ yetişmeye çalışıyor. Geliştiriciler, farklı cihazlarda NPU’lardan yararlanmak istediklerinde bir araç ve SDK ormanıyla karşılaşıyorlar ^[92]. Temel noktalar:

Her platformun kendine ait bir API veya SDK’sı var: Apple, Neural Engine’ı hedefleyen API’lerle Core ML’ye sahip, Android’de Neural Networks API (NNAPI) bulunuyor (Google, bunu Android 14’ten sonra daha da geliştirmeyi planladığını duyurdu) ^[93], Qualcomm SNPE (Snapdragon Neural Processing Engine) veya daha geniş anlamda Qualcomm AI Stack sunuyor, NVIDIA ise cihazları için TensorRT ve CUDA’ya sahip, ve benzeri. Ayrıca ONNX Runtime, TensorFlow Lite, PyTorch Mobile, MediaTek NeuroPilot, Huawei HiAI ve diğerleri de mevcut. Bu farklı SDK’lar genellikle farklı yeteneklere sahip ve her hedefte en iyi şekilde çalışabilmek için model üzerinde ince ayar yapılmasını gerektiriyor. 2025 cihaz üstü yapay zeka raporunda belirtildiği gibi, “Çoklu, uyumsuz SDK’lar (ör. Core ML, LiteRT, ONNX Runtime) farklı operatör desteği ve performansıyla” geliştiricileri fazladan iş yapmaya zorluyor ^[94].
Parçalanma sorunları: Masaüstü GPU’da mükemmel çalışan bir model, bir telefonun NPU’sunda kolayca çalışmayabilir – operatörler (matematiksel fonksiyonlar) desteklenmeyebilir veya farklı şekilde kuantize edilmesi gerekebilir. Geliştiriciler bazen her donanım için ayrı derlemeler tutmak veya modelleri elle optimize etmek zorunda kalıyor. Bu, “düşük seviyeli, parçalanmış ekosistem” şikayetidir ^[95]. Hata ayıklama araçları da az – bir modelin neden yavaş çalıştığını görmek için bir NPU’yu profillemek zor olabilir, özellikle de CPU/GPU’lar için mevcut olan zengin araçlarla karşılaştırıldığında ^[96].
Standardizasyon çabaları: Bununla başa çıkmak için birkaç şey yapılıyor. ONNX (Open Neural Network Exchange), bir modeli PyTorch veya TensorFlow’da eğitip ardından dağıtım için ONNX’e aktarabilmenizi sağlayan ortak bir format olarak ortaya çıktı. Birçok çalışma zamanı (Qualcomm ve MediaTek gibi cihaz üzerindeki olanlar dahil) ONNX modellerini almayı destekliyor ve bunları donanım için derlemeye çalışıyor. Bu, tek bir çerçeveye bağımlı kalmayı önlemeye yardımcı oluyor. Android NNAPI, Google’ın evrensel bir arayüz sağlama girişimiydi – bir uygulama NNAPI üzerinden “bu sinir ağını çalıştır” isteğinde bulunabiliyor ve işletim sistemi mevcut olan herhangi bir hızlandırıcıyı (GPU, DSP veya NPU) kullanarak bunu çalıştırıyor. NNAPI birçok Android cihazda benimsendi, ancak sınırlamaları vardı ve tüm üreticiler sağlam sürücüler sunmadı, bu da Google’ın 2024 sonrası için yeni bir stratejiye (muhtemelen WebNN veya doğrudan üretici entegrasyonlarına) yöneleceğini belirtmesine yol açtı ^[97]. PC’lerde Microsoft, donanım farklılıklarını benzer şekilde soyutlamak için DirectML ve Windows ML API’lerini tanıttı (geliştiricinin NVIDIA, Intel, AMD NPU’ları için aynı API’yi kullanmasına olanak tanıyor).
Birleşik Araç Zincirleri: Şirketler ayrıca dağıtımı kolaylaştırmak için araç zincirleri oluşturuyor. Qualcomm’un AI Stack‘ini gördük; bu, derleyicilerini (AI Model Efficiency Toolkit) ve çalışma zamanlarını birleştirerek geliştiricilerin Hexagon NPU’larını daha kolay hedeflemesini sağlıyor ^[98]. NVIDIA’nın TensorRT’si ve ilgili SDK’ları Jetson cihazları için benzer bir şey yapıyor, modelleri GPU+NVDLA için optimize ediyor. Intel OpenVINO ise başka bir örnek – bir modeli alıp Intel CPU, iGPU ve VPU’lar (NPU’lar) için optimize etmenizi sağlıyor, özellikle edge dağıtımları için. Bu çerçeveler genellikle modelleri (budama, kuantizasyon) daha küçük cihazlara sığacak şekilde dönüştüren model optimize ediciler de içeriyor.
Birlikte Çalışabilirlik: Farklı NPU’ların ortak çerçevelerle çalışmasını sağlama yönünde bir hareket var. Örneğin, Google’ın TensorFlow Lite’ında donanım delege’leri var – biri NNAPI için (Android cihazları genel olarak kapsar), biri Core ML için (iOS cihazları), biri Edge TPU için vb. Amaç, TFLite modelinizi yazmanız ve bunun delege aracılığıyla mevcut en iyi hızlandırıcıyı kullanarak çalışması. Benzer şekilde, PyTorch mobil arka uçlar ve hatta Apple’ın Metal Performance Shaders’ı (iOS’ta GPU/NPU kullanmak için) gibi şeyler için destek ekliyor. ONNX Runtime da eklentiler aracılığıyla farklı hızlandırıcıları hedefleyebiliyor (örneğin, NVIDIA’nın TensorRT’si veya ARM’ın Compute Library’si gibi şeyler alttan eklenebiliyor).
Ortaya Çıkan Standartlar:Khronos Group (OpenGL/Vulkan’ın arkasındaki grup) NNEF (Neural Network Exchange Format) üzerinde çalıştı ve tarayıcıların yerel AI hızlandırmaya erişebilmesi için WebNN API tartışılıyor. Hiçbiri henüz evrensel olarak benimsenmiş değil. Ama ilginç bir gelişme: 2024’ün sonlarında, birkaç şirket “AI Hardware Common Layer” standartlarını teşvik etmek için bir ittifak kurdu – temelde, NPU’lar için ortak bir düşük seviye arayüz oluşturulup oluşturulamayacağını araştırıyorlar (OpenCL’nin GPU’larda hesaplama için yaptığına benzer şekilde). Ancak henüz erken aşamada.
Geliştirici deneyimi: Bu, kabul edilen bir eksiklik. NimbleEdge’in blogunda söylediği gibi, “cihaz üzerinde yapay zeka geliştirmek şu anda parçalı ve düşük seviyeli bir ekosistemde gezinmeyi gerektiriyor… geliştiricileri her donanım hedefi için uygulamaları uyarlamaya zorluyor” ^[99]. Sektör, cihaz üzerinde yapay zekanın gerçekten yaygınlaşması için bunun iyileştirilmesi gerektiğini biliyor. Konsolidasyon görebiliriz – örneğin, Google, Apple ve Qualcomm’un bazı temel işlemler ve API’ler üzerinde anlaşması (belki de fazla iyimser bir düşünce). Ya da daha muhtemel olarak, PyTorch ve TensorFlow gibi çerçeveler, tüm bu üretici kütüphanelerini entegre ederek ve çalışma zamanında doğru olanı seçerek karmaşıklığı gizleyecek.

Özetle, NPU’lar/TPU’lar gücü sağlarken, topluluk bu gücü kullanmak için beyin dostu araçlar üzerinde çalışıyor. İyi haber şu ki, örneğin beş yıl öncesine kıyasla, artık bir çip uzmanı olmadan bir modeli cihaz üzerinde dağıtmak için çok daha fazla seçenek var. Ancak büyüme alanı mevcut – özellikle hata ayıklama, profil oluşturma ve çoklu donanım desteğinde.

Pazar Trendleri ve Gelecek Görünümü

Cihazlarda NPU ve TPU’ların yaygınlaşması daha büyük bir eğilimi tetikliyor: Her Yerde Yapay Zeka. İşte bazı üst düzey trendler ve gelecekte neler beklenebileceği:

Edge AI Pazar Büyümesi: Pazar araştırmaları, edge AI donanımında patlayıcı bir büyüme olduğunu gösteriyor. Cihaz üzerinde yapay zeka pazarı (çipler ve yazılım dahil) on yıl boyunca yaklaşık %29 Bileşik Yıllık Büyüme Oranı ile büyüyecek şekilde öngörülüyor ^[100]. Bir rapor, 2024’te bu pazarın değerini yaklaşık 233 milyar dolar olarak belirlerken, 2032’de 1,7 trilyon doların üzerine çıkacağını öngörüyor ^[101] – bu büyümenin büyük kısmı edge dağıtımlarından kaynaklanıyor. IDTechEx’in başka bir analizi, edge cihazları için AI çip pazarının 2034’e kadar 22 milyar dolara ulaşacağını ve tüketici elektroniği, otomotiv ve endüstriyel segmentlerin en büyük alanlar olacağını öngörüyor ^[102]. Bu, her yıl yüz milyonlarca cihazın NPU’ları standart bir bileşen olarak içereceği anlamına geliyor.
Her Yerde Benimsenme: Bugün her akıllı telefonda (küçük de olsa) bir GPU olduğu gibi, her yeni akıllı telefonda bir AI hızlandırıcı olma noktasına geliyoruz. Üst düzey telefonlarda zaten var; sırada orta segment telefonlar var. Gerçekten de, Qualcomm’un orta seviye çipleri (ör. Snapdragon 7 serisi) ve MediaTek (Dimensity 700/800 serisi) artık ölçeklendirilmiş NPU’lar içeriyor, böylece AI kamera iyileştirmeleri ve sesli asistan gibi özellikler daha ucuz cihazlarda da çalışabiliyor. Telefonların ötesinde, NPU’lar PC’lere (birçok üreticinin yeni Windows dizüstülerinde standart), arabalara (ADAS Seviye 2+ olan neredeyse tüm yeni arabalarda bir tür AI çipi var) ve IoT’ye yayılıyor. Hatta buzdolabı ve çamaşır makinesi gibi ev aletleri bile “AI” özellikleriyle övünmeye başladı (bazıları bulut tabanlı, bazıları ise sensörlere dayalı yerel uyarlanabilir döngüler gibi). Eğilim açık: bir cihazda bir işlemci çipi varsa, üzerinde bir miktar ML hızlandırma olacak.
Performans Eğrisi: Cihaz üzerindeki AI performansı yaklaşık her 1–2 yılda bir ikiye katlanıyor (daha iyi mimari ve 5nm, 4nm, 3nm gibi gelişmiş yarı iletken teknolojilerine geçişin birleşimiyle). Apple’ın Neural Engine’i 2017’de saniyede 600 milyar işlemden 2023’te 35 trilyona çıktı – altı yılda neredeyse 60× artış ^[103]. Qualcomm’un amiral gemileri de benzer şekilde 2018’de birkaç TOPS’tan 2023’te 27 TOPS’un üzerine çıktı (SD 8 Gen 3’ün toplam AI hesaplaması, tüm çekirdekler dahil). 2025–2026’ya kadar mobil NPU’ların 100+ TOPS sunmasını, PC hızlandırıcılarının ise daha fazlasını bekleyebiliriz ve bu rakamlar, odak belirli AI görevlerinde kullanılabilir performansa kaydıkça daha az önemli hale gelebilir (örneğin, ne kadar büyük bir LLM’i sorunsuz çalıştırabilirsiniz veya 4K AI videoyu gerçek zamanlı işleyebilir misiniz). Bulut ve uç arasındaki fark, çıkarım görevlerinde muhtemelen daralacak. Ancak, uç cihazlar güç ve bellek kısıtlamaları nedeniyle en son büyük modellerde bulutun gerisinde kalacak.
Enerji Verimliliği Kazanımları: Gözden kaçan bir diğer nokta ise bu NPU’ların ne kadar verimli hale geldiği. Tesla’nın araç NPU’su ~4.9 TOPS/Watt’a ulaşıyor ^[104] ki bu birkaç yıl önce son teknolojiydi; şimdi bazı mobil NPU’lar benzer veya daha iyi iddia ediyor. Verimli NPU’lar, AI özelliklerini daha fazla kullansak bile daha uzun pil ömrü anlamına geliyor. Ayrıca, AI’yı küçük pille çalışan cihazlara koymak da mümkün hale geliyor (ör. AI işitme cihazları, düğme pille çalışan ve anomali tespiti yapan akıllı sensörler). TinyML kavramı – mikrodenetleyicilerde son derece küçük ölçekli makine öğrenimi – bunun bir uzantısıdır; sensörlerde AI yapmak için basitleştirilmiş “NPU’lar” veya optimize edilmiş talimatlar kullanır. ARM’ın Ethos-U NPU’su bu segmente yöneliktir (ör. birkaç miliwatt ile çalışan sürekli açık anahtar kelime algılama). Sensörlere, giyilebilir cihazlara ve günlük nesnelere gömülebilecek daha fazla AI’ya özel küçük çip bekleyin (Akıllı diş fırçası? AI destekli duman dedektörü? Geliyor).
Hibrit Bulut-Kenar Çözümleri: Kenar (edge) tamamen bulutun yerini almak yerine, gelecekte iş birliği ön planda olacak. Cihazlar yerel olarak yapabildiklerini kendileri yapacak, yalnızca yapamadıkları şeyler için dışarıya başvuracaklar. Örneğin, artırılmış gerçeklik gözlüğünüz baktığınız şeyi anlamak için yerel sahne tanıma çalıştırabilir, ancak çok karmaşık bir soru sorarsanız (örneğin kapsamlı bir açıklama gibi), daha güçlü bir analiz için bulut tabanlı bir yapay zekaya başvurabilir ve ardından sonucu size sunabilir. Bu hibrit yaklaşım, yanıt hızı ve yetenek arasında en iyi dengeyi sağlar. Şirketler bu konuda aktif olarak deneyimler tasarlıyor: Microsoft’un Windows’taki Copilot’u, hızlı sesli metne çeviri ve komut analizini yerel NPU ile yapabilir, ancak ağır işlemler için bulutu kullanabilir (belki de güçlü bir PC NPU’nuz yoksa). Kullanıcı, hangisinin kullanıldığını bilmemeli ya da umursamamalı; önemli olan her şeyin daha hızlı ve gizliliğe saygılı olması. Ayrıca federatif öğrenmenin daha yaygın hale geldiğini göreceğiz – modeller bulutta eğitilecek, ancak cihazlarda şifrelenmiş veya işlenmiş verilerin yardımıyla ve tersi şekilde.
Yeni Ortaya Çıkan Kullanım Alanları: NPUs daha güçlü hale geldikçe, yeni uygulamalar ortaya çıkıyor. Cihaz üzerinde üretken yapay zeka büyük bir alan – hayal edin, yapay zeka ile görsel oluşturma, video düzenleme ve kişisel sohbet botları hepsi telefonunuzda veya dizüstü bilgisayarınızda. 2025’e kadar, e-postalarınızı özetleyebilen veya mesaj taslağı hazırlayabilen çevrimdışı kişisel asistanların ilk sürümlerini görebiliriz. Gerçek zamanlı konuşma çevirisi (farklı dilleri konuşan iki kişi, telefon veya kulaklıklarla neredeyse anlık çeviri) cihaz üzerinde işleme ile çok daha iyi olacak (gecikme yok ve her yerde çalışıyor). Sağlık yapay zekası giyilebilir cihazlarda yer alabilir – akıllı saatiniz NPU’sunu kullanarak atriyal fibrilasyon tespiti veya uyku apnesi analizini yapabilir. Güvenlik: cihazlar, kötü amaçlı yazılım veya kimlik avını gerçek zamanlı tespit etmek için yerel olarak yapay zeka çalıştırabilir (örneğin, antivirüsün bulut taraması yerine cihazınızdaki bir yapay zeka modeliyle çalışması). Araçlarda ise, sürüş dışında, yapay zeka araç içi deneyimi kişiselleştirebilir (örneğin, sürücüye bakan kamera ile ruh halinize göre klima ayarını değiştirmek gibi). Bu kullanım alanlarının çoğu hızlı yineleme ve gizlilik gerektirir, bu da cihaz üzerinde işlemeyi uygun kılar.
Rekabet ve Demokratikleşme: Büyük oyuncular rekabet etmeye devam edecek, bu da tüketiciler için iyi – “bizim yapay zeka çipimiz X TOPS yapıyor ya da Y özelliğini sağlıyor” gibi pazarlama göreceksiniz. Ama aynı zamanda teknoloji demokratikleşiyor – NPU’lar sadece 1000 dolarlık telefonlarda değil; 300 dolarlık telefonlara, 50 dolarlık IoT kartlarına (Coral, Arduino Portenta, vb.) geliyor ve açık kaynak toplulukları, hobi amaçlı olarak Raspberry Pi veya temel bir hızlandırıcıya sahip mikrodenetleyicilerde çalıştırılabilecek küçük yapay zeka modelleri oluşturuyor. Bu yaygın erişilebilirlik, yeniliğin her yerden gelebileceği anlamına geliyor. Artık tek başına bir geliştirici, cihaz üzerinde çalışan yapay zekayı kullanarak akıllı bir uygulama geliştirebilir – sunucu çiftliğine ihtiyaç duymadan, yapay zeka tabanlı yazılımlar için giriş engelini düşürüyor.
Geleceğin Teknolojisi: Daha ileriye baktığımızda, nöromorfik hesaplama (Intel Loihi gibi beyin esinli çipler) ve analog AI çipleri üzerine yapılan araştırmalar bir gün NPU’larda devrim yaratabilir, kat kat verimlilik artışları sunabilir. IBM ve BrainChip gibi şirketler bu alanda çalışıyor. Başarılı olursa, nöromorfik bir çip karmaşık yapay zekanın küçük pilli cihazlarda sürekli çalışmasını sağlayabilir. Ayrıca, NPU’larda 3D yığınlama ve yeni bellek teknolojilerinin entegre edildiğini görebiliriz; bu, bellek darboğazlarının aşılmasına yardımcı olur (bazı 2025+ çipler, AI çekirdeklerini daha hızlı beslemek için HBM bellek veya yeni yongada kalıcı bellek kullanabilir). Ayrıca, AI çiplerinde daha fazla uzmanlaşma bekleyin: örn., görsel için ayrı hızlandırıcılar, konuşma için, öneri modelleri için vb., her biri kendi alanına göre ayarlanmış. Bazı SoC’lerde zaten çift NPU bulunuyor (ağır işler için bir “büyük” NPU, her zaman açık hafif işler için sensör merkezinde bir mikro NPU).

Sonuç olarak, gidişat net: NPU’lar ve TPU’lar, modern bilişimde CPU’lar kadar standart ve vazgeçilmez hale geliyor. Cihazların daha akıllı, daha duyarlı ve gizliliğimize daha duyarlı olmasını sağlıyorlar. Bir raporda belirtildiği gibi, “cihazlardaki yüksek performanslı işlem birimleri, görüntü tanıma, NLP ve gerçek zamanlı karar verme gibi karmaşık AI işlevlerini büyük ölçüde yerine getiriyor” ve bu, sektörler genelinde daha akıllı, daha duyarlı teknolojiyi yönlendiriyor ^[105].

Öyle bir çağa giriyoruz ki, cihazınızın ihtiyaçlarınızı anlamasını ve öngörmesini bekleyeceksiniz – telefonunuz fotoğrafları düzenleyecek ve mesajları sizin tarzınızda yazacak, arabanız kazalardan kaçınacak ve sizi AI ile eğlendirecek, ev aletleriniz tercihlerinizi öğrenecek – bunların hepsi içlerindeki sessiz sinirsel işlemciler sayesinde mümkün. Cihaz üzeri yapay zeka bilim kurgu değil; şu anda burada ve hızla gelişiyor. NPU ve TPU’ların günlük cihazlarımızla birleşmesi, yapay zekayı kişisel, yaygın ve özel kılıyor – bulut zekasının gücünü gerçekten yeryüzüne indiriyor (ya da en azından cebinize indiriyor).

Kaynaklar:

Bigelow, Stephen. “GPU’lar vs. TPU’lar vs. NPU’lar: AI donanım seçeneklerinin karşılaştırılması.” TechTarget, 27 Ağustos 2024 ^[106]. CPU, GPU, TPU ve NPU’ların AI iş yüklerindeki rollerini ve farklarını açıklar.
Backblaze Blog. “AI 101: GPU vs. TPU vs. NPU.” Backblaze, 2023 ^[107]. Google’ın TPU tasarımının (sistolik diziler, düşük hassasiyet) ve mobil cihazlarda NPU kullanımının açıklaması.
TechTarget WhatIs. “Tensor processing unit (TPU).” whatis.techtarget.com, 2023 ^[108]. TPÜ’lerin matris matematiği görevlerinde uzmanlaştığını ve NPU’ların hızlandırma için beyin sinir ağlarını taklit ettiğini belirtir ^[109].
NimbleEdge Blog (Neeraj Poddar). “The State of On-Device AI: What’s Missing in Today’s Landscape.” 26 Haziran 2025 ^[110]. Cihaz üstü yapay zekanın avantajlarını (gecikme, çevrimdışı, gizlilik, maliyet) ve parçalı SDK’lar gibi zorlukları özetler.
Qualcomm (OnQ Blog). “Bloomberg and Cristiano Amon talk on-device AI.” Temmuz 2023 ^[111]. Qualcomm CEO’su, gelecekteki yapay zeka için cihaz üstü çıkarımın önemi hakkında (yapay zekada dönüm noktasıyla ilgili tweet alıntısı).
MediaTek Blog (Exec Talk by Will Chen). “Shaping the future of AI mobile experiences.” 3 Mart 2025 ^[112]. MediaTek ve Oppo’nun NPU’lar üzerindeki iş birliği; elinizdeki edge computing hakkında bir alıntı ve NPU kullanılarak yapılan yapay zeka fotoğraf yeniden düzenleme örneği.
I-Connect007 / Qualcomm Press. “Qualcomm works with Meta to enable on-device AI (Llama 2).” 24 Temmuz 2023 ^[113]. Qualcomm Kıdemli Başkan Yardımcısı Durga Malladi’nin, üretken yapay zekanın edge cihazlar ve bulut aracılığıyla ölçeklendirilmesiyle ilgili basın bülteni ve alıntısı.
PCWorld (Mark Hachman). “Intel’s Core Ultra CPUs keep AI simple….” 24 Ekim 2024 ^[114]. Intel Arrow Lake’in Meteor Lake’in NPU’sunu (13 TOPS) kullandığını ve AMD’nin Ryzen 8000 39 TOPS NPU’su ile Microsoft’un 40 TOPS “Copilot” gereksinimini not eder.
Ts2 (Teknoloji Güçlendirme). “Otonom Sürüş Süper Bilgisayarı Kapışması: NVIDIA Thor vs Tesla HW4 vs Qualcomm Ride.” Eylül 2023 ts2.tech. TOPS tahminleri sunar: Tesla HW3 vs HW4 (çip başına 72→100 TOPS) ts2.tech, NVIDIA Thor ~1000 TOPS (veya çift ile 2000) ts2.tech ve araçlarda üretken yapay zeka hakkında NVIDIA Başkan Yardımcısı’ndan alıntı yapar ts2.tech.
Grand View Research. “Cihaz Üzerinde Yapay Zeka Pazar Raporu, 2030.” 2024 ^[115]. Cihazlarda karmaşık yapay zekayı mümkün kılan özel yapay zeka çiplerinin (NPU’lar) yükselişine ve 2024’te donanımın cihaz üzerinde yapay zeka pazarının %60,4’ünü oluşturduğuna, bunun akıllı telefonlar, IoT, NPU’lar vb. tarafından yönlendirildiğine değinir.
Google Blog. “Google Tensor G3: Pixel 8’in Yapay Zeka Öncelikli İşlemcisi.” Ekim 2023 ^[116]. Tensor G3’ün cihaz üzerinde üretken yapay zeka için yükseltmelerini, yeni TPU tasarımını ve veri merkezi kalitesinde cihaz üzerinde TTS modelini açıklar.
Techspot. “Snapdragon 8 Gen 3, üretken yapay zekayı akıllı telefonlara getiriyor.” Ekim 2023 ^[117]. Futurum Group analizi, SD8Gen3’ün yapay zeka motorunu detaylandırıyor: cihaz üzerinde 10 milyar parametreli LLM, %98 daha hızlı NPU, telefonda dünyanın en hızlı Stable Diffusion’ı vb., ayrıca cihaz üzerinde LLM’lerin maliyet/gizlilik/çevrimdışı avantajları ^[118].
Apple Wiki (Fandom). “Neural Engine.” 2025’te güncellendi ^[119]. 2023’te A17 Pro ile 35 TOPS’a ulaşan Neural Engine sürüm geçmişi vb. 0.6 TOPS (A11)’den 35 TOPS (A17)’ye evrimi gösteriyor ^[120] ve M4’te 38 TOPS ^[121].
EnGenius Tech. “Cloud Edge Camera AI Surveillance.” 2023 ^[122]. Dahili NPU’ya sahip, kamera üzerinde yapay zeka işleme ve yerel depolama (NVR gerektirmez) sağlayan güvenlik kamerası örneği.
EmbedL. “Amazon releases AZ1 Neural Edge Processor.” Ekim 2020 ^[123]. Amazon’un Echo cihazları için MediaTek ile birlikte geliştirilen, gecikmeyi ve bulut bağımlılığını azaltmak için cihaz üzerinde konuşma çıkarımı yapabilen AZ1 edge NPU’sunu ele alıyor ^[124].

NPU vs. CPU vs. GPU vs. TPU: AI Hardware Compared

Watch this video on YouTube.

References