Zephyrnet Logosu

Cipslere Dayanıklılık Nasıl Oluşturulur

Tarih:

Çipleri özel işlemcilere, belleklere ve mimarilere ayırmak, performans ve güçte sürekli iyileştirmeler için gerekli hale geliyor, ancak aynı zamanda donanımda bulunması son derece zor olan olağandışı ve genellikle öngörülemeyen hatalara da katkıda bulunuyor.

Bu hataların kaynakları, belirli bir sıradaki zamanlama hatalarından bir paketteki çipler arasındaki bağ boşluklarına kadar her şeyi içerebilir. Ve farklı çiplerdeki veya çipletlerdeki devreler değişen oranlarda yaşlandıkça ve çeşitli stres türleri gizli kusurları gerçek kusurlara dönüştürdükçe zamanla değişebilirler. Sonuç olarak, hesaplamalar bazen yanlış sonuçlar verebilir - ancak her zaman değil. Bir internet aramasında bir sonuç yanlışsa veya bir video akışında hafif bir aksaklık varsa bu fark edilmeyecektir, ancak finansal işlemler, otomotiv güvenliği veya askeri insansız hava aracı yönlendirme sistemleri söz konusu olduğunda tamamen farklı bir önem düzeyi kazanır. .

Bu tür sorunlar tamamen yeni değildir. Konuyla ilgili teknik belgeler 2000'li yılların başında çıkmaya başladı, beklenmedik davranışlar ve yongalarda ara sıra meydana gelen hatalar tartışıldı. Ancak, artık sorunların yeterince önemli ve dikkat gerektirecek kadar çok olduğu bir devrilme noktasına ulaştılar. Ancak birkaç nedenden dolayı onlar hakkında ne yapılacağı her zaman net değildir. Aralarında:

  • Bazıları daha ince metal katmanlara ve dielektriklere ve daha birçok ara bağlantıya sahip olan, çiplere ve paketlere yoğun bir şekilde sıkıştırılmış daha birçok bileşen vardır. Bu, süreç varyasyonunun, gizli ve gerçek kusurların ve hatta kuantum etkilerinin nerede veya hangi sırayla sorunlara neden olacağını tahmin etmeyi zorlaştırır.
  • Gelişmiş düğüm çipleri, özellikle veri merkezleri ve AI uygulamalarında geçmişe göre daha yüksek kullanım oranlarına sahip sistemlerde kullanılıyor. Bu, sinyal kalitesini ve zamanlamayı etkileyebilecek cihazlar üzerindeki mekanik ve elektriksel baskıları artırır. Bunun yanı sıra, bu sistemlerden bazıları daha uzun kullanım ömrü için tasarlanmakta ve düzenli yazılım güncellemeleri gerektirmekte, bu da bazı donanım bileşenlerinin zaman içinde farklı davranmasına neden olabilmektedir.
  • Tasarımlar, belirli bir cihaza özgü olası etkileşimlerin sayısını artırarak daha heterojen ve daha özelleştirilmiş hale geliyor. Ek olarak, bu cihazlar, farklı proses düğümlerinde geliştirilen, bazen farklı dökümhaneler tarafından üretilen ve hepsi eşit şekilde veya nasıl kullanılacağı bağlamında karakterize edilmeyen bileşenleri giderek daha fazla kullanıyor.

Tüm bunlar, tüm köşe vakalarını belgelemeyi çok daha zor, zaman alıcı ve pahalı hale getirerek karmaşıklığı artırıyor.

Rob Aitken, "Şu anda gözlemlediğimiz bu şeylerin daha büyük çipler ve daha iyi enstrümantasyon kombinasyonuna sahip olduğumuz için mi yoksa bunun yeni bir şey mi olduğu hakkında sorular var" dedi. Synopsus aynı tür. "Her iki durumda da, bu üretim sırasında belirlenebilecek bir şey mi, yoksa bunu tanımlama eylemi ekonomik verimi etkiler mi? Geçenlerde IBM'den biriyle bir paneldeydim ve ana bilgisayarların bu yüzden bu kadar pahalı olduğunu söyledi. Olası her sorunu aramak için tasarlandılar.”

Açık soru, bunun güvenlik açısından kritik ve görev açısından kritik donanım için bir gereklilik haline gelip gelmeyeceğidir. Ve eğer öyleyse, bunu ele almanın en iyi yolu nedir? Her şeyin mükemmel olması gerekiyorsa, bunun verim ve maliyet üzerinde bir etkisi olacaktır. Ancak bunun bir kısmı, sistemlerde esneklik tasarlayarak çözülebilirse, maliyetlerin kontrol altında tutulmasına yardımcı olabilir. Her iki yönde de devam eden çabalar var.

Mükemmelliğe karşı dayanıklılık
Iowa Üniversitesi, Baidu Security ve Argonne Ulusal Laboratuvarı, "birden çok girdide yakalanması zor hata yayılımını" tanımlayan MinpSID'yi (çoklu girdiyle sağlamlaştırılmış seçici yönerge çoğaltma) oluşturmak için bir araya geldi. Yeni çıkan bir teknik makale, araştırmacılar güvenilirliği artırmanın ve bu hatalara neden olan "kuluçka yönergelerini" belirlemenin bir yolunu bulduklarını iddia ediyorlar.


Şekil 1: Kuluçka talimatları örneği. Kaynak: Argonne Ulusal Laboratuvarı/Iowa Üniversitesi/Baidu Güvenliği

Bu yapbozun bir parçası. Ancak şu ana kadar, tekrarlanabilir tek bir çözüm yok ve olacağı da kesin değil. Aslında, çözümler tasarıma özel ve hatta bazen mantıksız olabilir.

Barry Pangrle, "İnsanların, belirli koşullar altında, farklı hesaplama kombinasyonları arasında istatistiksel bir analiz yapabileceğiniz ve bazen bu hatayı alabileceğiniz bir devre oluşturduğu bir durum gördük" dedi. Hareketli. "Yaptıkları şey voltajı düşürmekti. Her zaman zamanlamayı karşılamayacağını biliyorlardı ve ortaya çıkacakları esasen yanlış pozitiflerdi. Bunu iyi sonuçları bulmak için bir filtre olarak kullandılar ve o küçük seti alıp gerçekten sağlam bir sistem üzerinde çalıştırdılar. Şimdi sorun, her şeyin daha karmaşık hale gelmesi. Devreler yaşlandıkça yavaşlama eğilimi gösterirler. Bu yüzden şimdi, sağlık açısından, zamanla değişip değişmediğini görmek için eskiyen teknolojiye bakmamız, bir şeyleri izlememiz, gecikme döngüleri ve bunun gibi şeylere ihtiyacımız var.

Bu tür münferit hataları önlemek, öncelikle bunların nereden geldiğini anlamayı gerektirir. Ancak özelleştirilmiş yonga veya yonga koleksiyonları ve hızlandırılmış bir hızla kullanıma sunulan benzersiz mimariler ile bu, genel geliştirme maliyetini artırabilecek önemsiz bir alıştırmadır. Ve bu sorunlardan bazıları yazılımla olaydan sonra çözülebilse de, donanımın kendisinin programlanabilir olması çok daha etkilidir. Bu, yazılımdaki sorunların giderilmesinden kaynaklanan güç/performans düşüşü olmadan herhangi bir soruna uyum sağlamak için tasarıma bir esneklik düzeyi ekler.

CEO'su Geoff Tate, "İlk şey, işlerin ne zaman ters gideceğini, ters gitmeden önce tespit etmektir" dedi. Esnek Logix. “İkinci şey, bu konuda bir şeyler yapmak. Bir şeyler ters giderse, tıpkı insan beyni gibi telafi etmeniz gerekir. Beynin nöronları her zaman ölüyor ama yollarımız yenilenebilir. İnsanların beyninde çok önemli hasarlar olabilir, ancak beynin diğer bölümleri bunu telafi etmek için zaman içinde yeniden programlanabilir. Mevcut çipler bu şekilde çalışmıyor. Bunu telafi edebilecek tek şey, işlemci veya FPGA'dır - bir şeyi farklı yapmak üzere programlanabilen bir şey."

Hataların ne zaman ve neden ortaya çıkacağını anlamak iyi harcanmış bir zamandır, ancak bazı durumlarda bu çok fazla zaman anlamına gelebilir. Google ve Meta tarafından tespit edilen sessiz veri hatalarının temel nedeninin izini sürmek bir yıldan fazla sürdü. Ve çoğu zaman problemler, bütün bir çip veya paket geliştirilene veya sahada kullanılana kadar ortaya çıkmaz.

CEO'su Simon Davidmann, "Bu şeyi inşa etmenin ve cihazlarda bir araya getirmenin tüm fiziksel mekaniğinde zorluklar var" dedi. Imperas Yazılımı. “Ayrıca bir endüstri olarak, çalışır durumdayken her şeyi nasıl doğrulayacağınız konusunda zorluklar var. Bazı şirketlerle SoC düzeyinde işbirliği yapmaya yeni başladık ve sonra bu sistem düzeyine ulaşacak. Ancak bu, sistem sistemlerini içeren uzun, yavaş bir süreçtir.”

Potansiyel sorunları ortaya çıkarmak için önceden yapılabilecek her şey faydalıdır ve bu hem fiziksel hem de sanal faktörleri içerebilir.

Başkan Yardımcısı ve Genel Müdürü Niels Faché, "Termal analiz bu konuda rol oynuyor" dedi. Keysight. "Kart üzerinde ve bir IC'de sıcak noktalar varsa, bu, zamanla cihazın performansını etkileyecek ve bozulmasına katkıda bulunacaktır. Termal analize giderek daha fazla önem verildiğini görüyoruz ve buna termal modellemeyi ekledik çünkü bu, elektrik performansını değiştirebilir. Mekanik analizde de durum aynı olabilir. Kartta elektriksel parametreleri değiştiren bir deformasyon olabilir.”

Isı, bir çipin veya sistemin nasıl davrandığına dair ciddi bir sorun teşkil eder. Semiconductor Division'ın ürün pazarlama direktörü Marc Swinnen, "Termal gradyanlara dikkat etmelisiniz," dedi. Ansys. “Bu, diferansiyel bir genişleme sağlıyor. Bir yığının üstü ve altı arasında yalnızca 25°'lik bir fark olsa bile, bu cihazların aşırı inceliği göz önüne alındığında, santimetre başına yaklaşık 10,000°'den veya bu aralıkta bir şeyden bahsediyoruz. Bu kadar küçük bir mesafe için çok büyük bir sıcaklık gradyanı ve bu oldukça yoğun streslere yol açıyor.”

Üretim ve paketleme kusurları
Tüm hatalar tasarımdan kaynaklanmaz. Üretim akışı yoluyla tasarımın herhangi bir noktasında faktörlerin herhangi bir kombinasyonundan kaynaklanabilirler. Aslında, nano ölçekli bir kusur gibi iyi huylu olarak kabul edilen gizli kusurlar olarak ortaya çıkabilir veya inceleme ve testte gözden kaçan bir kusur olabilir. Ve bu kusurlardan bazıları, bir cihaz eskimeye başlayana kadar ortaya çıkmayabilir.

Digital & Signoff Group ürün yönetiminden sorumlu başkan yardımcısı Kam Kittrell, "Özellikle şimdi 5nm'de eskime zamanlamayı etkiliyor ve bu nedenle nasıl eskiyeceğine dair bu modellere sahipsiniz" dedi. Ritim. "Fakat beş yıldır orada olana kadar nasıl yaşlanacağını nereden biliyorsun? Bu, bunun gibi şeyleri iki kez kontrol etmeniz gerektiği anlamına gelir. Ayrıca, başarısız olan özel bir durum bulursanız - arada bir biraz ters çevirme gibi yumuşak bir arıza - bu bir üretim hatası değildir, ancak üretim testinde yapabileceğiniz bir şey vardır. Geri dönüp üretim testlerinizi bilinen kötü kalıplarla yeniden yapabilir ve ardından zincirde bazı zayıf halkalar olup olmadığını görmek için bu testi her birime dağıtabilirsiniz. Bundan gelen pek çok iyilik var. Bulut bilgi işlem bunu otomotivle birlikte yürütüyor çünkü otomotivde olup bitenlerin karmaşıklığı artık sıra dışı. Her yerde kontrol panelinizde çalışan süper bilgisayarlar var ve insanlar arabaları çalışmadığında üzülüyor.”

Daha da kötüsü, yongalar veya yongalar gelişmiş paketlerde tanıtılıp istiflendiğinde ve yoğun bir şekilde kullanıldıkça veya bu cihazlardan herhangi biri orijinal olarak tasarlanmamış şekillerde kullanıldıkça, gizli kusurlar gerçek kusurlara dönüşebilir. Bunların hepsi düzeltilemez, ancak sorunlu hale gelmeden önce tespit edilebilirler.

"Gizli kusurlar daha çok termo-mekanik yönlerle ilgilidir" dedi. proteanTec. "Mikro çarpmalarda çatlaklar veya boşluklar olabilir. Koridorlarda köprü şortları olabilir. Ve TSV'lerde çatlaklar, kısmi dolgular veya yan duvarlarda delaminasyon olabilir. Kalıplar mükemmel olmadığı için meydana gelen birçok fiziksel kusur vardır. Ancak mükemmel olsalar bile, montaj işlemine başladığınızda birçok olası arıza noktası vardır. Tipik bir HBM'de yaklaşık 10,000 farklı şerit vardır. Bunlardan biri arızalı ise o SiP tamir edilmediği sürece çalışmaz. Yani tüm bu mikro darbeleri yere indirdiniz ve hepsini birbirine değecek şekilde bir araya getirmelisiniz. Bunlardan yalnızca biri kusurluysa, bir kalıp yamulmuşsa veya malzeme biraz hareket etmişse ve tam olarak hizalanmamışsa, sinyal kalitesini etkileyecek direnç davranışı alırsınız.”

Buradaki zorluk, bunun nerede ve ne zaman olabileceğini ve sorunların doğru bir şekilde nasıl belirleneceğini bulmaktır.

Sever, "Öyleyse önce test edebilmelisiniz, çünkü verim %100 değil," dedi. "Montajdan sonra en az bir şeridin arızalı olma ihtimali yüksek. İkincisi, eskidiği için, ürünün kullanım ömrü boyunca, sahada ve görev modunda arabirimi izlemeye devam etmeniz gerekir. Başından beri marjinal ise, çünkü bir test hatası oluşturmayan gizli bir kusur vardı, zaman geçtikçe bozulacaktır. Sonunda, zamanlama marjı veya göz diyagramı kapanmaya başlayacak ve veri yolunda hatalar alacaksınız. Ve bu bir felaket, çünkü hata düzeltme mekanizmalarına sahip olduğunuz bir SERDES'in aksine, tipik D2D'de değilsiniz. Protokolde zorunlu olarak yerleşik bir hata düzeltmesi yoktur. Normal bir G/Ç gibi, neredeyse sıfır olan bir bit hata oranı varsayıyorsunuz. Ve bu, kimsenin nereden geldiklerini gerçekten bilmediği sessiz veri bozulmasında ortaya çıkan veri hatalarına yol açacaktır. Ancak gerçek şu ki, veriler çipin içinde bir yerlerde bozulmaya başlıyor ve içeriden ölçüm almanın, verileri görselleştirmenin, anlamanın ve ardından temel nedenleri izleyip düzeltmenin bir yolunu bulmanız gerekiyor.”

Daha fazla esnekliğe doğru
Esnekliğin resme girdiği yer burasıdır ve hafıza sektörü bu konuda oldukça öndedir. Örneğin, NAND flash'ın zamanla bozulduğu iyi bilinmektedir. Artık çalışmadan önce yalnızca çok fazla flash yazabilirsiniz.

Flex Logix'ten Tate, "Orada %30 daha fazla bit yerleştiren yıpranma dengeleme algoritmaları var, böylece 10 yıldan fazla bir süre güvenilir bir şekilde çalışabilirler," dedi. "Ama bitleri kötüye gitmeden önce bulmaları ve sonra hala iyi olan parçaları değiştirmeleri gerekiyor. Dirençli [mantık] tasarımı için, sistemin geri kalanında başarısız olan her şeyi kaldırabilecek bazı kullanılabilir programlanmamış bilgi işlem kapasitesine sahip olduğunuz gömülü FPGA gibi bir şeye ihtiyacınız olacak. Tüm çiplerde hatalar vardır. Çalışmaması için çipi öldüren böcekler var. Performansın kötü olmasına neden olan hatalar var, bu yüzden gönderilemez. Ve sonra, üzerinde çalışabileceğiniz her türlü hata var. Çipimizde, işlemci veri yolunda 4,000 gömülü FPGA arama tablomuz olması dışında çözemeyeceğimiz bir hatamız vardı. Çipin geri kalanındaki hatayı oluşturan arama tablosunda biraz RTL kodlayabildik. Daha sonra çipi gönderebilirdik ve müşterinin çipi bu şekilde yamaladığımızdan haberi yoktu.”

Esneklik çözümlerinin çoğu, bir düzeyde artıklığa dayanır. Bu, tamamen yeni devrelere olan ihtiyacı azaltan programlanabilirliği içerebilir ve verimsiz ancak yeniden programlanması kolay ve nispeten ucuz olan yazılımı içerebilir. Her durumda, bir miktar ek yük vardır. Anahtar, güç, performans ve alan/maliyette hangi tavizlerin verileceğini seçerken bunu minimumda tutmaktır. Bu nedenle, alan/maliyet kritikse, devre içi izleme eklemek, eklenen devrenin yerini alabilir. Güç kritikse, bu fazlalık yeniden programlanabilir mantık biçiminde olabilir. Ve performans en kritik faktörse, sorunların ortaya çıktığı yere bağlı olarak ek devre eklenebilir ve dinamik olarak açılıp kapatılabilir.

Tessent Embedded Analytics'in ürün müdürü Richard Oxland, "Bu nihayetinde bir ekonomi sorunu," dedi. Siemens Digital Industries Yazılımı. "Sessiz veri hataları bize silikonun yedekli bilgi işlem maliyetinden daha mı pahalıya mal oluyor? Bu, çoğu yarı iletken şirketinin cevaplayamayacağı bir soru çünkü bu sistem düzeyinde bir soru. Sessiz veri hatalarının ekonomik etkisinin önemli ölçüde daha iyi anlaşılması gerekiyor. Ve Meta, Google veya AWS'yi düşünürseniz, bu oldukça hızlı bir şekilde çok yüksek derecede özel bilgi haline gelmeye başlar. Bu adamlar, anlamlı hale gelirse bu tür gereksinimleri düşürmeye başlayacaklar. Ve bunu her zaman öğrenemeyebiliriz çünkü onlar kendi çiplerini tasarlıyorlar. Yani sisteminizde, orada biraz fazlalık olabilir. Veya NoC'de sorunlardan kaçınmak için yönlendirme gibi akıllı şeyler yapabilirsiniz."


Şekil 2: Artıklık ve kendi kendini test etme. Kaynak: Siemens EDA

Ancak bu, başka bir karmaşıklık düzeyi ekler çünkü karmaşık tasarımlarda yalnızca bir NoC yoktur. Çok sayıda olabilir ve tüm sistem bağlamında görülmeleri gerekir. Çözümler ve iş geliştirmeden sorumlu başkan yardımcısı Frank Schirrmeister, "O halde, tamamen senkronize olmadıkları için NoC'ler arasındaki zamanlamayla uğraşmaya başlamalısınız" dedi. arter IP'si. "Çevresel bağlantıların zamanlamasıyla ve her türlü saat alanı geçişiyle uğraşmak zorundasınız."

Schirrmeister, bu resme dayanıklılık eklemek zorlu bir iş, ancak tek tek parçaları bir böl ve yönet stratejisi kullanarak esnek hale getirmenin, tüm sorunu bir kerede çözmeye çalışmaktan daha kolay olduğunu söyledi. "Bir grup sinyalle aynı anda uğraşmak istemezsiniz. Bu nedenle, örneğin güvenlik talimatlarına bakarsanız, düzgün çalıştığından emin olmak için dama eklersiniz.

Dayanıklılık, çiplerin güvenlik açısından kritik uygulamalarda kullanıldığı ve düzenlemelerin bir tür yük devretmeyi gerektirdiği otomotiv sektöründe çok fazla dikkat çekiyor. Oxland, "Otomotiv endüstrisi, yarı iletkenlerinin güvenilirliği konusunda her zaman çok hevesli olmuştur" dedi. "NXP ve benzerleri gibi bazı büyük tedarikçiler bir süredir bu alanda aktifler - bu tür şeylerde çok iyiler. Bu uygulama biraz daha düşük bir karmaşıklık düzeyi olabilir, çünkü ECU'lardan bahsediyoruz. Ancak genel olarak konuşursak, bunlar çok sayıda konuşlandırılmıştır - ancak nasıl çalıştıkları açısından biraz daha belirleyicidirler. Çok yüksek düzeyde paralelleştirilmiş iş yüklerini büyük ölçekte çalıştırmanın karmaşıklığı nedeniyle artık sessiz veri hatalarıyla ilgili sorunu görüyoruz, bu nedenle bu daha çok yeni bir sorun. Geleneksel şeyleri yapma şeklimizi geliştirerek ve bir şeyler yapmanın yeni yollarını bularak buna yaklaşmalıyız.”

Aşırı ödünleşimler
Cerebras gofret ölçekli çipini geliştirdiğinde, hiçbir şeyin %100 verim vermeyeceğini ve çipin bazı parçalarının - tam bir gofretten kesilmiş 800 mm²'lik bir kare - diğer parçalardan farklı yaşlanacağını ve gizli kusurların gerçeğe dönüşeceğini fark etti. kusurlar.

Cerebras'ın CEO'su Andrew Feldman, "Tarihsel olarak, DRAM'in çok yüksek verime ulaşmasının yolu, bit hücrelerinin fazladan sıralarına ve sütunlarına sahip olmaktı" dedi. "Bir çekirdek artı bellek artı küçük bir yönlendiriciden oluşan 850,000 özdeş programlanabilir öğemiz var. Bir sonrakine tellerle bağlı. Ve her programlanabilir öğe, dört komşusunun her birine ve komşularının komşularıyla konuşmasını sağlayan fazladan bir bağlantıyla komşularının komşularına bağlıdır. Yaptığımız şey bir test çipi oluşturmaktı ve verim verileri üzerinde TSMC ile birlikte çalıştık. Ve dökümhane kontrol altında çalışıyorsa sahip olmanız gereken şey, kusurların rastgele dağılımıdır. Bununla birlikte, fazlalık, kusurları belirlemenize izin vermelidir. Yani 850,000 çekirdeğimiz var dediğimizde aslında 870,000 kadar çekirdeğimiz var çünkü yaklaşık %1.5'u bir kenara bırakacağız.”


Şekil 3: Gofret ölçeğinde çip, yaklaşık %1.5 fazlalık oluşturur. Kaynak: Cerebras

Feldman, diğer anahtar parçaların haritalamadan önce yanacağını ve çipleri spesifikasyonun dışındaki sıcaklıklara maruz bırakacağını söyledi. "Ve buradan itibaren kendi kendine test, her çekirdeğin davranışını ve her çekirdek arasındaki her teli kontrol eder" dedi. "Başarısız olursa, bir yönlendirme protokolünü etkinleştirir ve kendi kendini sınamayı yeniden yapar. Dolayısıyla, açılışta ve ardından periyodik olarak çalışan bir donanım kendi kendine testi var."

Bu, çoğu uygulama için pratik olmasa da, bir noktayı kanıtlıyor. Yeterli çaba ve yenilikle bu sorunların çoğu çözülebilir. Buradaki zorluk, bir uygulama için kabul edilebilir ödünleşimleri belirlemek ve ardından bu ödünleşimlerin gerçekte neyi gerektirdiğini gerçekten anlamaktır. Bugünün donanım ve sistem tasarımında bunların hepsi açık değildir.

Sonuç
Tüm bunlar çok daha geniş bir konuya, yani daha yoğun devrelerden, daha fazla kişiselleştirme ve işlevsellikten, yeni materyallerden ve farklı kullanım modellerinden kaynaklanan artan karmaşıklığı yönetebilme becerisine işaret ediyor. Sonuç olarak, bilinmeyenlerin sayısı patlıyor. Bunların hepsi tam olarak anlaşılamaz veya hata ayıklanamaz ve birçok uygulama için sorun yoktur. Ancak görev açısından kritik ve güvenlik açısından kritik uygulamalar için arızaları planlamak çok önemlidir.

Dar pazar pencerelerinde her şeyi yakalamak imkansızdır, ancak yeterli zaman ve çabayla, çiplerin çoğu soruna dayanacak şekilde oluşturulabileceği görülmektedir. Dayanıklılığı daha fazla yongaya dönüştürme ihtiyacı hakkında hiçbir soru yok. Bu, kabul edilebilir bir fiyat noktasında yeterli direncin nasıl elde edileceği meselesidir. Çip endüstrisi bu konuya yeni yeni ciddi bir şekilde bakmaya başlıyor.

spot_img

En Son İstihbarat

spot_img