Introductie

LeNet-5, een baanbrekend convolutioneel neuraal netwerk (CNN), ontwikkeld door Yann LeCun en zijn team in de jaren negentig, was een gamechanger op het gebied van computervisie en deep learning. Deze baanbrekende architectuur is expliciet ontworpen om een ​​revolutie teweeg te brengen in de herkenning van handgeschreven en machinaal gedrukte karakters. In tegenstelling tot traditionele methoden introduceerde LeNet-1990 een nieuwe aanpak die de noodzaak van handmatige feature-engineering elimineerde, waarbij pixelafbeeldingen rechtstreeks werden verwerkt via convolutionele lagen, subsampling en volledig verbonden lagen. Het succes reikte verder dan karakterherkenning, diende als hoeksteen voor moderne deep learning-modellen en beïnvloedde daaropvolgende architecturen op het gebied van computervisie, objectherkenning en beeldclassificatie.

Yann LeCun's vroege toepassing van backpropagation-algoritmen op praktische problemen legde de basis voor LeNet-5, ontworpen om handgeschreven karakters te lezen en uit te blinken in het identificeren van postcodenummers van de US Postal Service. De opeenvolgende versies en toepassingen ervan, zoals de mogelijkheid om dagelijks miljoenen cheques te lezen, veroorzaakten een golf van belangstelling onder onderzoekers, vormden het landschap van neurale netwerken en inspireerden de evolutie van deep learning.

Het succes van LeNet-5 en daaropvolgende toepassingen, zoals systemen die miljoenen cheques per dag kunnen lezen, leidde tot brede belangstelling onder onderzoekers voor neurale netwerken. Hoewel de best presterende neurale netwerkarchitecturen van vandaag de dag verder zijn geëvolueerd dan LeNet-5, hebben het baanbrekende ontwerp en de prestaties ervan de basis gelegd voor talloze volgende modellen, die diepgaand leren aanzienlijk hebben vormgegeven en geïnspireerd. LeNet-5 blijft een bewijs van innovatie en een blijvend symbool van de evolutie van machine learning en beeldherkenning.

leerdoelen

• Ontdek de historische betekenis en impact van LeNet-5 op de evolutie van deep learning en computervisie.
• Vergelijk LeNet-5 met hedendaagse neurale netwerkarchitecturen en onderzoek de fundamentele invloed ervan op huidige modellen in deep learning.
• Begrijp de architectuur van LeNet-5, inclusief de convolutionele, subsampling en volledig verbonden lagen.
• Analyseer praktische toepassingen en casestudies die de effectiviteit van LeNet-5 bij beeldherkenningstaken aantonen.

Dit artikel is gepubliceerd als onderdeel van het Data Science-blogathon.

LeNet begrijpen

LeNet, ook bekend als LeNet-5, is een baanbrekende convolutionele neurale netwerkarchitectuur (CNN), ontwikkeld door Yann LeCun en zijn team in de jaren negentig. Het is expliciet ontworpen voor handgeschreven en machinaal gedrukte karakterherkenningstaken. De betekenis van LeNet-1990 ligt in de succesvolle demonstratie van het leren van hiërarchische kenmerken en de effectiviteit ervan bij karakterherkenning. De impact ervan reikt verder dan het oorspronkelijke doel, beïnvloedt de ontwikkeling van moderne deep learning-modellen en dient als fundamentele architectuur voor daaropvolgende ontwikkelingen op het gebied van computervisie, beeldherkenning en verschillende machine learning-toepassingen.

De architectuur van LeNet

LeNet-5 is een convolutioneel neuraal netwerk (CNN) met een specifieke architectuur die wordt gebruikt bij karakterherkenningstaken. Het bestaat uit meerdere lagen, exclusief de invoerlaag, die trainbare parameters bevatten. Het verwerkt met name afbeeldingen van 32 x 32 pixels, belangrijker dan de karakters in de database, met de nadruk op de centrering van potentieel onderscheidende kenmerken. Invoerpixelwaarden zijn genormaliseerd voor een betere leerefficiëntie.

De architectuur van LeNet combineert convolutionele, subsampling en volledig verbonden lagen met specifieke connectiviteitspatronen. Het maakt gebruik van normalisatie voor invoerpixels en een reeks lagen om onderscheidende kenmerken uit de gegevens te extraheren voor efficiënt leren. Bovendien implementeert het unieke strategieën om verzadiging van activeringsfuncties te voorkomen en gebruikt het specifieke verliesfuncties voor efficiënte training.

Unieke strategieën om verzadiging te voorkomen

• Invoerlaag: LeNet verwerkt afbeeldingen van 32×32 pixels, belangrijker dan de tekens in de database, met als doel potentiële onderscheidende kenmerken in het midden van de afbeelding vast te leggen.
• Convolutionele en subsamplinglagen: Convolutionele lagen extraheren voornamelijk functies uit de invoergegevens met behulp van leerbare filters of kernels. Elke laag bestaat uit meerdere filters die over de invoergegevens (afbeelding) glijden en elementgewijze vermenigvuldigingen uitvoeren om feature maps te produceren. De eerste laag bevat 6 filters van formaat 5×5, geactiveerd met de tanh-functie, wat leidt tot feature-kaarten van formaat 28x28x6. Daaropvolgende lagen gebruiken 16 filters van dezelfde grootte, waardoor featuremaps van 10x10x16 worden gegenereerd.
• Subbemonsteringslagen, ook bekend als poolinglagen, richten zich op het verminderen van de dimensionaliteit van de kenmerkkaarten die zijn verkregen uit de convolutionele lagen. Pooling omvat het samenvoegen of downsamplen van de functiekaarten, meestal door de maximale waarde (MaxPooling) of de gemiddelde waarde (AveragePooling) in gedefinieerde regio's te nemen. Met filtergroottes van 2×2 en pasvariaties resulteren deze lagen in kaartgroottes van achtereenvolgens 14x14x6 en 5x5x16.
• Volledig verbonden lagen: De architectuur omvat volledig verbonden lagen met het label Fx, die de uiteindelijke classificatie verwerken op basis van de geëxtraheerde kenmerken. Een volledig verbonden laag met 84 neuronen en een uiteindelijke uitvoerlaag met 10 neuronen, waarbij gebruik wordt gemaakt van de tanh-activeringsfunctie in de eerste en Softmax in de laatste. De Softmax-functie wijst waarschijnlijkheden toe aan elke klasse, waarbij de hoogste waarschijnlijkheid de voorspelling bepaalt.
• Uitvoerlaag: LeNet gebruikt Radial Basis Function-eenheden voor classificatie, met duidelijke representaties van karakters voor herkenning en correctie.

Stap voor stap werkstroom

[Input: 28x28x1]
    |
[Conv2D: 6 filters, 5x5, tanh]
    |
[Average Pooling: 2x2, stride 2]
    |
[Conv2D: 16 filters, 5x5, tanh]
    |
[Average Pooling: 2x2, stride 2]
    |
[Flatten]
    |
[Dense: 120, tanh]
    |
[Dense: 84, tanh]
    |
[Dense: 10, softmax (output)]

Convolutionele laag 1:

• Aantal filters: 6
• Kernelgrootte: 5×5
• Activeringsfunctie: Tanh
• Invoervorm: 28x28x1

Gemiddelde poolinglaag 1:

• Grootte zwembad: 2×2
• Stappen: 2

Convolutionele laag 2:

• Aantal filters: 16
• Kernelgrootte: 5×5
• Activeringsfunctie: Tanh

Gemiddelde poolinglaag 2:

• Grootte zwembad: 2×2
• Stappen: 2

Volledig verbonden lagen:

• Dichte laag met 120 eenheden en Tanh-activatie.
• Dikke laag met 84 eenheden en Tanh-activatie.
• Uitvoerlaag met 10 eenheden en Softmax-activering voor classificatie in meerdere klassen (MNIST-dataset).

Belangrijkste kenmerken van LeNet

1. CNN-architectuur: LeNet-5 was een baanbrekend convolutioneel neuraal netwerk met een gestructureerde architectuur met convolutionele en poolinglagen.
2. Patroonherkenning in handgeschreven cijfers: Aanvankelijk ontwikkeld voor handgeschreven cijferherkenning, met een hoge nauwkeurigheid bij het identificeren en classificeren van handgeschreven karakters.
3. Convolutionele en poolinglagen: Introductie van convolutionele lagen voor kenmerkextractie en poolinglagen voor downsampling, waardoor het netwerk geleidelijk hiërarchische representaties kan leren.
4. Niet-lineariteit activering: Maakt gebruik van hyperbolische tangens (tanh) activeringsfuncties, waardoor het netwerk niet-lineaire mogelijkheden krijgt die essentieel zijn voor het vastleggen van complexe relaties binnen gegevens.
5. Invloed op diep leren: Het succes van LeNet-5 legde de basis voor hedendaagse deep learning-modellen en had een aanzienlijke invloed op de ontwikkeling van neurale netwerken voor beeldherkenning en -classificatie.

Praktische implementatie van LeNet:

Bibliotheek importeren

Begin met de code om LeNet-5 in TensorFlow te implementeren met behulp van de Keras API. Het is een goed begin om met de MNIST-dataset te werken.

import tensorflow as tf
from tensorflow import keras
from keras.datasets import mnist
from keras.layers import Dense, Flatten, Conv2D, AveragePooling2D
from keras.models import Sequential
from tensorflow.keras.utils import plot_model

Gegevensset laden

Laad de MNIST-gegevensset voor het trainen en testen van afbeeldingen. Deze functie laadt de dataset, die bestaat uit handgeschreven cijferafbeeldingen en hun respectievelijke labels. De gegevens zijn onderverdeeld in trainings- en testsets.

(X_train, y_train), (X_test,y_test) = mnist.load_data()

Output:

Hervorm

De reshape-functie in deze context is het aanpassen van de vorm van de afbeeldingen, zodat ze geschikt zijn voor verwerking in een CNN. De vorm (28, 28, 1) geeft aan dat de afbeeldingen 28×28 pixels zijn en een enkel kanaal hebben (grijswaardenafbeeldingen). Deze transformatie is nodig omdat de meeste CNN's verwachten dat afbeeldingen een specifieke vorm hebben, vaak weergegeven als (breedte, hoogte, kanalen).

#perfoming reshape
X_train = X_train.reshape(X_train.shape[0],28,28,1)
X_test = X_test.reshape(X_test.shape[0],28,28,1)
# Check the shape of data 
X_train.shape

Normalisatie

Het codefragment dat u heeft opgegeven, normaliseert de afbeeldingspixelwaarden in de trainings- en testgegevenssets. Door elke pixelwaarde met 255 te bepalen, weet u zeker dat de pixelwaarden variëren van 0 tot 1.

# Normalization ---> convert 0 to 1
X_train = X_train/255
X_test = X_test/255

Eén Hot Encoding

De klassen voor de MNIST-dataset worden omgezet in categorische gegevens met 10 klassen. Elk label wordt omgezet in een vector waarbij elk element een klasse vertegenwoordigt, waarbij 1 in de index overeenkomt met de klasse en 0 elders.

# One hot encoding
y_train = keras.utils.to_categorical(y_train,10)
y_test = keras.utils.to_categorical(y_test,10)

Modelbouw

Dit codefragment demonstreert de constructie van het LeNet-5-model met behulp van de Keras Sequential API in TensorFlow. Het definieert de lagen en hun configuraties en compileert het model met een optimizer, verliesfunctie en statistieken voor evaluatie.

model = Sequential()
# first layer
model.add(Conv2D(6, kernel_size=(5,5), padding="valid", activation="tanh", input_shape =(28,28,1)))
model.add(AveragePooling2D(pool_size=(2,2),strides=2, padding='valid'))

#second layer
model.add(Conv2D(16, kernel_size=(5,5), padding="valid", activation="tanh"))
model.add(AveragePooling2D(pool_size=(2,2),strides=2, padding='valid'))

# flatten layer
model.add(Flatten())

# ANN
model.add(Dense(120, activation='tanh'))
model.add(Dense(84, activation='tanh'))
model.add(Dense(10, activation='softmax'))

model.summary()

uitgang:

Model compileren

De "compilerenDe methode bereidt het model voor op training door de optimalisatiemethode, de verliesfunctie en de te monitoren statistieken te definiëren.

model.compile(loss= keras.metrics.categorical_crossentropy, optimizer =keras.optimizers.Adam(),
metrics= ['accuracy'])

Modeltraining: De "geschikt ”-functie traint het model met behulp van de verstrekte trainingsgegevens en valideert het met behulp van de testgegevens.

model.fit(X_train,y_train, batch_size=128,epochs=10 , verbose=1, validation_data=(X_test,y_test))

output:

Modelevaluatie

Het model “evalueer()” functie wordt gebruikt om de prestaties van het model op een testgegevensset te evalueren. Het resultaat geeft het testverlies en de testnauwkeurigheid weer.

score = model.evaluate(X_test,y_test)

print('Test loss', score[0])
print('Test Accuracy', score[1])

Visualisatie:

# Create a bar chart to visualize the comparison
import matplotlib.pyplot as plt
predicted_labels = np.argmax(predictions, axis=1)

# Compare predicted labels with true labels
correct_predictions = np.equal(predicted_labels, np.argmax(y_test, axis=1))

plt.figure(figsize=(12, 6))
plt.bar(range(len(y_test)), correct_predictions, 
color=['green' if c else 'red' for c in correct_predictions])
plt.title('Comparison of Predicted vs. True Labels')
plt.xlabel('Sample Index')
plt.ylabel('Correct Prediction (Green: Correct, Red: Incorrect)')
plt.show()

Output:

Impact en betekenis van LeNet

De invloed van LeNet reikt veel verder dan zijn oorspronkelijke taak. Het succes ervan maakte de weg vrij voor een dieper onderzoek naar convolutionele neurale netwerken (CNN's). Het efficiënte ontwerp en de prestaties op het gebied van cijferherkenningstaken vormen de basis voor vooruitgang in verschillende computer vision-toepassingen, waaronder beeldclassificatie, objectdetectie en gezichtsherkenning.

• Revolutie in handgeschreven karakterherkenning: Het succes van LeNet-5 bij het herkennen van handgeschreven cijfers en karakters leidde tot een transformatie in verschillende praktische toepassingen, met name bij het herkennen van postcodes en cheques. Het vermogen om karakters nauwkeurig te herkennen heeft bijgedragen aan de wijdverbreide acceptatie van neurale netwerken door deze toepassingen.
• Invloed op toekomstige architecturen: De architecturale ontwerpprincipes van LeNet legden de basis voor talrijke daaropvolgende CNN-modellen. Het innovatieve gebruik van convolutie, subsampling en volledig verbonden lagen inspireerde de ontwikkeling van complexere en geavanceerdere neurale netwerkarchitecturen voor verschillende op afbeeldingen gebaseerde taken.
• Diep leren bevorderen: Het succes van LeNet-5 demonstreerde het potentieel van diepgaande leernetwerken op het gebied van beeldherkenning en inspireerde verder onderzoek en ontwikkeling in het veld. De impact ervan op de onderzoeksgemeenschap leidde tot een paradigmaverschuiving naar het gebruik van diepe neurale netwerken voor verschillende op visie gebaseerde taken en legde de basis voor daaropvolgende vorderingen in het domein.

Toepassing van LeNet

De impact van LeNet strekt zich uit tot tal van toepassingen in de echte wereld. Van het herkennen van handgeschreven cijfers in postdiensten tot het revolutioneren van de gezondheidszorg door te helpen bij de analyse van medische beelden: de fundamentele concepten van LeNet hebben een groot aantal terreinen beïnvloed.

• Documentverwerking: De mogelijkheden van LeNet worden gebruikt bij het scannen en analyseren van documenten, het parseren en verwerken van verschillende soorten informatie, het extraheren van gegevens uit documenten en het automatiseren van gegevensinvoertaken in verschillende industrieën.
• Handschrift herkenning: Het succes van LeNet bij het herkennen van handgeschreven karakters en cijfers blijft van fundamenteel belang in Optical Character Recognition (OCR)-systemen die worden gebruikt bij het verwerken van handgeschreven tekst op bankcheques, postdiensten en formulieren. Het is toepasbaar bij het digitaliseren van historische documenten en het herkennen van handgeschreven informatie in verschillende formaten.
• Biometrische authenticatie: De handschriftherkenningsmogelijkheden van LeNet zijn toegepast op handtekening- en vingerafdrukanalyse, waardoor biometrische authenticatiemethoden mogelijk zijn en beveiligingssystemen zijn verbeterd.
• Realtime videoanalyse: De fundamentele concepten in LeNet dienen als basis voor realtime videoanalyse, zoals objecttracking, bewakingssystemen, gezichtsherkenning en autonome voertuigen.
• Beeldclassificatie: De principes van LeNet beïnvloeden moderne beeldclassificatiesystemen. Toepassingen omvatten het classificeren en categoriseren van objecten in afbeeldingen voor tal van domeinen, zoals het identificeren van objecten op foto's, kwaliteitscontrole bij productie, analyse van medische beeldvorming en beveiligingssystemen voor objectidentificatie.

Uitdagingen en beperkingen van LeNet

• Functie-extractie-efficiëntie: Met de evolutie van neurale netwerkarchitecturen beschikken nieuwere modellen over efficiëntere manieren om kenmerken te extraheren, waardoor LeNet relatief minder efficiënt is in het identificeren van ingewikkelde patronen en kenmerken.
• Beperkt aanpassingsvermogen: De architectuur, ontworpen voor specifieke taken zoals handgeschreven tekenherkenning, is mogelijk niet direct overdraagbaar naar andere domeinen zonder substantiële wijzigingen.
• Schaalbaarheid: Hoewel het een baanbrekend model is, mist LeNet mogelijk de schaalbaarheid om zich aan te passen aan de moderne eisen voor gegevensverwerking en diepgaand leren.
• Overfitting: LeNet kan last hebben van overfitting bij het omgaan met complexere datasets, waardoor aanvullende regularisatietechnieken nodig zijn om dit probleem te verzachten.

Onderzoekers hebben complexere CNN-architecturen ontwikkeld om deze beperkingen te overwinnen, door geavanceerde technieken te integreren om deze uitdagingen aan te pakken en tegelijkertijd de prestaties bij verschillende taken te verbeteren.

Conclusie

LeNet is als een vroeg convolutioneel neuraal netwerk een cruciale mijlpaal in deep learning. De oprichting ervan door Yann LeCun en het team betekende een doorbraak, vooral op het gebied van handgeschreven karakterherkenning en beeldanalyse. LeNet staat voor uitdagingen bij het aanpassen aan moderne, complexe taken en diverse datasets vanwege architectonische eenvoud en mogelijke overfitting. De erfenis ervan blijft van vitaal belang, inspireert meer geavanceerde architecturen en speelt een cruciale rol bij de ontwikkeling van deep learning-modellen.

De oprichting van LeNet markeerde een cruciaal moment in de geschiedenis van deep learning. Het succes ervan op het gebied van beeldherkenningstaken en de principes ervan heeft de weg geëffend voor de evolutie van moderne convolutionele neurale netwerken. De blijvende erfenis ervan blijft het landschap van computervisie en kunstmatige intelligentie vormgeven.

Key Takeaways

• Het introduceerde het concept van convolutionele en subsampling-lagen, waarmee de basis werd gelegd voor moderne deep-learning-architecturen.
• Hoewel LeNet in zijn tijd aanzienlijke vooruitgang heeft geboekt, zijn de beperkingen bij het omgaan met diverse en complexe datasets duidelijk geworden.
• Convolutionele en subsampling-lagen geïntroduceerd, wat een revolutie teweegbrengt in deep learning.

Veelgestelde Vragen / FAQ

De in dit artikel getoonde media zijn geen eigendom van Analytics Vidhya en worden naar goeddunken van de auteur gebruikt.

Verwant

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.analyticsvidhya.com/blog/2023/11/lenet-architectural-insights-and-practical-implementation/