Elke dag wordt u beïnvloed door machine learning en AI-aanbevelingsalgoritmen. Wat je consumeert op sociale media via Facebook, Twitter, Instagram, de personalisatie die je ervaart wanneer je zoekt, luistert of kijkt naar Google, Spotify, YouTube, wat je ontdekt met Airbnb en UberEATS, al deze producten worden mogelijk gemaakt door machine learning en AI aanbevelingssystemen.

80% van alle inhoud verbruikt op Netflix en $ 98 miljard aan jaarlijkse inkomsten op Amazon wordt aangedreven door aanbevelingssystemen en deze bedrijven blijven miljoenen investeren in het bouwen van betere versies van deze algoritmen.

Er zijn twee hoofdtypen aanbevelingssystemen:

1. Collaborative filtering: soortgelijke gebruikers vinden en u iets aanbevelen op basis van wat die vergelijkbare gebruiker leuk vond.
2. Op inhoud gebaseerde filtering: uw verleden en gedrag gebruiken om aanbevelingen te doen.

Als deze diepgaande educatieve inhoud nuttig voor u is, abonneer u op onze AI-research mailinglijst om gewaarschuwd te worden wanneer we nieuw materiaal uitbrengen.

Er is ook een op hybride gebaseerd aanbevelingssysteem, dat collaboratieve en op inhoud gebaseerde filtering combineert. Deze machine learning en AI-algoritmen zijn de drijvende kracht achter de consumentenproducten die we elke dag gebruiken.

Het probleem is dat deze algoritmen in wezen voor hetzelfde optimaliseren: overeenkomsten

Aanbevelingsalgoritmen maken optimalisaties op basis van de belangrijkste aanname dat alleen overeenkomsten goed zijn. Als je van fantasieboeken houdt, krijg je aanbevolen meer fantasieboeken, als je van progressieve politiek houdt, krijg je aanbevolen meer progressieve politiek. Het volgen van deze algoritmen beperkt ons wereldbeeld en we zien geen nieuwe, interessante en unieke perspectieven.

Als een paard dat met oogkleppen rent, vallen we in een echokamer en de gevaarlijke AI-feedbacklus waar de output van het algoritme opnieuw wordt gebruikt om nieuwe versies van het model te trainen. Dit vernauwt ons denken en versterkt vooroordelen. Recente evenementen zoals de Facebook–Cambridge Analytica datalek de invloed van technologie op menselijk gedrag en de impact ervan op individuen en de samenleving aantonen.

Psychologie en sociologie zijn het erover eens: we zijn bang voor wat we niet weten. Wanneer mensen bijziend worden, ontstaat de "wij versus zij"-mentaliteit en ontstaan ​​er vooroordelen. De burgerlijke onrust in de Verenigde Staten en over de hele wereld kan worden teruggekoppeld naar deze concepten. Gelukkig laat onderzoek ook zien dat diversiteit aan perspectieven zorgt voor begrip en verbondenheid.

Dit is ook een zakelijk probleem

De typische consument heeft 3 tot 5 voorkeuren:

• 3 tot 5 favoriete boek- of filmgenres
• 3 tot 5 meest beluisterde muziekcategorieën
• 3 tot 5 verschillende modestijlen
• 3 tot 5 voorkeurskeukens

Waarom komt dit diverse consumentengedrag niet beter tot uiting in het gedrag van onze technologie? Als een bedrijf een klant weet te overtuigen om een ​​nieuwe categorie uit te proberen, zoals van een rennende klant een nieuwe wielrenklant maken, zal die klant waarschijnlijk 5 tot 10x meer uitgeven aan onboarding en aankopen voor die nieuwe activiteit. Voor elke diverse categorie die een bedrijf niet aanbeveelt, dat is verloren omzet en betrokkenheid.

De kans: hoe kunnen we een beter aanbevelingssysteem bouwen dat de diversiteit van de consument mogelijk maakt en de levenslange waarde van de klant verhoogt?

We kunnen dit probleem benaderen door de lens van de klant. Laten we Elon Musk nemen als een model wereldburger, die publiekelijk verklaarde dat hij dol was op fantasieboeken toen hij opgroeide en Lord of the Rings grote invloed op hem hebben.

Maar als Elon de aanbevelingen van het meest zichtbare machine learning-algoritme van vandaag op Amazon zou blijven volgen, zou hij doorgaan op het pad van fantasie, fantasie en nog meer fantasie. Elon heeft ook verklaard dat zakelijke boeken zijn wereldbeeld hebben gevormd, met Nul tot één als zijn aanbeveling. Technologie zou meer van deze verbindingen voor iedereen mogelijk moeten maken, niet beperken.

Hoe kunnen we een aanbevelingsengine bouwen die een invoerboek zoals Lord of the Rings zou gebruiken en een uitvoerboek zoals Zero to One zou aanbevelen?

Als we dit kunnen oplossen voor een individueel geval als dat van Elon, kunnen we gaan zien hoe een beter aanbevelingssysteem kan afwijken van het pad van gelijkenis om meer betekenisvolle diversiteit te creëren.

Een diversiteitsaanbevelingssysteem bouwen

Het data science-proces:
1. Definieer een doel
2. Gegevens verzamelen, verkennen en opschonen
3. Gegevens transformeren
4. Aanbevelingsengine voor machine learning bouwen
5. Bouw een diversiteitsaanbevelingsmotor proof of concept
6. Ontwerpmodellen
7. Bedrijfswaardehypothese en doellancering

1. Definieer doel

Boeken is de ideale branche om te verkennen, omdat er een duidelijk onderscheid is tussen boekcategorieën en potentiële inkomsten, in tegenstelling tot muziek waar de dollarwaarde voor het luisteren naar nieuwe genres minder duidelijk is. Het doel is om een ​​aanbevelingssysteem te bouwen waarin we een boek invoeren en laten uitvoeren:

1. Aanbevelingen op basis van overeenkomsten, het status-quo-algoritme
2. Aanbevelingen op basis van verscheidenheid, de evolutie van de status quo

Het doel op lange termijn is om een ​​aanbevelingssysteem op te bouwen dat in verschillende sectoren kan worden toegepast, waardoor klanten deuren kunnen openen voor diverse ontdekkingen en de levenslange klantwaarde voor het bedrijf kan worden vergroot.

2. Gegevens verzamelen, verkennen en opschonen

Goodreads biedt een goed dataset. Hierbinnen moeten we bepalen wat nuttig is, wat kan worden verwijderd en welke datasets moeten worden samengevoegd.

# Load book data from csv import pandas as pd books = pd.read_csv('../data/books.csv') books



# Explore features
books.columns



Er zijn 10,000 boeken in deze dataset en we willen 'boektags' als een belangrijk kenmerk omdat het uitgebreide gegevens over de boeken bevat om ons te helpen met aanbevelingen. Die data leeft in verschillende datasets, dus we moeten data-ruzie maken en de datapuzzel in elkaar puzzelen.
# Load tags book_tags data from csv
book_tags = pd.read_csv('../data/book_tags.csv')
tags = pd.read_csv('../data/tags.csv') # Merge book_tags and tags tags_join = pd.merge(book_tags, tags, left_on='tag_id', right_on='tag_id', how='inner') # Merge tags_join and books
books_with_tags = pd.merge(books, tags_join, left_on='book_id', right_on='goodreads_book_id', how='inner') # Store tags into the same book id row
temp_df = books_with_tags.groupby('book_id')['tag_name'].apply(' '.join).reset_index()
temp_df.head(5) # Merge tag_names back into books
books = pd.merge(books, temp_df, left_on='book_id', right_on='book_id', how='inner')
books



We hebben nu boektags allemaal in één dataset.
3. Gegevens transformeren



We hebben 10,000 boeken in de dataset, elk met 100 boektags. Wat bevatten deze boektags?
# Explore book tags
books['tag_name']



We willen deze teksten omzetten in numerieke waarden, zodat we gegevens hebben die het machine learning-algoritme begrijpt. TfidfVectorizer verandert tekst in feature-vectoren.
# Transform text to feature vectors
from sklearn.feature_extraction.text import TfidfVectorizer
tf = TfidfVectorizer(analyzer='word',ngram_range=(1, 2),min_df=0, stop_words='english')
tfidf_matrix = tf.fit_transform(books['tag_name'])
tfidf_matrix.todense()



TF-IDF (Term Frequency — Inverse Document Frequency) berekent hoe belangrijk woorden zijn in relatie tot het hele document. TF vat samen hoe vaak een bepaald woord in een document voorkomt. IDF verkleint woorden die vaak in documenten voorkomen. Hierdoor kan TF-IDF het belang van woorden in een document definiëren op basis van de relatie en de wegingsfactor.
4. Bouw aanbevelingsengine voor machine learning



Nu bouwen we de aanbeveling. We kunnen cosinusovereenkomst gebruiken om de numerieke waarden te berekenen die overeenkomsten tussen boeken aangeven.
# Use numeric values to find similarities
from sklearn.metrics.pairwise import linear_kernel
cosine_sim = linear_kernel(tfidf_matrix, tfidf_matrix)
cosine_sim



Cosinusovereenkomst meet de cosinus van de hoek tussen twee vectoren die in een multidimensionale ruimte worden geprojecteerd. Hoe kleiner de hoek, hoe groter de cosinus-overeenkomst. Met andere woorden, hoe dichter deze boektags bij elkaar staan, hoe meer het boek op elkaar lijkt.



Vervolgens schrijven we het machine learning-algoritme.
# Get book recommendations based on the cosine similarity score of book tags Build a 1-dimensional array with book titles
titles = books['title']
tag_name = books['tag_name']
indices = pd.Series(books.index, index=books['title']) # Function that gets similarity scores
def tags_recommendations(title): idx = indices[title] sim_scores = list(enumerate(cosine_sim[idx])) sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True) sim_scores = sim_scores[1:11] # How many results to display book_indices = [i[0] for i in sim_scores] title_df = pd.DataFrame({'title': titles.iloc[book_indices].tolist(), 'similarity': [i[1] for i in sim_scores], 'tag_name': tag_name.iloc[book_indices].tolist()}, index=book_indices) return title_df
Dit is de fundamentele code die we nodig hebben voor een aanbevelingsengine. Dit is de bouwsteen voor Amazon's inkomstengenererende algoritme van $ 98 miljard en anderen vinden het leuk. Lijkt bijna te simpel. We kunnen hier stoppen of we kunnen onze code uitbreiden om meer data-inzichten te tonen.
# Get book tags, total tags, and percentage of common tags
def recommend_stats(target_book_title): # Get recommended books rec_df = tags_recommendations(target_book_title) # Get tags of the target book rec_book_tags = books_with_tags[books_with_tags['title'] == target_book_title]['tag_name'].to_list() # Create dictionary of tag lists by book title book_tag_dict = {} for title in rec_df['title'].tolist(): book_tag_dict[title] = books_with_tags[books_with_tags['title'] == title]['tag_name'].to_list() # Create dictionary of tag statistics by book title tags_stats = {} for book, tags in book_tag_dict.items(): tags_stats[book] = {} tags_stats[book]['total_tags'] = len(tags) same_tags = set(rec_book_tags).intersection(set(tags)) # Get tags in recommended book that are also in target book tags_stats[book]['%_common_tags'] = (len(same_tags) / len(tags)) * 100 # Convert dictionary to dataframe tags_stats_df = pd.DataFrame.from_dict(tags_stats, orient='index').reset_index().rename(columns={'index': 'title'}) # Merge tag statistics dataframe to recommended books dataframe all_stats_df = pd.merge(rec_df, tags_stats_df, on='title') return all_stats_df
Nu voeren we in Lord of the Rings in de aanbevelingsengine en bekijk de resultaten.
# Find book recommendations
lor_recs = recommend_stats('The Fellowship of the Ring (The Lord of the Rings, #1)')
lor_recs



We krijgen een lijst van de top 10 meest vergelijkbare boeken met Lord of the Rings op basis van boektags. De aanbevelingen zien er bijna hetzelfde uit als de website van Amazon:



Succes! Het opstellen van een gelijkenis-aanbeveling was deel één. Deel twee is het produceren van diversiteit.
5. Bouw een proof of concept van de engine voor diversiteitsaanbevelingen
Dit volgende deel is waar evolutie plaatsvindt. Het diversiteitsaanbevelingsalgoritme bestaat momenteel niet (openbaar), dus er zal wat kunst zijn voor deze wetenschap. Hoe kunnen we, in plaats van maanden in het onderzoeks- en wiskundelab door te brengen, een proof of concept bouwen dat de haalbaarheid van het produceren van een diversiteitsaanbeveling kan valideren of ongeldig maken? Laten we de gegevens onderzoeken.
Aangezien we via de Elon Musk-klantenlens reverse-engineeren en willen dat de aanbeveler nul op één uitvoert, laten we eens kijken waar dit boek zich bevindt in relatie tot Lord of the Rings.
# Find Zero to One book
lor_recs[lor_recs.title == 'Zero to One: Notes on Startups, or How to Build the Future']



Met betrekking tot Lord of the Rings staat Zero to One op plaats 8,592 van 10,000 boeken op basis van overeenkomsten. Vrij laag. Volgens het algoritme bevinden deze twee boeken zich aan weerszijden van het spectrum en zijn ze helemaal niet vergelijkbaar. Dit boek bevindt zich statistisch gezien in het laagste kwartiel, wat betekent dat noch jou, noch Elon deze diversiteit van denken zou worden aanbevolen.
# Calculate statistical data
lor_recs.describe()



Met behulp van een boxplot kunnen we deze positionering beter visualiseren:
# Boxplot of similarity score
import matplotlib.pyplot as plt
lor_recs.boxplot(column=['similarity'])
plt.show() # Boxplot of percentage of common tags
lor_recs.boxplot(column=['%_common_tags'])
plt.show()



Zou u, op basis van uw eigen kennis, zeggen dat deze twee boeken zo enorm verschillend zijn?
We kunnen de gegevens verder onderzoeken en de meest voorkomende boektags vinden met NLTK (Natural Language Toolkit). Eerst ruimen we woorden op, zoals het verwijderen van koppeltekens, tokeniseren de woorden en verwijderen vervolgens alle stopwoorden. Nadat de tekst schoon is, kunnen we de 10 meest voorkomende woorden berekenen die voorkomen in de Lord of the Rings-boektags.
# Store book tags into new dataframe
lor_tags = pd.DataFrame(books_with_tags[books_with_tags['title']=='The Fellowship of the Ring (The Lord of the Rings, #1)']['tag_name']) # Find most frequent word used in book tags
import matplotlib
import nltk top_N = 10
txt = lor_tags.tag_name.str.lower().str.replace(r'-', ' ').str.cat(sep=' ') # Remove hyphens
words = nltk.tokenize.word_tokenize(txt)
word_dist = nltk.FreqDist(words) stopwords = nltk.corpus.stopwords.words('english')
words_except_stop_dist = nltk.FreqDist(w for w in words if w not in stopwords) print('All frequencies, including STOPWORDS:')
print('=' * 60)
lor_rslt = pd.DataFrame(word_dist.most_common(top_N), columns=['Word', 'Frequency'])
print(lor_rslt)
print('=' * 60)
lor_rslt = pd.DataFrame(words_except_stop_dist.most_common(top_N), columns=['Word', 'Frequency']).set_index('Word')
matplotlib.style.use('ggplot') lor_rslt.plot.bar(rot=0)
plt.show()



Omdat we diversiteit en variatie willen, kunnen we de meest voorkomende woorden "fantasie" en "fictie" nemen en filteren op ongelijke of verschillende woorden in de context van boekgenres. Dit kunnen woorden zijn als non-fictie, economie of ondernemend.
# Filter by unlike words
lor_recs_filter = lor_recs[(lor_recs['tag_name'].str.contains('non-fiction')) & (lor_recs['tag_name'].str.contains('economics')) & (lor_recs['tag_name'].str.contains('entrepreneurial'))]
lor_recs_filter



Dit verkleint de lijst en bevat alleen boeken die 'non-fictie', 'economie' of 'ondernemend' in de boektags bevatten. Om ervoor te zorgen dat onze lezer een goed boek wordt aanbevolen, voegen we 'average_rating' weer samen in de dataset en sorteren we de resultaten op de hoogste gemiddelde boekwaardering.
# Merge recommendations with ratings
lor_recs_filter_merge = pd.merge(books[['title', 'average_rating']], lor_recs_filter, left_on='title', right_on='title', how='inner') # Sort by highest average rating
lor_recs_filter_merge = lor_recs_filter_merge.sort_values(by=['average_rating'], ascending=False)
lor_recs_filter_merge



Wat bovenaan de lijst verschijnt — Nul tot één. We hebben ons een weg gebaand om diversiteit aan te bevelen.
Er was maar één sprong in het diepe, maar een behoorlijk grote, in het koppelen van de relatie tussen Lord of the Rings en Zero to One. De volgende stap om dit vooruit te helpen, is het programmatisch identificeren van de relatie tussen deze twee boeken en andere boeken, zodat deze reproduceerbaar wordt. Wat is de wiskunde en logica die dit zou kunnen veroorzaken? De meeste huidige machine learning- en AI-aanbevelingsalgoritmen zijn gebaseerd op het vinden van overeenkomsten. Hoe kunnen we in plaats daarvan diversiteit vinden?
Intuïtief kunnen we begrijpen dat iemand die geïnteresseerd is in fantasieboeken ook baat kan hebben bij het leren over ondernemerschap. Onze algoritmen geven dit duwtje op dit moment echter niet. Als we dit probleem kunnen oplossen en een beter algoritme kunnen bouwen, zal dit niet alleen de klant aanzienlijk helpen, maar ook de omzet van een bedrijf verhogen door meer verkopen en tevreden klanten. Ten eerste overbruggen we de kloof door domeinkennis en expertise voor de boekenindustrie. Vervolgens gaan we dit toepassen in andere industrieën. Als je hier ideeën over hebt, laten we dan chatten. Dit kan een game-changer zijn.
5.1 Een alternatieve engine voor diversiteitsaanbevelingen
Hier is een alternatieve oplossing. In plaats van aanbevelingen op basis van boektags van het individuele boek, kunnen we aanbevelingen doen op basis van categorieën. De regel: elke aanbeveling kan nog steeds overeenkomsten hebben met het originele boek, maar het moet een unieke categorie zijn.
Amazon heeft bijvoorbeeld 5 resultaten om boekaanbevelingen weer te geven.



In plaats van 5 boeken met vergelijkbare boektags als Lord of the Rings, zou het resultaat 5 boeken moeten zijn met vergelijkbare boektags, maar met een andere categorie dan Fantasy, zoals Science Fiction. Daaropvolgende resultaten zouden dezelfde logica volgen. Dit zou de categorieën boeken die de gebruiker te zien krijgt "diversifiëren", terwijl een keten van relevantie behouden blijft. Het zou weergeven: Fantasie → Science Fiction → Technologie → Ondernemerschap → Biografieën.
Binnen deze categorieën kunnen individuele boeken worden gerangschikt en gesorteerd op basis van overeenkomsten met het oorspronkelijke boek of op gebruikersbeoordelingen. Elke sleuf presenteert het boek binnen die categorie met de meeste relevantie voor het originele boek.
Slot 1: Fantasie
Slot 2: Sciencefiction
Slot 3: Technologie
Slot 4: Ondernemerschap
Slot 5: Biografieën
Deze categorisering wordt een sortering binnen een sortering om een ​​kwalitatieve, relevante en diverse lezing te garanderen. Dit concept zou boeken als Lord of the Rings en Zero to One systematischer met elkaar kunnen verbinden, en uiteindelijk kunnen schalen naar verschillende productsoorten of industrieën, zoals muziek.
6. Ontwerpmodellen



Hoe zouden we dit kunnen ontwerpen? We zouden ons algoritme kunnen inzetten om een ​​bepaald percentage toe te kennen aan de verkenning van diversiteitsaanbevelingen, zoals een verdeling van 70% gelijkenis en 30% diversiteitsaanbevelingen.
Een potentiële gebruiker gaf feedback dat ze graag een "diversiteitsswitch" zouden zien. Laten we een mockup maken van dit potentiële ontwerp.



Zodra de klant het aanzet, kunnen we 3 boeken bewaren als de gebruikelijke aanbevelingen voor overeenkomsten en de volgende 2 als onze aanbevelingen voor diversiteit.



In onze productstatistieken zouden we het aantal en het percentage van de keren dat gebruikers interactie hebben met deze overstap, de toename/afname van het aantal bezochte productpagina's, ander daaropvolgend gebruikersstroomgedrag en de conversieratio van de aankoop van de aanbevolen boeken of andere producten bijhouden. Wat vindt u hiervan als potentiële klant?
7. Bedrijfswaardehypothese en doellancering
Wat is de potentiële bedrijfswaarde achter dit idee? We kunnen beginnen met de lancering van de beoogde klant te beperken tot klanten van Amazon.com in de VS die in de afgelopen 12 maanden: een boek hebben gekocht, naar fantasieboeken hebben gezocht en in meerdere boekcategorieën hebben gekocht. Conservatieve aannames:
USA customers: 112 million
x book buying customers: 25%
x searches for fantasy: 25%
x buys multiple categories: 25%
= roll out to 1.75 million customers x conversion rate: 10%
= 175,000 customers convert x increase in average annual spend $40
= $7 million additional annual revenue
In 2019 bedroegen de gemiddelde uitgaven van Amazon-klanten ongeveer $ 600 per jaar en de jaaromzet van Amazon $ 280 miljard. Deze schatting is licht in vergelijking, wat goed is als een eerste uitroltest. Als we de reikwijdte van de lancering vergroten, krijgen we een grotere potentiële waarde. Laten we ons bereik vergroten en dit uitrollen naar alle Amerikaanse Amazon-klanten die een boek hebben gekocht, met een conservatieve aanname van 25%:
USA customers: 112 million
x book buying customers: 25%
= roll out to 28 million customers x conversion rate: 10%
= 2.8 million customers convert x increase in average annual spend $40
= $112 million additional annual revenue
Ten slotte, als we agressiever zijn en aannemen dat de helft van de Amazon-klanten boekkopers kan zijn, de conversieratio verhogen, de gemiddelde jaarlijkse uitgavenstijging verhogen, komen we in de miljarden extra waarde:
USA customers: 112 million
x book buying customers: 50%
= roll out to 56 million customers x conversion rate: 20%
= 28 million customers convert x increase in average annual spend $90
= $1 billion additional annual revenue
De mogelijke valkuil is dat dit nieuwe aanbevelingssysteem de klantervaring negatief beïnvloedt en de conversieratio verlaagt, wat een omzetverlies wordt. Daarom zijn initiële klantvalidatie en kleinere lancerings- en testplannen een goed startpunt.
De bedrijfswaarde is aanzienlijk, aangezien 35% ($ 98 miljard) van Amazon's inkomsten werd gegenereerd via aanbevelingssystemen. Zelfs een kleine procentuele verbetering van het algoritme zou miljoenen en miljarden extra inkomsten opleveren.



En Verder?
Deze proof of concept illustreert het potentieel voor diversiteitsaanbevelingssystemen om klantervaringen te verbeteren, maatschappelijke problemen aan te pakken, aanzienlijke bedrijfswaarde toe te voegen, en schetst een haalbaar datawetenschapsproces om onze technologie te verbeteren.
Door betere machine learning en AI-aanbevelingssystemen kan technologie meer diversiteit in denken mogelijk maken. Het huidige ethos van de samenleving zegt dat overeenkomsten goed zijn, terwijl divers zijn gemengd kan zijn. Misschien is dat de reden waarom het merendeel van het onderzoek en de ontwikkeling van aanbevelingssystemen tegenwoordig alleen gericht is op het vinden van overeenkomsten. Als we geen verandering doorvoeren binnen onze algoritmen, zal de status quo ons meer van hetzelfde geven.



Stel je de wereld voor waar diversiteit van gedachten mogelijk wordt gemaakt voor alle producten die ons elke dag beïnvloeden. Hoe kan dat de wereld veranderen voor jou, je vrienden en mensen die anders denken dan jij? Machine learning en AI-aanbevelingsalgoritmen kunnen een krachtige veranderaar zijn. Als we dit pad van diversiteit blijven volgen, kunnen we een positieve invloed hebben op de mensen en de wereld om ons heen.
Dit artikel is oorspronkelijk gepubliceerd op Op weg naar AI en opnieuw gepubliceerd naar TOPBOTS met toestemming van de auteur.
Geniet van dit artikel? Meld u aan voor meer AI-updates.
We laten het je weten wanneer we meer technisch onderwijs vrijgeven.
Verwant

 Coinsmart. Beste Bitcoin-beurs in Europa

Bron: https://www.topbots.com/diversity-through-recommendation-systems/