Registreren
AI

Stroomlijn de beoordeling van subsidieaanvragen met behulp van Amazon Bedrock

Like
vond
Heruitgegeven door Plato
Heruitgegeven door Plato

Datum:

Aantal keer bekeken: 190
Leestijd: Min

Overheids- en non-profitorganisaties die subsidieaanvragen evalueren, staan ​​voor een grote uitdaging: het doornemen van honderden gedetailleerde inzendingen, elk met unieke verdiensten, om de meest veelbelovende initiatieven te identificeren. Dit moeizame, tijdrovende proces is doorgaans de eerste stap in het subsidiebeheerproces, dat cruciaal is voor het bewerkstelligen van zinvolle maatschappelijke impact.

Het AWS Social Responsibility & Impact (SRI)-team zag een kans om deze functie uit te breiden met behulp van generatieve AIHet team ontwikkelde een innovatieve oplossing om de beoordeling en evaluatie van subsidieaanvragen te stroomlijnen door gebruik te maken van de mogelijkheden voor natuurlijke taalverwerking (NLP) van AmazonebodemAmazon Bedrock is een volledig beheerde service waarmee u uw keuze uit hoogwaardige basismodellen (FM's) van toonaangevende AI-bedrijven zoals AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI en Amazon kunt gebruiken via één API, samen met een breed scala aan mogelijkheden die u nodig hebt om generatieve AI-toepassingen te bouwen met beveiliging, privacy en verantwoorde AI.

Historisch gezien werden AWS Health Equity Initiative-aanvragen handmatig beoordeeld door een beoordelingscommissie. Het duurde 14 of meer dagen per cyclus voordat alle aanvragen volledig waren beoordeeld. Gemiddeld ontving het programma 90 aanvragen per cyclus. De AWS Health Equity Initiative-aanvraagcyclus van juni 2024 ontving 139 aanvragen, de grootste instroom van het programma tot nu toe. Het zou naar schatting 21 dagen hebben geduurd voordat de beoordelingscommissie al deze aanvragen handmatig had verwerkt. De op Amazon Bedrock gerichte aanpak verkortte de beoordelingstijd tot 2 dagen (een vermindering van 90%).

Het doel was om de efficiëntie en consistentie van het beoordelingsproces te verbeteren, waardoor klanten sneller impactvolle oplossingen konden bouwen. Door de geavanceerde NLP-mogelijkheden van Amazon Bedrock te combineren met doordachte prompt engineering, creëerde het team een ​​dynamische, datagestuurde en eerlijke oplossing die het transformatieve potentieel van grote taalmodellen (LLM's) in het domein van sociale impact demonstreerde.

In dit bericht bespreken we de technische implementatiedetails en de belangrijkste lessen die we hebben geleerd van de op Amazon Bedrock gebaseerde oplossing voor het beoordelen van subsidieaanvragen van het team. Deze oplossing biedt een blauwdruk voor organisaties die hun subsidiebeheerprocessen willen optimaliseren.

Het creëren van een effectieve prompt voor het beoordelen van subsidieaanvragen met behulp van generatieve AI

Prompt engineering is de kunst van het maken van effectieve prompts om generatieve AI-modellen, zoals LLM's, te instrueren en begeleiden om de gewenste output te produceren. Door prompts zorgvuldig te ontwerpen, kunnen professionals het volledige potentieel van generatieve AI-systemen ontsluiten en deze toepassen op een breed scala aan real-world scenario's.

Bij het bouwen van een prompt voor ons Amazon Bedrock-model om subsidieaanvragen te beoordelen, gebruikten we meerdere prompt engineering-technieken om ervoor te zorgen dat de reacties van het model op maat, gestructureerd en uitvoerbaar waren. Dit omvatte het toewijzen van een specifieke persona aan het model, het geven van stapsgewijze instructies en het specificeren van het gewenste outputformaat.

Ten eerste hebben we het model de persona van een expert in volksgezondheid toegewezen, met een focus op het verbeteren van de resultaten van de gezondheidszorg voor onderbediende bevolkingsgroepen. Deze context helpt het model te primen om het voorstel te evalueren vanuit het perspectief van een subject matter expert (SME) die holistisch denkt over wereldwijde uitdagingen en impact op gemeenschapsniveau. Door de persona duidelijk te definiëren, zorgen we ervoor dat de reacties van het model zijn afgestemd op de gewenste evaluatielens.

Your task is to review a proposal document from the perspective of a given persona, and assess it based on dimensions defined in a rubric. Here are the steps to follow:

1. Review the provided proposal document: {PROPOSAL}

2. Adopt the perspective of the given persona: {PERSONA}

Meerdere persona's kunnen worden toegewezen aan dezelfde rubriek om rekening te houden met verschillende perspectieven. Bijvoorbeeld, toen de persona "Public Health Subject Matter Expert" werd toegewezen, gaf het model scherpe inzichten in het impactpotentieel en de bewijsbasis van het project. Toen de persona "Venture Capitalist" werd toegewezen, gaf het model robuustere feedback over de geformuleerde mijlpalen en het duurzaamheidsplan van de organisatie voor postfinanciering. Evenzo, toen de persona "Software Development Engineer" werd toegewezen, gaf het model vakinhoudelijke expertise door over het voorgestelde gebruik van AWS-technologie.

Vervolgens hebben we het beoordelingsproces opgesplitst in een gestructureerde set instructies die het model moet volgen. Dit omvat het beoordelen van het voorstel, het beoordelen ervan op specifieke dimensies (impactpotentieel, innovatie, haalbaarheid, duurzaamheid) en vervolgens het verstrekken van een algemene samenvatting en score. Het schetsen van deze stapsgewijze richtlijnen geeft het model duidelijke richtlijnen voor de vereiste taakelementen en helpt bij het produceren van een uitgebreide en consistente beoordeling.

3. Assess the proposal based on each dimension in the provided rubric: {RUBRIC}

For each dimension, follow this structure:
<Dimension Name>
 <Summary> Provide a brief summary (2-3 sentences) of your assessment of how well the proposal meets the criteria for this dimension from the perspective of the given persona. </Summary>
 <Score> Provide a score from 0 to 100 for this dimension. Start with a default score of 0 and increase it based on the information in the proposal. </Score>
 <Recommendations> Provide 2-3 specific recommendations for how the author could improve the proposal in this dimension. </Recommendations>
</Dimension Name>

4. After assessing each dimension, provide an <Overall Summary> section with:
 - An overall assessment summary (3-4 sentences) of the proposal's strengths and weaknesses across all dimensions from the persona's perspective
 - Any additional feedback beyond the rubric dimensions
 - Identification of any potential risks or biases in the proposal or your assessment

5. Finally, calculate the <Overall Weighted Score> by applying the weightings specified in the rubric to your scores for each dimension.

Ten slotte specificeerden we het gewenste outputformaat als JSON, met aparte secties voor de dimensionale beoordelingen, algehele samenvatting en algehele score. Door dit gestructureerde responsformaat voor te schrijven, wordt ervoor gezorgd dat de output van het model kan worden opgenomen, opgeslagen en geanalyseerd door ons subsidiebeoordelingsteam, in plaats van dat deze in vrije tekst wordt geleverd. Dit niveau van controle over de output helpt het downstreamgebruik van de evaluaties van het model te stroomlijnen.

6. Return your assessment in JSON format with the following structure:

{{ "dimensions": [ {{ "name": "<Dimension Name>", "summary": "<Summary>", "score": <Score>, "recommendations": [ "<Recommendation 1>", "<Recommendation 2>", ... ] }}, ... ], "overall_summary": "<Overall Summary>","overall_score": <Overall Weighted Score> }}

Do not include any other commentary beyond following the specified structure. Focus solely on providing the assessment based on the given inputs.

Door deze prompt engineering-technieken te combineren (roltoewijzing, stapsgewijze instructies en output-opmaak) konden we een prompt maken die grondige, objectieve en uitvoerbare beoordeling van subsidievoorstellen uit ons generatieve AI-model opwekt. Deze gestructureerde aanpak stelt ons in staat om de mogelijkheden van het model effectief te gebruiken om ons subsidiebeoordelingsproces op een schaalbare en efficiënte manier te ondersteunen.

Een dynamische aanvraag voor het beoordelen van voorstellen bouwen met Streamlit en generatieve AI

Om de mogelijkheden van een dynamische oplossing voor het beoordelen van voorstellen te demonstreren en te testen, hebben we een snelle prototype-implementatie gebouwd met behulp van Gestroomlijnd, Amazone-gesteente en Amazon DynamoDB. Het is belangrijk om op te merken dat deze implementatie niet bedoeld is voor productiegebruik, maar eerder dient als een proof of concept en een startpunt voor verdere ontwikkeling. De applicatie stelt gebruikers in staat om verschillende persona's en evaluatierubrieken te definiëren en op te slaan, die vervolgens dynamisch kunnen worden toegepast bij het beoordelen van voorstelinzendingen. Deze aanpak maakt een op maat gemaakte en relevante beoordeling van elk voorstel mogelijk, op basis van de opgegeven criteria.

De architectuur van de applicatie bestaat uit verschillende belangrijke componenten, die we in dit hoofdstuk bespreken.

Het team gebruikte DynamoDB, een NoSQL-database, om de persona's, rubrieken en ingediende voorstellen op te slaan. De in DynamoDB opgeslagen gegevens werden naar Streamlit, een webapplicatie-interface, gestuurd. Op Streamlit voegde het team de persona en rubriek toe aan de prompt en stuurde de prompt naar Amazon Bedrock.

import boto3
import json

from api.personas import Persona
from api.rubrics import Rubric
from api.submissions import Submission

bedrock = boto3.client("bedrock-runtime", region_name="us-east-1")

def _construct_prompt(persona: Persona, rubric: Rubric, submission: Submission):
    rubric_dimensions = [
        f"{dimension['name']}|{dimension['description']}|{dimension['weight']}"
        for dimension in rubric.dimensions
    ]

    # add the table headers the prompt is expecting to the front of the dimensions list
    rubric_dimensions[:0] = ["dimension_name|dimension_description|dimension_weight"]
    rubric_string = "n".join(rubric_dimensions)
    print(rubric_string)

    with open("prompt/prompt_template.txt", "r") as prompt:
        prompt = prompt.read()
        print(prompt)
        return prompt.format(
            PROPOSAL=submission.content,
            PERSONA=persona.description,
            RUBRIC=rubric_string,
        )

Amazon Bedrock gebruikte Anthropic's Claude 3 Sonnet FM om de ingediende voorstellen te evalueren aan de hand van de prompt. De prompts van het model worden dynamisch gegenereerd op basis van de geselecteerde persona en rubric. Amazon Bedrock zou de evaluatieresultaten terugsturen naar Streamlit voor teambeoordeling.

def get_assessment(submission: Submission, persona: Persona, rubric: Rubric):
    prompt = _construct_prompt(persona, rubric, submission)

    body = json.dumps(
        {
            "anthropic_version": "",
            "max_tokens": 2000,
            "temperature": 0.5,
            "top_p": 1,
            "messages": [{"role": "user", "content": prompt}],
        }
    )
    response = bedrock.invoke_model(
        body=body, modelId="anthropic.claude-3-haiku-20240307-v1:0"
    )
    response_body = json.loads(response.get("body").read())
    return response_body.get("content")[0].get("text")

Het onderstaande diagram illustreert de weergave van de voorgaande afbeelding.

De workflow bestaat uit de volgende stappen:

  1. Gebruikers kunnen persona's en rubrieken maken en beheren via de Streamlit-applicatie. Deze worden opgeslagen in de DynamoDB-database.

  2. Wanneer een gebruiker een voorstel ter beoordeling indient, kiest hij of zij de gewenste persona en rubriek uit de beschikbare opties.
  3. De Streamlit-applicatie genereert een dynamische prompt voor het Amazon Bedrock-model, waarin de geselecteerde persona- en rubriekgegevens zijn opgenomen.
  4. Het Amazon Bedrock-model evalueert het voorstel op basis van de dynamische prompt en retourneert de beoordelingsresultaten.
  5. De evaluatieresultaten worden opgeslagen in de DynamoDB-database en via de Streamlit-applicatie aan de gebruiker gepresenteerd.

Impact

Dit snelle prototype toont het potentieel van een schaalbaar en flexibel voorstelbeoordelingsproces, waarmee organisaties:

  • Verkort de verwerkingstijd van uw aanvraag tot wel 90%
  • Stroomlijn het beoordelingsproces door de evaluatietaken te automatiseren
  • Verzamel gestructureerde gegevens over de voorstellen en beoordelingen voor verdere analyse
  • Integreer diverse perspectieven door het gebruik van meerdere persona's en rubrieken mogelijk te maken

Tijdens de implementatie richtte het AWS SRI-team zich op het creëren van een interactieve en gebruiksvriendelijke ervaring. Door hands-on te werken met de Streamlit-applicatie en de impact van dynamische persona en rubric-selectie te observeren, kunnen gebruikers praktische ervaring opdoen in het bouwen van AI-aangedreven applicaties die echte uitdagingen aanpakken.

Overwegingen voor een implementatie op productieniveau

Hoewel het snelle prototype het potentieel van deze oplossing demonstreert, vereist een productie-grade implementatie aanvullende overwegingen en het gebruik van aanvullende AWS-services. Enkele belangrijke overwegingen zijn:

  • Schaalbaarheid en prestaties – Voor het verwerken van grote volumes aan voorstellen en gelijktijdige gebruikers is een serverloze architectuur nodig die gebruikmaakt van AWS Lambda, Amazon API-gateway, DynamoDB en Eenvoudige opslagservice van Amazon (Amazon S3) zou zorgen voor een verbeterde schaalbaarheid, beschikbaarheid en betrouwbaarheid.
  • Beveiliging en naleving – Afhankelijk van de gevoeligheid van de betrokken gegevens zijn aanvullende veiligheidsmaatregelen zoals encryptie, authenticatie en toegangscontrole en auditing noodzakelijk. Diensten zoals AWS Sleutelbeheerservice (KMS), Amazon Cognito, AWS identiteits- en toegangsbeheer (IAM)en kan manueel of geautomatiseerd AWS CloudTrail kan helpen aan deze eisen te voldoen.
  • Bewaken en loggen – Het implementeren van robuuste monitoring- en loggingmechanismen met behulp van diensten zoals Amazon Cloud Watch en AWS-röntgenfoto maken het mogelijk om prestaties te volgen, problemen te identificeren en naleving te handhaven.
  • Geautomatiseerd testen en implementeren – Implementatie van geautomatiseerde test- en implementatiepijplijnen met behulp van services zoals AWS CodePipeline, AWS CodeBuilden kan manueel of geautomatiseerd AWS CodeDeploy zorgen voor consistente en betrouwbare implementaties, waardoor het risico op fouten en downtime wordt verminderd.
  • Kosten optimalisatie – Het implementeren van kostenoptimalisatiestrategieën, zoals het gebruik van AWS-kostenverkenner en AWS-budgetten, kan helpen bij het beheersen van kosten en het handhaven van een efficiënt gebruik van middelen.
  • Verantwoorde AI-overwegingen – Het implementeren van waarborgen, zoals Amazonebodem-vangrails—en monitoringmechanismen kunnen helpen bij het afdwingen van het verantwoordelijke en ethische gebruik van het generatieve AI-model, inclusief biasdetectie, contentmoderatie en menselijk toezicht. Hoewel het aanvraagformulier van het AWS Health Equity Initiative klantgegevens verzamelde, zoals naam, e-mailadres en land van vestiging, werd dit systematisch weggelaten toen het naar de Amazon Bedrock-tool werd gestuurd om bias in het model te voorkomen en klantgegevens te beschermen.

Door gebruik te maken van het volledige pakket AWS-services en best practices voor beveiliging, schaalbaarheid en verantwoorde AI te volgen, kunnen organisaties een productieklare oplossing bouwen die voldoet aan hun specifieke vereisten en die tegelijkertijd voldoet aan de naleving van wet- en regelgeving, betrouwbaarheid en kosteneffectiviteit.

Conclusie

Amazon Bedrock, gecombineerd met effectieve prompt engineering, stelde AWS SRI in staat om subsidieaanvragen te beoordelen en prijzen binnen enkele dagen in plaats van weken aan klanten te leveren. De vaardigheden die in dit project zijn ontwikkeld, zoals het bouwen van webapplicaties met Streamlit, integratie met NoSQL-databases zoals DynamoDB en het aanpassen van generatieve AI-prompts, zijn zeer overdraagbaar en toepasbaar op een breed scala aan branches en use cases.

Over de auteurs

Carolyn Vigil  is een Global Lead voor AWS Social Responsibility & Impact Customer Engagement. Ze leidt strategische initiatieven die cloud computing inzetten voor maatschappelijke impact wereldwijd. Als gepassioneerde pleitbezorger voor kansarme gemeenschappen heeft ze twee non-profitorganisaties opgericht die mensen met een ontwikkelingsstoornis en hun families helpen. Carolyn geniet in haar vrije tijd van bergavonturen met haar familie en vrienden.

Lauren Hollis is een programmamanager voor AWS Social Responsibility and Impact. Ze maakt gebruik van haar achtergrond in economie, gezondheidszorgonderzoek en technologie om missiegedreven organisaties te ondersteunen bij het leveren van sociale impact met behulp van AWS-cloudtechnologie. In haar vrije tijd leest Lauren graag en speelt ze piano en cello.

 Ben West is een hands-on bouwer met ervaring in machine learning, big data analytics en full-stack software development. Als technisch programmamanager in het AWS Social Responsibility & Impact team, maakt Ben gebruik van een breed scala aan cloud-, edge- en Internet of Things (IoT) technologieën om innovatieve prototypes te ontwikkelen en organisaties in de publieke sector te helpen een positieve impact te maken op de wereld. Ben is een Army Veteran die graag kookt en buiten is.

Mike Haggerty is een Senior Systems Development Engineer (Sr. SysDE) bij Amazon Web Services (AWS) en werkt binnen het PACE-EDGE-team. In deze rol draagt ​​hij bij aan de edge computing-initiatieven van AWS als onderdeel van het PACE (Prototyping and Customer Engineering)-team van de Worldwide Public Sector (WWPS)-organisatie. Naast zijn professionele taken is Mike vrijwilliger bij dierentherapie en biedt hij samen met zijn hond Gnocchi ondersteunende diensten aan bij lokale gemeenschapsvoorzieningen.

Gerelateerde artikelen

spot_img

Recente artikelen

spot_img
Premium inhoud

Auteursrecht @ 2025 Core Flow Intelligence.