Data Scientist / Data Analyst (m/w/d) (Data Scientist)
Vollzeit
Mercor
Homeoffice
- Homeoffice
Job Description: AI Task Evaluation & Statistical Analysis Specialist
Role Overview
We're seeking a data-driven analyst to conduct comprehensive failure analysis on AI agent performance across finance-sector tasks. You'll identify patterns, root causes, and systemic issues in our evaluation framework by analyzing task performance across multiple dimensions (task types, file types, criteria, etc.).
Key Responsibilities
Statistical Failure Analysis : Identify patterns in AI agent failures across task components (prompts, rubrics, templates, file types, tags)
Root Cause Analysis : Determine whether failures stem from task design, rubric clarity, file complexity, or agent limitations
Dimension Analysis : Analyze performance variations across finance sub-domains, file types, and task categories
Reporting & Visualization : Create dashboards and reports highlighting failure clusters, edge cases, and improvement opportunities
Quality Framework : Recommend improvements to task design, rubric structure, and evaluation criteria based on statistical findings
Stakeholder Communication : Present insights to data labeling experts and technical teams
Required Qualifications
Statistical Expertise : Strong foundation in statistical analysis, hypothesis testing, and pattern recognition
Programming : Proficiency in Python (pandas, scipy, matplotlib/seaborn) or R for data analysis
Data Analysis : Experience with exploratory data analysis and creating actionable insights from complex datasets
AI/ML Familiarity : Understanding of LLM evaluation methods and quality metrics
Tools : Comfortable working with Excel, data visualization tools (Tableau/Looker), and SQL
Preferred Qualifications
Experience with AI/ML model evaluation or quality assurance
Background in finance or willingness to learn finance domain concepts
Experience with multi-dimensional failure analysis
Familiarity with benchmark datasets and evaluation frameworks
2-4 years of relevant experience
Die Stellenanzeige wurde vor Vor 1 Tag veröffentlicht
Ähnliche Jobs, die für Sie interessant sein könntenBasierend auf das Stellenangebot Data Scientist / Data Analyst (m/w/d) (Data Scientist) in Homeoffice
- ...Your tasks As a Data Scientist at AIPERIA, you'll develop the AI models that ensure bakeries and food retailers only produce what's actually sold. You'll work with real sales, weather, event, and other data, build robust forecasting models, and ensure our recommendations...EmpfohlenVollzeitHomeoffice
- ...We’re looking for a (Senior) Data Scientist who thrives at the intersection of analytics, product thinking, and innovation. In this hands-on role, you’ll work closely with engineers, product managers, customers and fellow data scientists to shape how AI is embedded into...EmpfohlenUnbefristete ArbeitHomeoffice
- ...than 1% of all hires occur through the HeyJobs platform. We offer you an influential role in a fast-growing company: As a Data Scientist (w/m/d) at HeyJobs, you will develop marketing steering models, which will help our Talent Marketing to attract talents to the...EmpfohlenHomeofficePhD Position
€ 75.000 - € 95.000
...Projekten einzusetzen, dann bewirb dich jetzt! Deine Aufgaben Du bist verantwortlich für den Aufbau und Betrieb von modernen onpremises Data Lakehouse Systemen bis in den Petabyte-Bereich. Dein Hauptfokus liegt dabei auf Lakehouse Architekturen, die du auf Basis der...EmpfohlenHomeofficeUnbefristete ArbeitVollzeitPhD Position- Kompetent, persönlich und initiativ - das ist die top itservices AG. Wir beraten Unternehmen ganzheitlich in ihren IT-Projekten und unterstützen sie durch die professionelle Vermittlung von Fach- und Führungskräften. Für Festanstellungen, Projekte oder auf Zeit. Sie...EmpfohlenHomeoffice
- ...based on property valuations and market insights. Leveraging big data, cutting-edge analytics, and great visualization, our product... ...The impact you will have Work with backend engineers and data scientists to turn raw data into trusted insights, handling everything...Homeoffice
- ...This position is posted by Jobgether on behalf of a partner company. We are currently looking for a Senior Azure Data Engineer - Agentic AI Platform in Germany. As Senior Azure Data Engineer, you will design and implement modern lakehouse architectures that power scalable...HomeofficeVollzeit
- ...Job Title: Data Engineering Senior Developer Base Location: Munich, Germany (Fully Remote/Hybrid) Duration: B2b Contract/FTC/FTE Experience: 8-10 Years Language: Native German Domain: Utility domain Professional skills Solid knowledge in developing...HomeofficeVollzeit
- ...About the position We are looking for a Senior Data Engineer to help design and maintain scalable, secure, and high-performance... ...ensuring efficient resource usage. Collaborate with data analysts, scientists, and backend engineers to deliver high-quality, actionable data...VollzeitFrühlingjobFreelanceHomeoffice
- ...This position is posted by Jobgether on behalf of a partner company. We are currently looking for a Senior Data Engineer Customer Experience (m/w/d) in Germany. As a Senior Data Engineer focused on Customer Experience, you will design, implement, and maintain robust...HomeofficeVollzeit
- ...Jedes Team bei Finanzguru trifft täglich datengetriebene Entscheidungen. Im Data Engineering Team stellen wir sicher, dass jedes Team die Tools und Ressourcen hat, selbstständig Datenprodukte zu erstellen und zu maintainen. Wenn du Lust hast, unsere Datenplattform und...VollzeitHomeoffice
- ...You want to play a key role in shaping the future of our data platform to drive the growth of RaiseNow, an innovative Tech4Good company? As a Senior Data Engineer (gn) you’re part of a small team with a big impact! You’ll design scalable architectures, build high...HomeofficeVollzeitFlexible Arbeitszeiten
- Ihre Aufgaben: Konzeption, Entwicklung und Implementierung von SAP BW/4HANA- und SAP BW-on-HANA-Datenmodellen sowie Transformationen Programmierung in ABAP und AMDP zur Umsetzung komplexer Routinen und Optimierung von Datenflüssen Entwicklung und Pflege von ...
- ...noch jung ist, aber bereits auf einer starken technischen Basis steht. Genau das findest du bei uns: eine moderne Infrastruktur mit Data Warehouse, Airflow, dbt und einem modernen Stack, der dir ermöglicht, vom ersten Tag an wirksam zu werden. Als Data Engineer (m/w...Vollzeit
- ...solution that enables hotels to set the right prices in just seconds. ⏱️ Our state-of-the-art algorithm analyzes both internal hotel data and market trends to recommend pricing strategies that enhance revenue and improve booking rates. With customers spanning the...Homeoffice
- ...engaging. No more cold outreach and no more bloated target lists. Just better deals, faster. Our platform brings together powerful data, real-time insights, and intelligent prioritisation to help our customers identify, engage, and convert the right accounts, at the right...HomeofficeVollzeit
- ...YOUR MISSION We are looking for a world-class Senior Data Engineer to help shape and scale our data platform, powering insights and decision-making across our suite of SaaS digital advertising products. You’ll play a key role in designing and building robust, scalable...HomeofficeVollzeitTeilzeit
- ...Für einen Kunden im Raum Leipzig suchen wir derzeit einen Data Engineer (m/w/d) — Remote Aufgabengebiet – Weiterentwicklung der bestehenden ETL-Strecken entsprechend fachlicher und technischer Anforderungen – Konzeptionelle Unterstützung bei der Weiterentwicklung...VollzeitAb sofortHomeoffice
- ...business challenges. End-to-end AI model lifecycle, including data collection, preprocessing, model training, evaluation, and... ...related field. Proven experience as an AI engineer or data scientist, with a track record of leading successful AI projects. Proficiency...Homeoffice
- ...andere Kollegen und Kolleginnen fachlich, unterstützt sie in ihrer Weiterentwicklung und bei alltäglichen Projektfragen im Bereich Data Science. Dein Profil Du hast eine angemessene universitäre Ausbildung in einem technischen oder wissenschaftlichen Fach wie (Wirtschafts...Vollzeit
- ...and relevance across Spotify’s Search experiences Collaborate with a cross-functional agile team spanning user research, design, data science, product management, and engineering Prototype and productionize new modeling approaches at scale, serving hundreds of millions...Vollzeit
- ...berufliche Wege zu gehen – und vernetzen Bildung, Arbeitsmarkt und Unternehmen. Deine Aufgaben ~ Vermittlung der Grundlagen des Data Engineerings an Anfänger (Beginner-Level) unter Verwendung von Python, SQL und ETL-Workflows ~ Betreuung der Teilnehmer bei...WeiterbildungTeilzeit
- ...Mach mit! Als Produkt Analyst - Business Data & Insights (m/w/d) , berichtest Du an unseren Head of Product Operations und spielst eine entscheidende Rolle bei der Analyse, Interpretation und Visualisierung von Daten, um die Produktleistung zu verbessern und weitreichende...VollzeitHomeoffice
- ...This position is posted by Jobgether on behalf of a partner company. We are currently looking for a Senior Business Analyst Data Analytics & AI Remote Position in Germany. This role provides an opportunity to lead data, analytics, and AI initiatives in a fast-paced,...HomeofficeVollzeit
- Senior Fullstack-Entwickler (m/w/d) - Schwerpunkt Symfony/Angular Co-Working-Space: Wesel (Homeoffice mit Teilpräsenz möglich) Anstellung: Vollzeit Über uns Wir entwickeln moderne ERP- und BI-Lösungen mit Schwerpunkt Digitalisierung und Wirtschaftsinformatik , die Unternehmen...VollzeitHomeofficeFlexible Arbeitszeiten
Mamisch Digital GmbH
HomeofficeVor 10 Tagen - ...developers have chosen Mapbox because of the platform’s flexibility, security and privacy compliance. Organizations use Mapbox applications, data, SDKs and APIs to create customized and immersive experiences that delight their customers. What We Do Data forms the...Homeoffice
- ...Job Title: Data Engineering Solutions Design Base Location: Munich, Germany (Fully Remote/Hybrid) Duration: B2b Contract/FTC/FTE Experience: 8-10 Years Language: Native German Domain: Utility domain Professional skills Solid SAP BTP knowledge,...HomeofficeVollzeit
- Kompetent, persönlich und initiativ - das ist die top itservices AG. Wir beraten Unternehmen ganzheitlich in ihren IT-Projekten und unterstützen sie durch die professionelle Vermittlung von Fach- und Führungskräften. Für Festanstellungen, Projekte oder auf Zeit. Sie...FestanstellungHomeoffice
- NOTE: This is a FULLY remote role, but the candidate must be within Europe to collaborate with their team, peers, and internal customers. You do not have to be in the specific city shown in this listing, but please only apply if you are physically based within Europe....VollzeitHomeoffice
- ...Engineer , you will play a key role in shaping the intelligence layer of our platform. Working with billions of mobility and location data points, you will design, implement, and deploy advanced machine learning models that uncover patterns such as commuting behavior,...VollzeitWorkationVon zu Hause
Wollen Sie mehr Stellenangebote erhalten?
Abonnieren Sie und erhalten Sie ähnliche Stellenangebote wie Data Scientist / Data Analyst (m/w/d) (Data Scientist). Seien Sie der Erste, der sich bewirbt!
