Ben Harper commence à jouer de la guitare pendant son enfance en Californie et plus spécialement de la guitare acoustique (appelée weissenborn, du nom du luthier Allemand qui fabriqua les premières au début du 20ème siècle). En 1992, en compagnie d'un ami guitariste, Tom Freund, il enregistre un premier LP (Pleasure and Pain). Ce disque attire l'attention des producteurs, ce qui l'amène à signer un contrat avec Virgin Records pour sortir son premier véritable album Welcome to the Cruel World qui reçoit un accueil très favorable.
Il enchaîne en 1995 avec l'album Fight for your Mind plus mature et plus engagé politiquement. Le grand public le découvre vraiment en 1997 après la sortie de son troisième opus The Will to Live. C'est également la révélation du groupe qui l'accompagne : The Innocent Criminals, composé de Juan Nelson à la basse, Leon Mobley aux percussions et Oliver Charles à la batterie alors que Ben Harper assure le chant et la guitare.
Durant les années suivantes, Ben Harper et The Innocent Criminals engagent une tournée mondiale et de nombreuses collaborations notamment avec R.E.M., Pearl Jam, Radiohead ou John Lee Hooker. Parallèlement à cela, les membres du groupe changent avec les arrivées de Dean Butterworth à la batterie et de David Leach aux percussions. 1999 voit la sortie de Burn to Shine, dont les titres "Steal My Kisses" et "Suzie Blue" rencontrent un grand succès. Peu de temps après, l'album live Live from Mars enregistré lors de la tournée avec le groupe Dave Matthews Band reçoit une très bonne critique.
Diamonds on the Inside, sortie en 2003, apporte une diversification musicale puisque Ben Harper s'approche du reggae et du funk, avec la collaboration sur deux titres de Al Anderson et de Ladysmith Black Mambazo. Ce disque marque aussi le retour de la formation qui enregistra Fight for your Mind puisque Oliver Charles et Leon Mobley réintroduisent le groupe et ni Dean Butterworth ni David Leach ne sont présents sur cet album. Il s'agit du premier album produit par Ben Harper alors que les quatre premiers l'ont été par l'ami de Ben, J.P Plunier. Bizarrement, alors que les Innocent Criminals enregistrent un album avec Ben Harper pour la quatrième fois, ils n'apparaissent pas dans le nom de l'album où seul le nom de Ben Harper figure, alors qu'ils le furent pour l'album précédent Burn to Shine. La sortie de cet album est suivie d'une tournée mondiale, lors de laquelle les Innocent Criminals s'enrichissent pour la première fois d'un claviériste, Jason Yates, et d'un second guitariste, Marc Ford, (ancien membre des Black Crowes) qui succède à Nicki P., qui était apparu très brièvement sur scène avec le groupe lors des concerts qui précédèrent la tournée.
Plus récemment, Ben Harper a collaboré avec The Blind Boys of Alabama pour sortir There Will Be a Light un album très orienté vers le gospel. Cet album sort alors que les Blind Boys sont déjà apparus quelques fois sur scène par le passé avec Ben Harper et les Innocent Criminals pour revisiter quelques-unes de leurs chansons dans un style plus gospel. À l'origine, le projet consistait en une collaboration de Ben Harper et des Innocent Criminals sur certaines chansons du futur album des Blind Boys of Alabama. Mais avec l'ambiance qui se dégagea de cette collaboration, ils décidèrent d'enregistrer un album complet, sous le nom de Ben Harper. Une nouvelle fois cet album est enregistré avec les Innocent Criminals, mais enrichi pour l'occasion par les Blind Boys of Alabama qui chantent les harmonies.
Le début de la tournée qui suit la sortie de There Will Be a Light est assuré par Marc Ford en tant que second guitariste, alors Michael Ward (qui enregistra sur certains titres avec le groupe sur There Will Be a Light) assure la seconde partie de cette tournée, notamment la tournée d'été 2005.
Ben Harper a réalisé trois DVD : Le premier est un documentaire nommé Pleasure and Pain, du même nom que son premier album réalisé avec Tom Freund. Ce documentaire présente ce qu'est une tournée avec Ben harper et les Innocent Criminals ainsi que les racines et une part de la philosophie de Ben Harper. Le second DVD est un live, Live at the Hollywood Bowl, le premier DVD live du groupe, réalisé lors de la tournée Diamonds on the Inside. Le troisième DVD et également album live, Live at the Apollo, est enregistré avec la présence sur scène des Blind Boys of Alabama (en plus des Innocent Criminals). à l'Apollo Theater à Harlem en Octobre 2005.
La famille de Ben Harper tient également un magasin de musique dans la ville de Ben Harper, Claremont, en Californie. Le Folk Music Center est aussi un musée d'instrument de musique très réputé, et contient des instruments d'origines mondiales ainsi que des instruments à cordes anciens. Ce magasin fut créé par les grands-parents maternels de Ben Harper, Charles et Dorothy Chase, et est actuellement dirigé par sa mère Ellen Chase-Verdries. Une scène du DVD Pleasure and Pain se déroule à l'intérieur de ce magasin.
Ben Harper s'est marié le 23 décembre 2005 avec l'actrice Laura Dern. Il a eu deux enfants avec sa femme : Ellery Walker, né le 21 août 2001 et Jaya, née le 28 novembre 2004