En el año 2000 Mario Ancic participó en los Juegos Olímpicos de Sydney y perdió en la primera ronda de dobles con Ivanisevic como compañero. Al año siguiente alcanzó la final en los torneos de Jóvenes Promesas de China y Canadá. En el 2002 consiguió una marca de 30-16 en partidos del Challenger. Ganó el título en Belgrado y fue subcampeón en Ho Chi Minh y Kyoto.
El mejor momento de su carrera llegó en su debut en un Grand Slam, cuando participó en Wimbledon y ganó al entonces número 9 del mundo Roger Federer en esa célebre pista en la primera ronda. Se convirtió en el primer adolescente en ganar en su estreno en Wimbledon desde Bjorn Borg en 1973.
En el año 2003 Ancic debutó en el Open de Australia y alcanzó la cuarta ronda, donde cayó ante Ferrero. La siguiente semana, logró el título en el Challenger de Hamburgo al vencer a Nadal. En la primera ronda de Copa Davis, ayudó a Croacia a derrotar a Estados Unidos por 4-1.
En Saint Polten, alcanzó por primera vez los cuartos de final en un torneo ATP y finalizó la temporada llegando a cuartos en Estocolmo. En dobles, logró el primer título ATP de su carrera en Indianápolis.
En 2004 el número 2 croata, por detrás de Ljubicic, terminó entre los 30 mejores por primera vez, destacando por alcanzar su primera final de ATP y sus primeras semifinales de un Grand Slam. Después de llegar a tercera ronda en el Open de Australia, donde perdió ante Philippoussis, regresó a la acción en Milan donde venció a Santoro, Nadal, Robredo y Johansson antes de caer ante Dupuis por tie-break en el tercer set.
En junio y julio logró sus mejores resultados en hierba, mostrando una buena imagen en la tercer ronda en Queen's donde perdió ante Roddick, en las semifinales de Hertogenbosch, donde le derrotó Coria, y en Wimbledon, donde fue eliminado por Roddick en cuatro sets.
En los Juegos Olímpicos de Atenas, ganó la medalla de bronce en dobles junto a Ljubicic, derrotando a la India con un 16-14 en el tercer set en el partido ante Bhupathi y Paes. En septiembre llegó a semifinales en Delray Beach. Estableció un registro de 10-3 en hierba, 6-6 en tierra batida, 6-10 en cemento y 5-5 en moqueta, además de un 3-0 en partidos de cinco sets.
En 2005, el joven tenista croata entró en el ranking ATP por sexta temporada consecutiva, obtuvo su primer título ATP y ayudó a su país a llegar a la final de la Copa Davis ante la República Eslovaca. En febrero, llegó a semifinales en pista cubierta en Marsella, cayendo ante Ljubicic, y en Rotterdam, donde perdió ante Federer. Continuó con el subcampeonato en pista exterior en Scottsdale.
Consiguió su primer título ATP en Hertogenbosch al derrotar a Llodra y accedió a la cuarta ronda en Wimbledon. En octubre llegó a la final en Tokio y a cuartos de final en Lyon, en este último torneo cayó ante Roddick. Logró un registro de 1-8 contra oponentes incluidos en el Top 10, con victoria sobre el número 7 Henman en cuartos de final de Rotterdam.
En Copa Davis, obtuvo una marca de 1-3 en individuales y de 3-0 en dobles. Se hizo con su segundo título ATP de dobles en Munich con su compañero Knowle. Completó la temporada de una forma inmejorable al ayudar a su selección a ganar por primera vez la Copa Davis, al imponerse al eslovaco Mertinak en el partido decisivo.
El joven croata alcanzó el Top 10 de la ATP el 12 de junio de 2006, gracias a los excelentes resultados conseguidos esa temporada en Grand Slams y Masters Series. En verano su progresión se vio obstaculizada por una lesión de espalda.
Comenzó la temporada llegando a la final de Auckland, que perdió ante Nieminem, después de haber vencido a jugadores de la talla de Murria, González y Wawrinka. En el Open de Australia legó hasta tercera ronda, momento en el que se cruzó en su camino Roger Federer. Después de este Grand Slam participó en Copa Davis frente a Austria, y ganó su partido contra Melzer.
De vuelta al circuito ATP, perdió la final del Marsella contra Arnaud Clement. Después llegaron los Masters Series de Indian Wells y Miami, en los que llegó respectivamente a cuarta ronda (cayó ante Ljubicic) y a cuartos (perdió ante Grosjean). Entonces llegaron los problemas en la espalda y se perdió la eliminatoria de Copa Davis ante Argentina y el Masters de Montecarlo. En su vuelta, las cosas no fueron bien y llegó a primera ronda en el Torneo de Munich, pero después sus números mejoraron mucho, puesto que consiguió un parcial de victorias y derrotas de 22-4. Se convirtió en el primer jugador en 2006 en salvar puntos de partido en todas las rondas del Masters de Roma (en el que llegó hasta cuartos, derrotado por Nalbandian).
En el Masters de Hamburgo ganó a dos Top 10, Blake y Davydenko, pero cayó en semifinales ante el español Robredo. Esta gran actuación le hizo llegar por primera vez a ser el número nueve mundial. Pero su progresión fue en aumento y el 10 de julio ocupó la séptima plaza del ránking ATP.
El segundo título ATP de su carrera llegó en el Torneo de Hertogenbosch, al que siguió una excelente actuación en Wimbledon, donde perdió en cuartos ante Federer. Se lesionó la rodilla practicando esquí, y no pudo participar en el US Open por sus problemas de espalda.
Mario Ancic logró finalizar la temporada 2007 entre los 100 primeros pese a estar seis meses de baja por lesión.
Empezó el año llegando a cuarta ronda en el Open de Australia, perdió ante Roddick en cinco sets. Luego se retiró en la primera ronda de Marsella en febrero debido a una mononucleosis que le mantuvo de baja hasta agosto. Tras la enfermedad, reapareció en el Masters Series de Montreal llegando a la segunda ronda, donde perdió ante Paul Henry Mathieu. El mismo resultado lo consiguió poco después, en el Masters Series de Cincinnati, donde perdió ante Melzer. Después se lesionó en el hombro derecho y no volvió hasta octubre, llegando a cuartos en Estocolmo y en el Masters Series de Madrid, donde Djokovic le apeó del torneo. Cerró la temporada llegando a la segunda ronda en San Petersburgo y en el Masters Series de París.
Aunque el alemán sólo ha podido jugar cinco meses en 2007, ha conseguido terminar entre los cincuenta primeros del ranking. Volvió a la competición en junio, tras superar una lesión en la muñeca izquierda, que arrastraba desde la segunda mitad de 2006.
En Wimbledon, consiguió llegar a la tercera ronda, donde perdió ante Djokovic. Poco después, llegó a las semifinales de Los Ángeles, a segunda ronda del Masters Series de Montreal y también a segunda ronda en el Masters de Cincinnati. En el Open de Estados Unidos, también llegó a segunda ronda, perdiendo ante Davydenko.
En la recta final de la temporada, llegó a semifinales en el torneo de Beijing, cayendo ante Tommy Robredo, y a las semifinales del Masters Series de Madrid, torneó en el que derrotó a Youhzny, Karlovic y Fernando González, antes de perder ante Roger Federer. En Mumbai y Basilea llegó hasta cuartos de final. Consiguió un registro de 15 victorias y siete derrotas en superficies duras.