Родился в 1922 году в Хайфе в семье выходцев из России. Среди его учителей – Карл Флеш, Джордже Энеску и Жак Тибо. Выступал с крупнейшими мировыми коллективами, среди которых филармонические оркестры Нью-Йорка, Берлина, Вены и Израиля. Многие его записи признаны классическими. В 1968 Гитлис выступил как участник супергруппы The Dirty Mac под управлением Джона Леннона в рамках проекта «Рок-н-ролльный цирк Роллинг Стоунз». В 1971 Бруно Мадерна посвятил ему «Пьесу для Иври» для скрипки соло. В 1975 Гитлис сыграл роль гипнотизера в фильме «История Адели Г.» Франсуа Трюффо. Хотя Гитлис не слишком известен как ансамблист, среди его партнеров по сцене — Яша Хейфец, Григорий Пятигорский, Уильям Примроуз, Исаак Стерн, Леонард Роуз, Стивен Иссерлис, Трульс Мёрк, Гари Хоффман, Миша Майский, а также Марта Аргерих, с которой он записал скрипичные сонаты Франка и Дебюсси.
Скрипач-виртуоз, Гитлис — автор ряда музыкальных произведений и автобиографической книги «Душа и струна» (1981), заслужившей большой успех у критики. Маэстро также известен как педагог; выступает с мастер-классами по всей Европе и за ее пределами, частый гость летних курсов в зальцбургском Моцартеуме и во Франции, где основал ряд известных фестивалей. В 1990 удостоен звания Посла доброй воли ЮНЕСКО за личный вклад в поддержку образования, культуру мира и толерантности.
Играет на скрипке «Лебединая песнь» Страдивари (1737) – последней работе мастера.