Осип Мандельштам родился 3 января (15 января по новому стилю) 1891 года в Варшаве. Отец, Эмилий Вениаминович (Эмиль, Хаскл, Хацкель Бениаминович) Мандельштам (1856—1938), был мастером перчаточного дела, состоял в купцах первой гильдии, что давало ему право жить вне черты оседлости, несмотря на еврейское происхождение. Мать, Флора Осиповна Вербловская (1866—1916), была музыкантом.
В 1897 году семья Мандельштамов переехала в Петербург. Осип получил образование в Тенишевском училище (с 1900 по 1907 годы), российской кузнице «культурных кадров» начала ХХ века.
В 1908—1910 годы Мандельштам учится в Сорбонне и в Гейдельбергском университете. В Сорбонне посещает лекции А. Бергсона и Ж. Бедье в College de France. Знакомится с Николаем Гумилёвым, увлечён французской поэзией: старофранцузским эпосом, Франсуа Вийоном, Бодлером и Верленом.
В промежутках между зарубежными поездками бывает в Петербурге, где посещает лекции по стихосложению на «башне» у Вячеслава Иванова.
К 1911 году семья начала разоряться и обучение в Европе сделалось невозможным.
Для того, чтобы обойти квоту на иудеев при поступлении в Петербургский университет, Мандельштам крестится у методистского пастора. 10 сентября того же 1911 года он зачислен на романо-германское отделение историко-филологического факультета Петербургского университета, где обучается с перерывами до 1917 года. Учится безалаберно, курса так и не кончает.
В 1911 году знакомится с Анной Ахматовой, бывает в гостях у четы Гумилёвых.
Первая публикация — журнал «Аполлон», 1910 г., № 9. Печатался также в журналах «Гиперборей», «Новый Сатирикон» и др.
В 1912 году знакомится с А. Блоком. В конце того же года входит в группу акмеистов, регулярно посещает заседания Цеха поэтов.
Поэтические поиски этого периода отразила дебютная книга стихов «Камень» (три издания: 1913, 1916 и 1922, содержание менялось). Находится в центре поэтической жизни, регулярно публично читает стихи, бывает в «Бродячей собаке», знакомится с футуризмом, сближается с Бенедиктом Лившицем.
В 1915 году знакомится с Анастасией и Мариной Цветаевыми. В 1916 году в жизнь О. Э. Мандельштама входит Марина Цветаева.
После Октябрьской революции работает в газетах, в Наркомпросе, ездит по стране, публикуется в газетах же, выступает со стихами, обретает успех. В 1919 году в Киеве знакомится с будущей женой, Надеждой Яковлевной Хазиной.
Стихи времени Первой мировой войны и революции (1916—1920) составили вторую книгу «Tristia» («Скорбные элегии», заглавие восходит к Овидию), вышедшую в 1922 году в Берлине. В 1922 же году регистрирует брак с Надеждой Яковлевной Хазиной.
«Вторая книга» и с общим посвящением «Н. Х.» — жене.
В гражданскую войну скитается с женой по России, Украине, Грузии; бывал арестован.
С мая 1925 по октябрь 1930 годов наступает пауза в поэтическом творчестве. В это время пишется проза, к созданному в 1923 «Шуму времени» (в названии обыгрывается блоковская метафора «музыка времени») прибавляется варьирующая гоголевские мотивы повесть «Египетская марка» (1927).
На жизнь зарабатывает стихотворными переводами.
В 1928 году печатается последний прижизненный поэтический сборник «Стихотворения», а также книга его избранных статей «О поэзии».
«Четвёртой прозой». Н. Бухарин хлопочет о командировке Мандельштама в Армению. После путешествия на Кавказ (Армения, Сухум, Тифлис) Осип Мандельштам возвращается к написанию стихов.
Поэтический дар Мандельштама достигает расцвета, однако он почти нигде не печатается. Заступничество Б. Пастернака и Н. Бухарина дарит поэту небольшие житейские передышки.
Самостоятельно изучает итальянский язык, читает в подлиннике «Божественную комедию». Программное поэтологическое эссе «Разговор о Данте» пишется в 1933 году. Мандельштам обсуждает его с А. Белым.
В «Литературной газете», «Правде», «Звезде» выходят разгромные статьи в связи с публикацией мандельштамовского «Путешествия в Армению» («Звезда», 1933, № 5).
В ноябре 1933 года Осип Мандельштам пишет антисталинскую эпиграмму «Мы живём, под собою не чуя страны…», которую читает полутора десяткам человек.
Кто-то из слушателей доносит на Мандельштама. Следствие по делу вел Н. Х. Шиваров.
В ночь с 13 на 14 мая 1934 года Мандельштама арестовывают и отправляют в ссылку в Чердынь (Пермский край). Осипа Мандельштама сопровождает жена, Надежда Яковлевна.
В Чердыни О. Э. Мандельштам совершает попытку самоубийства (выбрасывается из окна). Надежда Яковлевна Мандельштам пишет во все советские инстанции и ко всем знакомым. При содействии Николая Бухарина Мандельштаму разрешают самостоятельно выбрать место для поселения. Мандельштамы выбирают Воронеж.
Живут в нищете, изредка им помогают деньгами немногие неотступившиеся друзья. Время от времени О. Э. Мандельштам подрабатывает в местной газете, в театре. В гостях у них бывают близкие люди, мать Надежды Яковлевны, артист В. Н. Яхонтов, Анна Ахматова.
«Воронежские тетради») считается вершиной его поэтического творчества.
В мае 1937 год года заканчивается срок ссылки и поэт неожиданно получает разрешение выехать из Воронежа. Они с женой возвращаются ненадолго в Москву.
В заявлении секретаря Союза писателей СССР В. Ставского 1938 года на имя наркома внутренних дел Н. И. Ежова предлагалось «решить вопрос о Мандельштаме», его стихи названы «похабными и клеветническими». Иосиф Прут и Валентин Катаев были названы в письме как «выступавшие остро» в защиту Осипа Мандельштама.
Осип Мандельштам скончался 27 декабря 1938 года от тифа в пересыльном лагере Владперпункт (Владивосток). Реабилитирован посмертно: по делу 1938 года — в 1956, по делу 1934 года — в 1987. Местонахождение могилы поэта до сих пор неизвестно.