Knivdådet inträffade på lördagseftermiddagen.
Den misstänkte gärningsmannen, som har gripits, uppges vara en 37-årig algerier. Han ska vara känd av polisen och underrättelsetjänsten, och ska ha varit skyldig att lämna Frankrike, enligt tv-kanalen TF1.
President Macron sade i ett uttalande senare på lördagen att det rört sig om ett "islamistiskt terrordåd".
Den misstänkte gärningsmannen hade först attackerat lokala poliser, och samtidigt ropat religiösa fraser. En person som befann sig nära händelsen försökte stoppa den misstänkte gärningsmannen, som svarade med att knivhugga mannen till döds.
Åklagare i Mulhouse har identifierat dödsoffret som en 69-årig portugisisk medborgare.
Frankrikes antiterrorenhet på åklagarmyndigheten (PNAT) tar över utredningen av fallet. Enligt nyhetsbyrån AFP ska den misstänkte gärningsmannen ha stått på myndigheternas övervakningslista för terror.
Frankrikes inrikesminister Bruno Retailleau väntas resa till brottsplatsen under kvällen.
"Skräck har drabbat vår stad" skriver Mulhouse borgmästare Michele Lutz på Facebook.
